Головна / Статті

Як docling-pipelines зберігає вектори документів для RAG за допомогою OpenSearch або Milvus

Шар бази даних векторів IBM docling-pipelines для RAG: підключувані адаптери OpenSearch та Milvus, очищення застарілих частин даних, автоматичне визначення розмірностей, потоки JSON.

Видавець: REACTAPP.TOP7 хв читання1688 слів

Джерела: The Indexing Layer: How docling-pipelines Prepares Your Documents for RAG

Будь-який сучасний додаток, який відповідає на запитання щодо приватних документів, ґрунтується на одній моделі — генерації з пошуком даних, або RAG. Припустимо, хтось запитує, які умови продовження дії стосуються контрактів минулого року чи які ліміти відповідальності передбачені у угодах з постачальниками. Перш ніж мовна модель зможе відповісти, щось має знайти відповідні уривки серед тисяч файлів та передати їх у придатному для використання форматі. Цим «щось» є векторна база даних, а оператор vectordb у проекті docling-pipelines від IBM, створеному на основі відкритого коду, виконує саме цю функцію.

Нижче наведено пояснення того, чому існують векторні бази даних, як RAG залежить від них, та як docling-pipelines перетворює частину системи RAG, що відповідає за зберігання даних, на щось декларативне: її можна налаштувати за допомогою JSON-файлу з описом потоку та, за потреби, розширити за допомогою власних операторів.

RAG та місце векторної бази даних у цій системі

За допомогою RAG мовна модель не відповідає лише на основі власної пам’яті. Система спочатку знаходить найбільш релевантні уривки з колекції документів та включає їх до запиту як контекст. Потім модель формулює відповідь, ґрунтуючись на цих уривках, а не на статистичних закономірностях, набутих під час навчання.

Векторна база даних уможливлює крок пошуку. На практиці це працює так.

Під час створення індексу кожен фрагмент колекції перетворюється на числовий вектор — його ембеддинг — за допомогою моделі, яка навчилася розміщувати тексти з схожим значенням близько один до одного у високовимірному просторі. Ці вектори зберігаються поруч із оригінальним текстом.

Під час запиту запитання користувача обробляється за допомогою того самого моделювання. База даних проводить пошук найближчих сусідів та повертає фрагменти, вектори яких знаходяться найближче до вектора запитання. Ці фрагменти є значущими з точки зору сенсу навіть тоді, коли вони не мають спільних ключових слів із запитанням. Модель отримує їх як контекст та може сформулювати обґрунтовану відповідь.

Чому звичайна база даних не може цього зробити

Реляційна чи документна база даних може знаходити ключові слова, але не сенс. Пошук фрази „termination clauses“ не поверне абзац про „contract exit conditions“, хоча вони означають одне й те саме. Векторна база даних працює з сенсом, а не з символами.

У масштабних системах повне порівняння запиту з мільйонами векторів було б занадто повільним. Тому бази даних векторів використовують індекси найближчих сусідів з наближеним пошуком, такі як HNSW (ієрархічні навігові графи малого світу) та IVF (інвертований індекс файлів). Вони жертвують невеликою частиною точності результатів заради значного зниження затримки, причому обидва типи індексів є звичайними опціями налаштування в операторі vectordb.

Які бекенди підтримують docling-pipelines

Проєкт постачається з вбудованою підтримкою двох бекендів баз даних векторів — OpenSearch та Milvus. Обидва налаштовуються через JSON-файл потоку без змін у коді. Ключ "provider" у конфігурації оператора визначає бекенд, а все інше визначається на його основі.

Шестикутна архітектура оператора дозволяє легко додавати інші бекенди. Щоб підтримати Qdrant, pgvector, Weaviate чи щось інше, достатньо написати один клас адаптера та зареєструвати його. Ні оператор, ні фреймворк пайплайну не потребують змін.

Як працює оператор

У межах пайплайну індексації оператор vectordb відповідає за зберігання даних. Рядки, які надходять у його таблицю PyArrow, вже містять наступні поля:

  • оригінальний текст документа;
  • doc_id_hash — фіксований ідентифікатор кожного документа, який залишається незмінним під час кожної обробки;
  • стовпець chunked_content — документ, розділений на перекриваючіся фрагменти;
  • стовпець embeddings з одним числовим вектором на кожен фрагмент, створеним оператором embeddings раніше у ланцюжку обробки.

Оператор бере цю таблицю та записує кожен фрагмент разом із його ембеддингом та метаданими у базу даних векторів. При цьому він створює або перевіряє схему індексу, об’єднує масові вставки, відстежує, які фрагменти були успішними, а які — ні, а також видаляє застарілі фрагменти з попередніх виконань, коли документ змінився.

Шестикутний дизайн: можливість підключення будь-якої бази даних

Оператор навмисно не прив’язаний до однієї бази даних. Він передає роботу з обробки даних адаптеру, який виконує інтерфейс VectorStorePort — абстрактний контракт, що визначає, які функції має надавати кожна база даних векторів, зокрема create_index(), index_documents(), refresh_index() та delete_documents_by_ids().

Це шестикутний архітектурний патерн, застосований до оператора конвеєра. Логіка щодо того, що зберігати, знаходиться в операторі. Питання інфраструктури щодо того, як взаємодіяти з певним бекендом, реалізоване в адаптері. Оператор лише викликає інтерфейс порту та ніколи не взаємодіє безпосередньо з протоколами OpenSearch чи Milvus.

VectorDBOperator
      │
      └── VectorStorePort (interface / abstract contract)
              ├── OpenSearchAdapter   (ships with docling-pipelines)
              ├── MilvusAdapter       (ships with docling-pipelines)
              └── YourCustomAdapter   (implement VectorStorePort → plug in)

Щоб підтримати базу даних, яка ще не покрита, реалізуйте VectorStorePort та зареєструйте адаптер у фабриці. Після цього назву вашого адаптера можна використовувати як "provider" у JSON-файлі потоку. Ніщо інше не змінюється — ні оператор, ні оточуюча конвеєрна система, ні існуючі потоки з type: vectordb.

Документи у частинах та цілісні документи

Обидва режими обробляються прозоро. Коли існує та заповнений chunked_content, що є результатом роботи оператора chunker вищого рівня, кожна частина індексується як окремий документ. Його первинний ключ формується на основі ID батьківського файлу, індексу частини та тексту частини. Коли таблиця містить цілісні документи без розділення на частини, кожен рядок індексується як єдине ціле. Оператор автоматично обирає шлях, і жодних прапорців не потрібно.

Очищення застарілих частин

Оновлення є постійною проблемою при використанні індексів, структурованих за частинами. Якщо файл завантажується вдруге після зміни його вмісту, нові частини більше не збігаються з тими, що зберігалися раніше. Оператор вирішує цю проблему, шукаючи ідентифікатори існуючих частин для кожного документа перед їх додаванням, обчислюючи різницю між старими та новими наборами та видаляючи застарілі частини перед записом нової партії даних. Таким чином індекс відображає поточний стан документа, незалежно від того, скільки разів процес обробки пройшов над тим самим корпусом даних.

Визначені для вас розміри векторів

Вам не потрібно підраховувати розміри та вказувати їх як константи. Коли процес обробки запускається, оператор читає перший ненульовий ембеддинг у таблиці та бере розмір з його довжини. Індекс створюється з цим розміром, або перевіряється за наявністю, якщо він вже існує.

Повний процес індексації RAG

Повний процес індексації тут складається з п’яти операторів, пов’язаних між собою ребрами depends_on. У цьому локальному прикладі використовується OpenSearch:

{
  "flow_name": "rag-indexing-pipeline",
  "global_config": {
    "doc_column": "content",
    "storage": "in-memory",
    "execute_type": "local",
    "enable_micro_batching": true,
    "micro_batch_size": 10
  },
  "flow": [
    {
      "name": "ingest",
      "type": "ingest_source",
      "config": {
        "provider": "filesystem",
        "connection_params": { "paths": ["./documents"], "recursive": true },
        "include_filter": "pdf,docx,txt"
      }
    },
    {
      "name": "extract",
      "type": "extract_operator",
      "depends_on": ["ingest"],
      "config": {
        "text_extraction": { "provider": "docling_library", "doc_column": "content" }
      }
    },
    {
      "name": "chunk",
      "type": "chunker",
      "depends_on": ["extract"],
      "config": {
        "doc_column": "content",
        "chunk_size": 512,
        "chunk_overlap": 50
      }
    },
    {
      "name": "embed",
      "type": "embeddings",
      "depends_on": ["chunk"],
      "config": {
        "provider": "litellm",
        "embeddings_column": "embeddings",
        "provider_config": {
          "model_id": "openai/nomic-embed-text",
          "api_base": "http://localhost:11434/v1",
          "api_key": "${OLLAMA_API_KEY}"
        }
      }
    },
    {
      "name": "store",
      "type": "vectordb",
      "depends_on": ["embed"],
      "config": {
        "provider": "opensearch",
        "doc_id_column": "doc_id_hash",
        "create_index": true,
        "provider_config": {
          "index_name": "my_rag_index",
          "host": "localhost",
          "port": 9200,
          "username": "${OPENSEARCH_USERNAME}",
          "password": "${OPENSEARCH_PASSWORD}",
          "use_ssl": false,
          "engine": "faiss",
          "algorithm": "hnsw",
          "space_type": "l2"
        }
      }
    }
  ]
}

Запустіть його з командного рядка:

docling-pipelines --flow-file rag-pipeline.json

Кожен файл у форматах PDF, DOCX та звичайного тексту, який знаходиться у директорії ./documents, виявляється, обробляється та розділяється на фрагменти по 512 токенів із 50 токенами перекриття; ці налаштування знаходяться у вузлі chunker та можуть бути вільно змінені. Фрагменти генеруються за допомогою локально запущеної моделі nomic-embed-text через Ollama, а потім зберігаються у індексі OpenSearch, налаштованому для пошуку за схожістю.

Приклад роботи описує обробку файлів з локальної папки, але процес імпорту також підтримує S3, SharePoint, Google Drive, Box, OneDrive та користувацькі засоби завантаження даних. Змінюється лише вузол ingest_source; усі наступні елементи, включаючи vectordb, залишаються незмінними незалежно від джерела документів.

Milvus із двома моделями ембеддингу

Команди, які хочуть одночасно вбудовувати документи з двома різними моделями — наприклад, універсальною та спеціалізованою за сферою застосування — можуть використовувати оператори branching та merge. Процес включає кроки отримання даних, їх вилучення, розділення на частини, розділення на два кроки вбудовування, об’єднання результатів та їх запис у Milvus.

Адаптер Milvus підтримує кілька векторних стовпців. Результати кожної моделі потрапляють у власне векторне поле в колекції, що дозволяє здійснювати пошук за допомогою ансамблю: беруться найкращі результати з індексу кожної моделі та об’єднуються перед формуванням рейтингу.

Інкрементне індексування

Цей оператор розроблений для багаторазової обробки все більшого корпусу даних без необхідності повторного індексування всього. Оператор завантаження також пам’ятає попередні запуски та пропускає будь-які файли, у яких хеш та час змін не змінилися. Таким чином через конвеєр обробки проходять лише нові та змінені документи. Їхні фрагменти записуються, застарілі фрагменти оновлених документів видаляються, а все інше залишається недоторканим.

Для запланованого конвеєра обробки у постійно зростаючому сховищі документів час виконання залежить від кількості змін, а не від загального розміру корпусу даних.

Яке місце це займає в загальній картині

У потоці RAG з використанням docling-pipelines оператор vectordb є вузлом для зберігання векторів. Залежно від конструкції він може бути останнім вузлом або після нього можуть йти інші вузли. Наприклад, оператор document_set може зберігати повну розширену таблицю PyArrow у DuckDB для подальшого аналізу разом із векторним індексом.

Кожен оператор комунікує через стандартну схему таблиці PyArrow, тому vectordb не залежить від того, звідки походять його рядки — чи то з локальної папки, S3, SharePoint чи через власний завантажувач. Портативність джерел та місця зберігання є структурною властивістю, яка гарантується архітектурою, а не залежить від умовних правил. Оператор забезпечує створення індексів, пакетну записування великих об’ємів даних, підтримку кількох векторних стовпців, очищення застарілих частин даних та автоматичне виявлення розмірностей; усе це керується файлом потоку, причому розмір частин, ступінь перекриття, модель вбудовування, алгоритм індексування та метрика схожості виступають як параметри конфігурації.

Це частина постійно розвиваючоїся екосистеми пайплайнів, і проект є відкритим кодом під управлінням IBM. Якщо ваша векторна база даних ще не підтримується, інтерфейс адаптера — це правильний початок.