Як docling-pipelines зберагае вектары дакументаў для RAG з OpenSearch або Milvus
Слою базы дадзеных вектараў у IBM docling-pipelines для RAG: адаптары OpenSearch і Milvus, якія можна падключыць, чыстка застарэлых частак, аўтаматычныя размеры, потокі JSON.
Крыніцы: The Indexing Layer: How docling-pipelines Prepares Your Documents for RAG
Кожны адаптаваныя практыкі, якія адпавядаюць на запытанні пра прыватныя дакументы, выкарыстоўваюць адну і тую ж модэлі — генераванне з адзыскам, або RAG. Напрыклад, калі хтось запытае, якія тэрміны паавернення дыяюць для контрактам з мінулага года, або якія ліміты адпавяднасці прынятыя ў угодах з постачальнікамі. Перш чым мовны модэль можа адпавясць, трэба знайсці правыя фрагменты сярод тысячаў файлаў і перадаць іх у выкарыстоўны фармат. Цім «чымось» являецца вектарная база дадзенаў, а аператар vectordb у праекце docling-pipelines ад IBM з адкрытым кодам выпалняе гэту ролю.
Ніжэй паказаныя прычыны існавання вектарных баз дадзенаў, як RAG залежыць ад яных, і як docling-pipelines ператварае частку зберагачвання ў практыцы RAG у ўскарыстаны элемент: яна настаўляецца за дапамогою файла JSON і можа расшырывацца за дапамогою спецыяльных аператараў, калі гэта неабходна.
RAG і месца вектарной базы дадзенаў
За дапамою тэхналогіі RAG мадэль мовы не адпавядае толькі на базе сваёй памяці. Спачатку сістэма выкарыстоўвае колекцыю дакументаў, каб знайсці найболей рэлевантныя фрагменты, і дадае іх у запіт як кантэкст. Потым мадэль пішае адпаведзь, якая базуецца на гэтых фрагментах, а не на статыстычных законамах, выучаных пад час навчання.
Векторная база дадзеных дазволяе адбыцца кроку выкарыстоўвання інформацыі. У практыцы гэта працуе так.
Пад час стварэння індэкса кожны фрагмент колекцыі ператвараецца ў чысловы вектар, яго эмбедынг, за дапамою мадэлі, якая выучылася размешчаць тэксты з аднаковым значэннем поблізу адзінаго ў высака-вымірнам прасторэ. Вектары зберагаюцца празаўсёды па боку ад асловічнага тэксту.
У момент запіту запіт корыстніка обрабоцваецца за дапамою таго ж модэлю. База дадзеных адклёкае пошук найбліжэйшых суседаў і вяртае тыя фрагменты, чыя вектары знаходзяцца найбліжэй да вектара запіту. Гэтыя фрагменты ўтрымоўваюць значэнне, нават калі у іх няма спакульных словаў з запітам. Модэль прымае іх як кантэкст і можа даць адпаведную адпаведзь.
Чаму звычная база дадзеных не можа гэта зрабіць
Рэляцыйная чы абліковая база дадзеных можа паўтараць спакульныя словы, але не значэнне. Пошук фразы "termination clauses" не вярнёў бы параграф пра "contract exit conditions", нават якіх значэнне адно. База дадзеных на вектарах працюе з значэннем, а не з сімволамі.
У масштабных сценарыях абсалютная параболічная перапрацоўка запытку з мільйонамі вектараў будзе занадта медленай. Таму базы дадзеных вектараў выкарыстоўваюць апрыксіматыўныя індэксы найбліжэйшых суседаў, такія як HNSW (іерархічныя навігабельныя графы малага света) і IVF (інвертыраны індэкс файлаў). Чырвоныя тут — невялікая втрата часткі рэзультатаў, але значны спад швырбы, пры чым оба тыпу індэксаў ёсць стандартнымі опцыямі налаштавання ў аператары vectordb.
Каліяя бэкенды падтрымліваець docling-pipelines
Праект поставляецца з вбудованай падтрымкай двух бэкендаў баз дадзеных вектараў — OpenSearch і Milvus. Оба налаштовуюцца праз JSON-файл потока без якіх-лібо змян у кодзе. Ключ "provider" у налаштаваннях аператара выбірае бэкенд, а ўсе іншае вынікае з гэтага.
Архітэктура аператара у форме шэсцяга дазволяе лёгкаа дадаць новыя бэкенды. Чыраз для падтрымкі Qdrant, pgvector, Weaviate чы гэтаго ж, вы пішаеце адну класу адаптара і яе рэгіструеце. Ні аператар, ні фрэймворк пайплайна не патрабуецца змяніць.
Як працюе аператар
У рамках пайплайна індэксавання аператар vectordb адпрацоўвае зберагачванне. Радкі, які прыходзяць у яго табліцу PyArrow, вялікі ўжо з гэтымі полямі:
- орыгінальны тэкст дакумента;
doc_id_hash— фіксаваны ідэнтыфікатор кожнага дакумента, які застаецца аднаковым праз усі запускі;- столбець
chunked_content— дакумент, разбіты на перакрытыя фрагменты; - столбець
embeddingsз адным чысловым векторам на кожны фрагмент, які ствараецца аператарамembeddingsраней у пайплайне.
Апаратчык берае гэты таблыцу і запісвае кожны фрагмент, включаючы яго метаданы, у базу дадзеных вектараў. Па дорозе ён стварае або перакананае схему індэкса, агрупавае масовыя вставкі, сочыць за тым, якія фрагменты запрацавалі, а якія — ні, і адмахвае застарэлыя фрагменты з пакульных запускаў, калі дакумент змяніўся.
Шэсцягонны дызайн: можна выкарыстоўваць будзь-якую базу дадзеных
Апаратчык намеравана не прыўязаны да адной конкрэтной базы дадзеных. Ён перадае працу з адзначэння заданняў адпаведнаму адаптэру, які выпалняе інтэрфейс VectorStorePort — абстрактны контракт, які пераказвае, што кожная база дадзеных вектараў можа запропанаваць, уключаючы create_index(), index_documents(), refresh_index() і delete_documents_by_ids().
Гэта шэсцягообразны патэрн архітэктуры, які прыменяецца да аператара пайплайна. Логіка ўсёго, што трэба зберагчы, знаходзіцца ў самам аператары. Каштональныя аспекты інфраструктуры, зв’язаныя з спосабамі взаімадзеі з конкрэтным бэкэндам, рэалізаваны ў адаптэры. Аператар толькі вызывае інтэрфейс порту і ніколі не прымае безпосерэднюю удзел у працэ праптакаў OpenSearch чы Мілвус.
VectorDBOperator
│
└── VectorStorePort (interface / abstract contract)
├── OpenSearchAdapter (ships with docling-pipelines)
├── MilvusAdapter (ships with docling-pipelines)
└── YourCustomAdapter (implement VectorStorePort → plug in)
Ёнколі трэба падтрымаць базу дадзеных, якая яшчэ не падпадае пад падтрымку, неабходна рэалізацыя VectorStorePort і рэгістрацыя адаптэра ў фабрыцы. Пасля чаго назва вашага адаптэра можа быць выкарыстоўвана як "provider" у JSON-файле прабэгу. Нічога іншага не змініцца — ні аператар, ні суседзяючыя часткі прабэгу, ні існуючыя прабэгі з type: vectordb.
Дакументы з часткамі і без частак
Оба рэжымы адрабатваюцца транспарэнтна. Калі існуе chunked_content і ён запоўнены, што ёсць выходам аператара chunker вышэй у ланцугу, кожная частка індэксуецца як самастоятэльны дакумент. Яго первы ключ вылічваецца на адной з асноваў: ID роднай файлавай дыскеты, індэкс часткі і тэкст часткі. Калі табліцэ зберагае цэлыя дакументы без часткавання, кожны радок індэксуецца як адна ейкаваць. Аператар автаматычна выбірае шлях, і жадных флагоў не трэба.
Чыстка застарэлых частак
Абнаўленні ў разы з індэксамі, складзенымі з частак, часта ствараюць проблемы. Калі файл практыкуецца вдруго пасля таго, як былі зменены яго даны, новыя частакі больш не падходзяць да тых, якія зберагліся раней. Аператар справляецца з гэтым, што перад дадзенне новых дакументаў шукае ідэнтыфікаторы існуючых частак для кожнага дакумента, вырахоўвае разлік межу старымі і новымі набрамі частак і вычышвае застарэлыя, прычым пішочы новыя даны. Тады індэкс адбівае актуальны стан дакументаў, незалежна ад таго, сколькі разоў працэс праходзіў па там самым корпусу.
Выканана перакананне вектарных вымяраў
Вам не трэба самім лічыць вымяры і задаваць іх як стацыярныя значэнні. Калі працэс запускаецца, аператар чытае першы не-нулявы вектар у табліцы і берае вымяр з яго дужыны. Індэкс пасля гэтага ствараецца з гэтым розмерам, а калі ён вялікі, то індэкс пераглядаецца за ўмовай адпаведнасці.
Полны працэс стварэння індэкса RAG
Цэлы практык індэксавання складаецца з пяці аператараў, з’яўленыях праз рэшткі depends_on. У гэтым локальным прыкладзе выкарыстоўваецца OpenSearch:
{
"flow_name": "rag-indexing-pipeline",
"global_config": {
"doc_column": "content",
"storage": "in-memory",
"execute_type": "local",
"enable_micro_batching": true,
"micro_batch_size": 10
},
"flow": [
{
"name": "ingest",
"type": "ingest_source",
"config": {
"provider": "filesystem",
"connection_params": { "paths": ["./documents"], "recursive": true },
"include_filter": "pdf,docx,txt"
}
},
{
"name": "extract",
"type": "extract_operator",
"depends_on": ["ingest"],
"config": {
"text_extraction": { "provider": "docling_library", "doc_column": "content" }
}
},
{
"name": "chunk",
"type": "chunker",
"depends_on": ["extract"],
"config": {
"doc_column": "content",
"chunk_size": 512,
"chunk_overlap": 50
}
},
{
"name": "embed",
"type": "embeddings",
"depends_on": ["chunk"],
"config": {
"provider": "litellm",
"embeddings_column": "embeddings",
"provider_config": {
"model_id": "openai/nomic-embed-text",
"api_base": "http://localhost:11434/v1",
"api_key": "${OLLAMA_API_KEY}"
}
}
},
{
"name": "store",
"type": "vectordb",
"depends_on": ["embed"],
"config": {
"provider": "opensearch",
"doc_id_column": "doc_id_hash",
"create_index": true,
"provider_config": {
"index_name": "my_rag_index",
"host": "localhost",
"port": 9200,
"username": "${OPENSEARCH_USERNAME}",
"password": "${OPENSEARCH_PASSWORD}",
"use_ssl": false,
"engine": "faiss",
"algorithm": "hnsw",
"space_type": "l2"
}
}
}
]
}
Запускайце яго з лініі каманд:
docling-pipelines --flow-file rag-pipeline.json
Кожны файл у фарматах PDF, DOCX і звычнага тэксту, які знаходзіцца пад ./documents, выклікаецца, адгрупаваецца і дзельвіцца на часткі по 512 токенав, пры чым адзіныя часткі перакрываюцца на 50 токенав. Гэтыя настройкі знаходзяцца ў вузле chunker і можуць быць свабодна змененыя. Часткі захавляюцца за дапамою модэлі nomic-embed-text, якая запускаецца локальна праз Ollama, а пасля запісваюцца ў індэкс OpenSearch, створаны для пошуку за сэмантычнае саадворанне.
У прыкладзе выкарыстоўваецца локальны папака, але процэс прыемкі дакументаў можа выконвацца таксама з S3, SharePoint, Google Drive, Box, OneDrive і спецыяльнымі засобамі завантажэння. Зменяецца толькі вузел ingest_source; усі наступныя элементы, укладзеныя ў vectordb, застаюцца тымі ж, незалежна ад таго, звядзе дыктументы.
Milvus з двума модэлямі імбеддынгу
Команды, які хочаць адгрупаваць дакументы з двума разнымі мадэлямі адразу, напрыклад, універсальной модэллю і модэллю, спецыялізаванайю на певной галіні, можаць выкарыстоўваць аператары branching і merge. Працэс складаецца з практыкавання, выяўлення, разбівання на часткі, адгрупавання ў два крокі адгрупавання, злучэння, а пасля — запісу ў Milvus.
Адаптар Milvus прымае калькі вектарных столбцоў. Рэзультаты кожной модэлі падаюць у сваёе вектарнае поле ў колекцыі, што дазволяе выкарыстоўваць метод ансамбляў пад час запітаў: беруцца найлепшыя рэзультаты з індэкса кожной модэлі і ўзаеднваюцца перад ранжыраваннем.
Інкрэментнае індэксаванне
Апаратна частка прызначана для параду параду адрабатавання з растучым корпусам даклэга без парадзейнавання всьго занова. Апаратна частка для прыема таксама памятае пакульныя адрабатавання і прахоўвае любы файл, у якога хэш і час змены застаюцца незменнымі. У сукупнасці праз канал обработкі праходзяць толькі новыя і змененыя дакументы. Іх часткі запісваюцца, застарэлыя часткі апдэйтаваных дакументаў адчыняюцца, а ўсё інша застаецца недаступным.
Для запланаванага каналу обработкі ў разы з параду растучым хранілішчам дакументаў, час адрабатавання залежыць ад колькасці змян, а не ад загальнага розмеру корпуса.
Якое яго месца ў большай кантэкстуальной картыне
У працэсе RAG у схемах docling-pipelines аператар vectordb являецца вузлам для зберагчыцтва вектараў. Залежна ад дыяграмы ён можа быць последнім вузлам, а можа за ям выступаць іншыя вузлы. Напрыклад, аператар document_set можа зберагчыць цэлую узбагачаную табліцу PyArrow у DuckDB для пазнейшага аналізу разам з індэксам вектараў.
Кожны аператар камунікуець праз стандартную схему таблы PyArrow, таму vectordb не залежыць ад таго, звядзе каналься ягоя рэядкі — з локальнай папкі, S3, SharePoint чы ўсаблікованага загрузчыка. Можлівасць пераносу джэрэл і месца зберагчыка ёсць структурныя якосць, якія гарантуюцца архітэктурай, а не залежаць ад стандартных правіл. Аператар абараняе стварэнне індэксаў, пакетную большую запіс, калькольвыя вектарныя столбцы, чысткаванне застарэлых частак і аўтаматычную дыягностыку вымяраў; усё гэта керуецца файлам прабэгу, пры чым розмер частак, перакрыцце, модэль умяшчэння, алгорытм індэкса і метрыка сэроднечы выклікаюцца як настройкі.
Ён ўскладніця ў растучай экосыстэме пайплайнаў, а праект ўтварыўся на адкрытым кодзе пад кераваннем IBM. Калі ваш вектарны база дадзеных яшчо не падтрымваны, інтэрфейс адаптара — гэта месца для пачатку.