Strona główna / Artykuły

Jak docling-pipelines przechowuje wektory dokumentów dla RAG przy użyciu OpenSearch lub Milvus

Warstwa bazy danych wektorowych w IBM docling-pipelines dla RAG: adaptery OpenSearch i Milvus, które można podłączyć, usuwanie przestarzałych fragmentów danych, automatyczne ustalanie wymiarów, przepływy danych w formacie JSON.

Wydawca: REACTAPP.TOP7 min czytania1688 słów

Źródła: The Indexing Layer: How docling-pipelines Prepares Your Documents for RAG

Każda nowoczesna aplikacja, która odpowiada na pytania dotyczące dokumentów prywatnych, opiera się na jednym wzorcu – generacji wzbogaconej o wyszukiwanie, czyli RAG. Załóżmy, że ktoś pyta, jakie warunki odnowienia obowiązują w umowach z zeszłego roku lub jakie są limity odpowiedzialności w umowach z dostawcami. Zanim model językowy będzie mógł odpowiedzieć, coś musi znaleźć odpowiednie fragmenty wśród tysięcy plików i przekazać je w użytecznej formie. Tym „czymś” jest baza danych wektorowych, a operator vectordb w projekcie open-source docling-pipelines firmy IBM pełni tę rolę.

Poniżej przedstawiono uzasadnienie istnienia baz danych wektorowych, sposób, w jaki RAG od nich zależy, oraz to, jak docling-pipelines przekształca element przechowywania w pipeline’u RAG w coś deklaratywnego – konfiguruje się go za pomocą pliku JSON i można go rozszerzać o własne operatorzy w razie potrzeby.

RAG i rola bazy danych wektorowych

Dzięki RAG model językowy nie odpowiada wyłącznie na podstawie pamięci. System najpierw pobiera najbardziej istotne fragmenty z zbioru dokumentów i umieszcza je w zapytaniu jako kontekst. Następnie model tworzy odpowiedź opartą na tych fragmentach, a nie na statystycznych wzorcach wynikających z treningu.

Baza danych wektorowych umożliwia ten proces wyszukiwania. W praktyce działa w następujący sposób.

Podczas tworzenia indeksu każdy fragment zbioru jest przekształcany przez model na wektor liczbowy, czyli embedding, który nauczył się umieszczać teksty o podobnym znaczeniu blisko siebie w przestrzeni wysokowymiarowej. Wektory są przechowywane obok oryginalnego tekstu.

W momencie wyszukiwania pytanie użytkownika jest przetwarzane za pomocą tego samego modelu. Baza danych przeprowadza wyszukiwanie najbliższych sąsiadów i zwraca fragmenty, których wektory znajdują się najbliżej wektora pytania. Te fragmenty są istotne pod względem znaczenia, nawet jeśli nie zawierają żadnych słów kluczowych wspólnych z pytaniem. Model otrzymuje je jako kontekst i może w ten sposób sformułować trafną odpowiedź.

Dlaczego zwykła baza danych tego nie potrafi

Baza danych relacyjna lub dokumentowa potrafi dopasować słowa kluczowe, ale nie znaczenie. Wyszukiwanie frazy „klauzule zakończenia” nie przyniesie wyników z akapitem o „warunkach wyjścia z umowy”, mimo że mówią one o tym samym. Baza danych wektorowa pracuje na podstawie znaczenia, a nie znaków.

W skali masowej porównywanie zapytania z milionami wektorów w sposób wyczerpujący byłoby zbyt wolne. Dlatego bazy danych wektorowych wykorzystują indeksy przybliżone najbliższego sąsiada, takie jak HNSW (Hierarchical Navigable Small World graphs) i IVF (Inverted File Index). Rezygnują one z niewielkiej dokładności na rzecz znacznego skrócenia czasu reakcji, a oba typy indeksów są standardowymi opcjami konfiguracyjnymi w operatorze vectordb.

Które backendy obsługują docling-pipelines

Projekt zawiera wbudowaną obsługę dwóch backendów baz danych wektorowych: OpenSearch i Milvus. Oba są konfigurowane za pomocą pliku JSON bez konieczności zmian w kodzie. Klucz "provider" w konfiguracji operatora wybiera odpowiedni backend, a wszystko inne wynika z tego wyboru.

Architektura sześciokątna operatora ułatwia dodawanie innych backendów. Aby obsłużyć Qdrant, pgvector, Weaviate lub cokolwiek innego, wystarczy napisać jedną klasę adaptera i ją zarejestrować. Ani operator, ani framework pipeline nie muszą ulegać zmianom.

Jak działa operator

W ramach pipeline indeksowania operator vectordb zajmuje się przechowywaniem. Wiersze trafiające do jego tabeli PyArrow są już wzbogacone o następujące pola:

  • oryginalny tekst dokumentu;
  • doc_id_hash, który nadaje każdemu dokumentowi stały identyfikator, który pozostaje taki sam przy każdym uruchomieniu;
  • kolumnę chunked_content, która przedstawia dokument podzielony na nakładające się okna;
  • kolumnę embeddings zawierającą jeden wektor liczbowy na każdy fragment, utworzony przez operatora embeddings znajdującego się wyżej w łańcuchu.

Operator bierze tę tabelę i zapisuje każdy fragment wraz z jego embeddingiem i metadanymi do bazy danych wektorowej. W trakcie tego procesu tworzy lub weryfikuje schemat indeksu, grupuje operacje wprowadzania danych, śledzi, które fragmenty się udały, a które nie, oraz usuwa przestarzałe fragmenty z wcześniejszych wykonań, gdy dokument uległ zmianie.

Projekt heksagonalny: możliwość integracji z dowolną bazą

Operator celowo nie jest powiązany z jedną konkretną bazą danych. Przekazuje zadania backendowe adapterowi, który realizuje interfejs VectorStorePort – abstrakcyjną umowę określającą, jakie funkcje musi oferować każda baza danych wektorowej, w tym create_index(), index_documents(), refresh_index() oraz delete_documents_by_ids().

To jest wzorzec architektury sześciokątnej zastosowany do operatora w łańcuchu przetwarzania. Logika dotycząca tego, co należy przechowywać, znajduje się w operatorze. Kwestia infrastruktury, jak komunikować się z konkretnym backendem, jest rozwiązana za pomocą adaptera. Operator jedynie wywołuje interfejs portu i nigdy bezpośrednio nie korzysta z protokołów OpenSearch ani Milvus.

VectorDBOperator
      │
      └── VectorStorePort (interface / abstract contract)
              ├── OpenSearchAdapter   (ships with docling-pipelines)
              ├── MilvusAdapter       (ships with docling-pipelines)
              └── YourCustomAdapter   (implement VectorStorePort → plug in)

Aby obsłużyć bazę danych, która jeszcze nie jest objęta wsparciem, wdroż wymaganą implementację VectorStorePort i zarejestruj adapter w fabryce. Następnie nazwa twojego adaptera może być użyta jako "provider" w pliku JSON opisującym przepływ. Nic innego się nie zmienia – ani operator, ani otaczający go pipeline, ani istniejące przepływy o typie type: vectordb.

Dokumenty w formie fragmentów i całe dokumenty

Oba tryby są obsługiwane w sposób transparentny. Gdy istnieje i jest wypełniony element chunked_content, który jest wynikiem działania operatora chunker znajdującego się wyżej w łańcuchu przetwarzania, każdy fragment jest indeksowany jako odrębny dokument. Jego klucz główny jest wyliczany na podstawie identyfikatora pliku nadrzędnego, indeksu fragmentu oraz tekstu tego fragmentu. Gdy tabela zawiera całe dokumenty bez dzielenia na fragmenty, każdy wiersz jest indeksowany jako jedna całość. Operator automatycznie wybiera odpowiednią ścieżkę, więc nie jest potrzebny żaden specjalny flag.

Czyszczenie przestarzałych fragmentów

Aktualizacje stanowią poważny problem w przypadku indeksów składowanych na kawałki. Jeśli plik zostanie ponownie przetworzony po edycji jego zawartości, nowe kawałki już nie odpowiadają tym przechowywanym wcześniej. Aby temu zaradzić, system sprawdza istniejące identyfikatory kawałków dla każdego dokumentu przed ich dodaniem, oblicza różnicę między starymi a nowymi zbiorkami i usuwa te przestarzałe, zanim zapisze nową partię danych. W ten sposób indeks odzwierciedla aktualny stan dokumentu, bez względu na to, ile razy proces przetwarzania został uruchomiony na tym samym korpusie.

Zdetektowane przez nas wymiary wektorowe

Nie musisz ręcznie liczyć wymiarów i wpisywać ich jako stałe wartości. Podczas uruchamiania procesu system odczytuje pierwszy niezerowy wynik embeddingu z tabeli i bierze wymiar z jego długości. Indeks jest następnie tworzony z tą wartością lub sprawdzany pod kątem niej, jeśli już istnieje.

Pełny proces indeksowania RAG

Pełny pipeline indeksowania składa się tutaj z pięciu operatorów połączonych krawędziami depends_on. Ten lokalny przykład wykorzystuje OpenSearch:

{
  "flow_name": "rag-indexing-pipeline",
  "global_config": {
    "doc_column": "content",
    "storage": "in-memory",
    "execute_type": "local",
    "enable_micro_batching": true,
    "micro_batch_size": 10
  },
  "flow": [
    {
      "name": "ingest",
      "type": "ingest_source",
      "config": {
        "provider": "filesystem",
        "connection_params": { "paths": ["./documents"], "recursive": true },
        "include_filter": "pdf,docx,txt"
      }
    },
    {
      "name": "extract",
      "type": "extract_operator",
      "depends_on": ["ingest"],
      "config": {
        "text_extraction": { "provider": "docling_library", "doc_column": "content" }
      }
    },
    {
      "name": "chunk",
      "type": "chunker",
      "depends_on": ["extract"],
      "config": {
        "doc_column": "content",
        "chunk_size": 512,
        "chunk_overlap": 50
      }
    },
    {
      "name": "embed",
      "type": "embeddings",
      "depends_on": ["chunk"],
      "config": {
        "provider": "litellm",
        "embeddings_column": "embeddings",
        "provider_config": {
          "model_id": "openai/nomic-embed-text",
          "api_base": "http://localhost:11434/v1",
          "api_key": "${OLLAMA_API_KEY}"
        }
      }
    },
    {
      "name": "store",
      "type": "vectordb",
      "depends_on": ["embed"],
      "config": {
        "provider": "opensearch",
        "doc_id_column": "doc_id_hash",
        "create_index": true,
        "provider_config": {
          "index_name": "my_rag_index",
          "host": "localhost",
          "port": 9200,
          "username": "${OPENSEARCH_USERNAME}",
          "password": "${OPENSEARCH_PASSWORD}",
          "use_ssl": false,
          "engine": "faiss",
          "algorithm": "hnsw",
          "space_type": "l2"
        }
      }
    }
  ]
}

Zrób to z linii poleceń:

docling-pipelines --flow-file rag-pipeline.json

Każdy plik PDF, DOCX oraz plik tekstu prostego znajdujący się w katalogu ./documents jest wykrywany, wydobywany i dzielony na fragmenty po 512 tokenów z 50 tokenami nakładania się, przy użyciu ustawień znajdujących się w węźle chunker, które można swobodnie zmieniać. Fragmenty te są embedowane za pomocą modelu nomic-embed-text działającego lokalnie przez Ollamę, a następnie zapisywane do indeksu OpenSearch przygotowanego do wyszukiwania podobieństw.

Przykład opiera się na odczytywaniu z lokalnej folderu, ale proces pobierania danych obejmuje również S3, SharePoint, Google Drive, Box, OneDrive oraz niestandardowe narzędzia do ładowania danych. Zmienia się jedynie węzeł ingest_source. Wszystkie kolejne elementy, w tym vectordb, pozostają takie same, niezależnie od tego, skąd pochodzą dokumenty.

Milvus z dwoma modelami embedowania

Zespoły, które chcą jednocześnie wgrać dokumenty za pomocą dwóch różnych modeli – na przykład modelu uniwersalnego i modelu specyficznego dla danej dziedziny – mogą używać operatorów branching i merge. Proces polega na pobieraniu danych, ich wydobywaniu, dzieleniu na fragmenty, rozgałęzieniu w celu przeprowadzenia dwóch kroków wgrania, połączeniu tych wyników i następnie zapisaniu ich do Milvus.

Adapter Milvus obsługuje kilka kolumn wektorowych. Wyniki każdego modelu trafiają do osobnego pola wektorowego w kolekcji, co umożliwia wyszukiwanie typu ensemble w momencie wysyłania zapytania: bierze się najlepsze wyniki z indeksu każdego modelu i łączy je przed ustalaniem rankingu.

Indeksowanie inkrementalne

Operator ten jest zaprojektowany tak, aby działać wielokrotnie nad coraz większym zbiorem dokumentów bez konieczności ponownego indeksowania wszystkiego. Operator przetwarzania pamięta również wcześniejsze wykonywania i pomija pliki, których hash oraz data modyfikacji pozostały niezmienione. W ten sposób przez cały proces przechodzą wyłącznie nowe i zmodyfikowane dokumenty. Ich fragmenty są zapisywane, stare fragmenty zaktualizowanych dokumentów są usuwane, a wszystko inne pozostaje nietknięte.

W przypadku zaplanowanego procesu przetwarzania nad ciągle rosnącym magazynem dokumentów, czas wykonywania jest proporcjonalny do ilości zmian, a nie do całkowitej wielkości zbioru.

Jak pasuje do szerszego kontekstu

W przepływie RAG opartym na docling-pipelines, operator vectordb stanowi węzeł przechowywania wektorów. W zależności od projektu może to być ostatni węzeł, albo po nim mogą następować inne. Na przykład operator document_set może przechowywać pełną, wzbogaconą tabelę PyArrow w DuckDB w celu późniejszej analizy razem z indeksem wektorowym.

Każdy operator komunikuje się za pomocą standardowego schematu tabeli PyArrow, więc vectordb nie zależy od tego, skąd pochodzą jego wiersze – czy to z lokalnej folderu, S3, SharePoint, czy z dedykowanego narzędzia do ładowania danych. Przenośność źródeł i miejsca przechowywania jest właściwością strukturalną zapewnianą przez architekturę, a nie wynikającą z konwencji. Operator zajmuje się tworzeniem indeksów, masowym zapisywaniem danych w partiach, obsługą wielu kolumn wektorowych, usuwaniem przestarzałych fragmentów danych oraz automatycznym wykrywaniem wymiarów; wszystko to jest sterowane przez plik przepływu, a parametry takie jak rozmiar fragmentów, ich nakładanie się, model wgrzewania, algorytm indeksowania oraz metryka podobieństwa są dostępne jako ustawienia konfiguracyjne.

Jest to element rozwijającego się ekosystemu pipeline’ów, a projekt jest dostępny pod licencją otwartego oprogramowania w ramach IBM. Jeśli twoja baza danych wektorowych nie jest jeszcze obsługiwana, interfejs adaptera jest punktem wyjścia.