Strona główna / Artykuły

Czy aplikacje RAG o małą skalę naprawdę potrzebują bazy danych wektorowych?

LangChain4j MemFile przechowuje embeddingi w pamięci JVM, a tekst w fragmentach na dysku. To wystarcza dla małych aplikacji RAG, ale należy przejść na prawdziwą bazę danych wektorową w większych projektach.

Wydawca: REACTAPP.TOP5 min czytania1203 słów

Źródła: https://medium.com/@harikrishna553/do-small-scale-rag-apps-really-need-a-vector-database-exploring-langchain4j-memfile-8360f48f68c2

Gdy ludzie uruchamiają aplikację opartą na technologii Retrieval-Augmented Generation, pierwszym pytaniem dotyczącym architektury jest często to, który bazę wektorową wybrać. Lista kandydatów zazwyczaj obejmuje PostgreSQL z rozszerzeniem pgvector, Milvus, Qdrant, Pinecone, Elasticsearch, OpenSearch, Weaviate oraz Redis. Są to potężne narzędzia i w przypadku wielu systemów produkcyjnych stanowią właściwy wybór. Zanim jednak dodamy kolejną bazę danych, należy zadać sobie bardziej fundamentalne pytanie: czy ta aplikacja rzeczywiście jej potrzebuje?

Dla platformy z milionami wektorów i setkami lub tysiącami jednoczesnych użytkowników odpowiedź może być twierdząca. Natomiast przy zaledwie kilkudziesięciu dokumentach, kilku tysiącach fragmentów danych, małej bazie wiedzy, niewielkiej liczbie użytkowników oraz umiarkowanym ruchu związanych z wyszukiwaniem, utrzymywanie oddzielnej bazy wektorowej może stanowić niepotrzebną złożoność. W takich sytuacjach interesujące stają się lżejsze systemy przechowywania wektorów.

LangChain4j oferuje wiele implementacji pod wspólną abstrakcją EmbeddingStore. Dokumentacja wymienia ponad trzydzieści opcji, od prostego przechowywania w pamięci po PGVector, Milvus, Qdrant, Elasticsearch i inne. Jedną integracją społecznościową wartą bliższego przyjrzenia się jest langchain4j-community-memfile. Poniżej: gdzie pasuje MemFile, dlaczego istnieje i kiedy coś tak prostego jest wystarczające.

RAG w LangChain4j

Na wysokim poziomie podstawowa aplikacja RAG embeduje dokumenty, przechowuje wektory, embeduje pytanie i wyszukuje pobliskie wektory, a następnie przekazuje dopasowany tekst modelowi. Zadanie sklepu embeddingów jest precyzyjne: przechowywać wektory oraz, zazwyczaj, powiązany z nimi tekst lub metadane.

LangChain4j realizuje to za pomocą EmbeddingStore. Ta interfejs umożliwia dodawanie embeddingów, wyszukiwanie podobnych do nich, usuwanie wpisów oraz pracę z powiązanym kontentem. Dzięki tej abstrakcji kod aplikacji nie musi być ściśle powiązany z konkretną bazą danych. Koncepcyjnie deklaruje się EmbeddingStore<TextSegment> i wybiera, co znajduje się za nim: pamięć operacyjna, PGVector, Milvus, Qdrant, JVector, MemFile itp. Ta elastyczność jest jedną z zalet LangChain4j.

Zacznij od najprostszej opcji

Przykłady RAG dostępne w LangChain4j zaczynają się od InMemoryEmbeddingStore. W przypadku małej aplikacji przechowywanie kilku tysięcy wektorów wewnątrz JVM jest niezwykle wygodne. Nie ma potrzeby korzystania z PostgreSQL, Dockera, Milvusa, Redisa, żadnych połączeń sieciowych ani konieczności konfiguracji infrastruktury. Architektura sprowadza się do samego procesu aplikacji. Dla wielu zadań ta prostota ma duże znaczenie.

Czym właściwie jest MemFile

Nazwa sugeruje magazyn pamięciowy, który od czasu do czasu zapisuje dane na dysk. Obecny MemFileEmbeddingStore jest hybrydą:

  • Wektory embeddingów znajdują się w pamięci JVM.
  • Zawartość embeddingów jest przechowywana w plikach lokalnych.
  • Często używana zawartość może być przechowywana w opcjonalnej pamięci cache.

Celowo dzieli te dwa elementy, które zwykle korzystają z tego samego sklepu. Embeddingi pozostają w pamięci, ponieważ wyszukiwanie podobieństw wymaga ich wielokrotnego użycia. Odpowiedni TextSegment nie musi stale zajmować pamięci heap.

Każdy typowy element sklepu ma id, wektor oraz TextSegment. Wektor może zawierać setki lub tysiące liczb zmiennoprzecinkowych; segment może zawierać akapity, metadane oraz niestandardowe atrybuty. Jeśli wszystko pozostaje w pamięci, pulpa pamięci rośnie wraz z wektorami i oryginalnym tekstem. MemFile przechowuje to, co jest potrzebne do wyszukiwania, w RAM, a cięższy tekst przenosi na dysk, ładując treść tylko wtedy, gdy zostanie znaleziony wynik. To pomaga w sytuacjach, gdy liczba wektorów jest do zarządzania, ale powiązany tekst i metadane są duże. Przykład: 100 000 fragmentów z obszernym tekstem. Wektory mogą nadal mieścić się w pamięci, natomiast każdy TextSegment jako obiekt Java powoduje znaczny wzrost obciążenia pulpy pamięci. MemFile zmniejsza to obciążenie bez usuwania wektorów niezbędnych do wyszukiwania.

Kiedy MemFile jest odpowiedni

Podoba się to aplikacjom RAG o małych do średnich rozmiarach, w których wektory mieszczą się wygodnie w JVM, a zawartość TextSegment jest na tyle duża, że przechowywanie wszystkiego na pamięci heap powoduje problemy. Naturalnymi kandydatami są wewnętrzni asystenci wiedzy, narzędzia deweloperskie, wyszukiwanie dokumentacji, lokalne aplikacje AI, prototypy, aplikacje desktopowe, narzędzia CLI oraz inne systemy jednoprocesowe.

Jest szczególnie atrakcyjny, gdy baza wiedzy jest w większości statyczna: indeksuj raz, wyszukuj wiele razy. Aby zwiększyć szybkość, utrzymujesz embeddingi w pamięci, a treść fragmentów przechowujesz na dysku. Unikasz również konieczności instalowania PostgreSQL, wdrażania Milvus, konfigurowania Qdrant czy uruchamiania innego kontenera. Magazyn pozostaje wewnątrz aplikacji Java, a treść fragmentów znajduje się na lokalnym systemie plików.

Duże fragmenty tekstu dodatkowo wzmacniają zalety tego rozwiązania. Opcjonalna pamięć cache LRU utrzymuje często używane fragmenty w pamięci, podczas gdy rzadko używane pozostają na dysku.

Kiedy unikać tego rozwiązania

Największym ograniczeniem jest to, że same embeddingi nadal znajdują się w pamięci. Jeśli zbiór wektorów stanie się ogromny, samo przechowywanie tekstu na dysku nie pomoże. Miliony wysoko wymiarowych embeddingów zajmują dużo pamięci, zanim w ogóle rozważy się tekst dokumentu.

MemFile obecnie również wykorzystuje prosty metodę wyszukiwania podobieństwa. Każde zapytanie jest porównywane ze wszystkimi przechowywanymi wektorami, a nie z indeksem najbliższego sąsiada. To jest w porządku dla mniejszych zbiorów, ale staje się kosztowne wraz ze wzrostem ich rozmiaru.

Kalibracja pozioma to kolejna niespójność. Jeśli kilka instancji usługi musi dzielić się i aktualizować ten sam zbiór, utrzymanie spójności lokalnych plików MemFile jest trudne. Centralizowana baza danych wektorowych lepiej pasuje do takiego scenariusza.

Zadania o wysokim tempie zmian, które ciągle dodają, aktualizują i usuwają dokumenty w dużych ilościach, również nie nadają się do tego zastosowania.

Rozwiązanie pośrednie

Rozważaj MemFile jako coś pomiędzy czystym magazynem w pamięci a pełną bazą danych wektorowych. InMemoryEmbeddingStore sprawdza się, gdy zarówno wektory, jak i treść mieszczą się w pamięci. MemFile staje się interesujący, gdy wektory nadal się zmieszczą, ale przechowywanie całej oryginalnej treści na heapie jest marnotrawstwem zasobów. Gdy same wektory stają się zbyt duże, przepustowość zapytań rośnie, potrzebne są kilka instancji z dostępem wspólnym lub wymagane są funkcje baz danych korporacyjnych – w takim przypadku należy przenieść się na indeksowaną lub dedykowaną bazę danych, taką jak JVector, PGVector, Qdrant, Milvus, Elasticsearch lub OpenSearch.

Nikt nie twierdzi, że MemFile powinien zastąpić dedykowane bazy danych wektorowych. Chodzi o to, by odkładać wdrożenie infrastruktury rozproszonej do momentu, gdy faktycznie będzie to konieczne ze względu na obciążenie pracy. Dla odpowiedniego obciążenia praca wektorów w pamięci oraz treści na dysku stanowi niezwykle prostą i skuteczną architekturę.

Praktyczna ścieżka decyzyjna

  1. Stwórz prototyp z pamięcią tymczasową oraz kilkoma dokumentami. Sprawdź, czy jakość wyświetlania danych jest akceptowalna dla twojego korpusu.
  2. Jeśli podczas przetwarzania fragmentów tekstu pojawi się presja na pamięć, a liczba wektorów pozostaje niewielka, zmień implementację magazynu na MemFile bez modyfikowania reszty kodu RAG.
  3. Pomierz opóźnienie zapytań oraz zużycie pamięci przy rzeczywistym obciążeniu. Jeśli wyszukiwanie metodą siłową mieści się w wyznaczonym limicie opóźnień, a proces funkcjonuje prawidłowo, pozostań przy obecnym rozwiązaniu.
  4. Gdy liczba wektorów, równoczesność przetwarzania lub współdzielenie instancji zaczyna stanowić problem, przenieś się na PGVector, Qdrant, Milvus lub inny magazyn z indeksami. Abstrakcja EmbeddingStore sprawia, że taka zmiana polega głównie na modyfikacji konfiguracji.

Taka ścieżka utrzymuje złożoność w proporcji do potrzeb. Wiele narzędzi wewnętrznych nigdy nie przechodzi do kroku 2 lub 3, i to jest w porządku.

Odnośniki

  • Przewodnik po magazynach embeddingów w LangChain4j

Powiązane materiały

  • Zrezygnowaliśmy z naszej bazy danych wektorowych: pgvector Served 40M Embeddings Fine — Historia migracji: zastąpienie płatnej bazy danych wektorowych pgvector w 40 milionach wierszy, w tym metoda uzupełniania danych, błąd wykrywania ukryty w panelach sterowania oraz sytuacje, gdy nie należy dokonywać zmiany.
  • Pinecone, Weaviate, Milvus, Qdrant czy Chroma: Wybór bazy danych wektorowych — Proste wyjaśnienie zalet każdej z baz danych wektorowych, od wyszukiwania typu serverless i hybrydowego po indeksowanie przy użyciu Rust i GPU, wraz z wadami i sytuacjami, gdy dana baza jest najbardziej odpowiednia.