Startseite / Artikel

Brauchen kleine RAG-Anwendungen wirklich eine Vektor-Datenbank?

LangChain4j MemFile speichert die Embeddings im JVM-Memory und teilt den Text auf dem Disk ab. Das reicht für kleine RAG-Anwendungen aus, doch bei größeren Projekten sollte man auf eine echte Vektordatenbank wechseln.

Verlag: REACTAPP.TOP5 Min. Lesezeit1203 Wörter

Quellen: https://medium.com/@harikrishna553/do-small-scale-rag-apps-really-need-a-vector-database-exploring-langchain4j-memfile-8360f48f68c2

Wenn Menschen eine Retrieval-Augmented Generation-App starten, stellt sich oft als erste architektonische Frage die Wahl der passenden Vektordatenbank. Zu den möglichen Optionen gehören in der Regel PostgreSQL mit pgvector, Milvus, Qdrant, Pinecone, Elasticsearch, OpenSearch, Weaviate und Redis. Es handelt sich dabei um leistungsstarke Tools, die für viele Produktivsysteme die richtige Wahl sind. Bevor man jedoch eine weitere Datenbank hinzufügt, sollte man sich eine wichtigere Frage stellen: Braucht diese Anwendung überhaupt eine Vektordatenbank?

Für eine Plattform mit Millionen von Embeddings sowie Hunderten oder Tausenden gleichzeitiger Nutzer lautet die Antwort vermutlich ja. Bei nur einigen Dutzend Dokumenten, wenigen Tausend Fragmenten, einer kleinen Wissensdatenbank, wenigen Nutzern und geringem Abrufverkehr kann das Betreiben und Warten einer separaten Vektordatenbank unnötige Komplexität bedeuten. Genau hier werden leichte Embedding-Speicher interessant.

LangChain4j bietet viele Implementierungen hinter einer gemeinsamen EmbeddingStore-Abstraktion. In den Dokumentationen werden mehr als dreißig Optionen aufgelistet – von einfachem In-Memory-Speicher über PGVector, Milvus, Qdrant, Elasticsearch und weitere. Eine Community-Integration, die man genauer betrachten sollte, ist langchain4j-community-memfile. Im Folgenden wird erläutert, wo MemFile zum Einsatz kommt, warum es existiert und wann etwas So Einfaches ausreicht.

RAG in LangChain4j

Im Großen und Ganzen embeddet eine grundlegende RAG-Anwendung Dokumente, speichert die Vektoren, embeddet eine Frage und sucht nach nahegelegenen Vektoren, um anschließend den passenden Text an das Modell weiterzuleiten. Die Aufgabe des Embedding-Stores ist klar definiert: Vektoren sowie in der Regel deren zugehörigen Text oder Metadaten speichern.

LangChain4j drückt dies über EmbeddingStore aus. Die Schnittstelle ermöglicht das Hinzufügen von Embeddings, das Suchen nach ähnlichen Embeddings, das Entfernen von Einträgen sowie die Verarbeitung des damit verbundenen Inhalts. Dank dieser Abstraktion muss der Anwendungscode nicht eng an eine bestimmte Datenbank gebunden sein. Konzeptionell deklariert man einen EmbeddingStore<TextSegment> und wählt aus, was dahintersteht: im Speicher, PGVector, Milvus, Qdrant, JVector, MemFile und so weiter. Diese Flexibilität ist einer der Stärken von LangChain4j.

Fangen Sie mit der einfachsten Option an

Die eigenen RAG-Beispiele von LangChain4j beginnen mit InMemoryEmbeddingStore. Für eine kleine Anwendung ist es äußerst praktisch, einige Tausend Vektoren im JVM-Speicher zu halten. Es gibt weder PostgreSQL noch Docker, weder Milvus noch Redis, keine Netzwerkübertragungen und keine Infrastruktur, die bereitgestellt werden muss. Die Architektur reduziert sich auf den Anwendungsprozess selbst. Für viele Arbeitslasten ist diese Einfachheit von großem Wert.

Was MemFile tatsächlich tut

Der Name klingt nach einem Speicher im Arbeitsspeicher, der gelegentlich Daten auf die Festplatte schreibt. Der aktuelle MemFileEmbeddingStore ist ein Hybrid:

  • Die Embedding-Vektoren befinden sich im JVM-Speicher.
  • Der eingebettete Inhalt liegt in lokalen Dateien vor.
  • Häufig genutzter Inhalt kann in einem optionalen Speichercache gespeichert werden.

Es teilt absichtlich die beiden Teile, die normalerweise einen gemeinsamen Speicher verwenden, voneinander. Embeddings bleiben im Speicher, da Suchverfahren nach Ähnlichkeiten sie wiederholt benötigen. Der entsprechende TextSegment muss nicht kontinuierlich im Heap gespeichert werden.

Ein typischer Store-Eintrag enthält eine ID, einen Vektor und ein TextSegment. Der Vektor kann Hunderte oder Tausende von Float-Werten enthalten; das Segment kann Absätze, Metadaten sowie benutzerdefinierte Attribute beinhalten. Wenn alles im Speicher bleibt, wächst der Heap sowohl mit den Vektoren als auch mit dem ursprünglichen Text. MemFile behält nur das in Erinnerung, was für die Suche benötigt wird, und verschiebt den umfangreicheren Text auf die Festplatte, wobei der Inhalt erst geladen wird, wenn ein Treffer gefunden wird. Das ist nützlich, wenn die Anzahl der Vektoren überschaubar ist, aber der zugehörige Text und die Metadaten sehr groß sind. Beispiel: 100.000 Blöcke mit umfangreichem Text. Die Vektoren passen möglicherweise noch in den Speicher, während jedes TextSegment als Java-Objekt erhebliche Overhead-Kosten verursacht. MemFile verringert diesen Overhead, ohne die für die Suche erforderlichen Vektoren zu entfernen.

Wann MemFile geeignet ist

Es eignet sich für kleine bis mittlere RAG-Anwendungen, bei denen Vektoren bequem in der JVM untergebracht werden können und der Inhalt von TextSegment groß genug ist, sodass das Speichern aller Daten im Heap nachteilig wäre. Interne Wissensassistenten, Entwicklerwerkzeuge, Dokumentensuche, lokale KI-Anwendungen, Prototypen, Desktop-Anwendungen, CLI-Tools sowie andere Ein-Prozess-Systeme sind ideale Kandidaten.

Es ist besonders attraktiv, wenn die Wissensdatenbank größtenteils statisch ist: einmal indizieren, mehrfach abfragen. Um Geschwindigkeit zu gewährleisten, werden die Embeddings im Speicher gehalten, während die Blöckinhalte auf der Festplatte verbleiben. Zudem entfällt die Notwendigkeit, PostgreSQL zu installieren, Milvus zu deployen, Qdrant zu konfigurieren oder weitere Container auszuführen. Der Speicher bleibt innerhalb der Java-Anwendung; der Inhalt der Blöcke befindet sich im lokalen Dateisystem.

Große Textblöcke stärken diese Vorteile noch weiter. Ein optioneller LRU-Cache hält aktive Blöcke im Speicher, während inaktive auf der Festplatte verbleiben.

Wann man es meiden sollte

Die größte Einschränkung: Die Embeddings selbst befinden sich weiterhin im Speicher. Wenn die Sammlung von Vektoren sehr groß wird, rettet es Sie nicht, nur den Text auf die Festplatte zu übertragen. Millionen hochdimensionaler Embeddings verbrauchen bereits viel Speicher, bevor der Text des Dokuments überhaupt berücksichtigt wird.

MemFile verwendet derzeit auch eine brute-force-basierte Ähnlichkeitssuche. Jede Abfrage wird mit allen gespeicherten Vektoren verglichen, anstatt mit einem Index für den nächsten ähnlichen Vektor. Das ist für kleinere Sammlungen in Ordnung, wird aber mit zunehmender Anzahl teuer.

Horizontales Skalieren ist ein weiterer Widerspruch. Wenn mehrere Service-Instanzen dieselbe Sammlung teilen und aktualisieren müssen, ist es schwierig, die lokalen MemFile-Speicher konsistent zu halten. Eine zentrale Vektordatenbank eignet sich besser für dieses Szenario.

Auch Workloads mit hohem Durchsatz, bei denen kontinuierlich viele Dokumente hinzugefügt, aktualisiert oder gelöscht werden, passen nicht gut dazu.

Ein Kompromiss

Betrachten Sie MemFile als etwas zwischen einem reinen In-Memory-Speicher und einer vollwertigen Vektordatenbank. InMemoryEmbeddingStore eignet sich, wenn sowohl Vektoren als auch der Inhalt in den Speicher passen. MemFile wird interessant, wenn die Vektoren zwar noch hineinpassen, aber das Beibehalten aller ursprünglichen Inhalte im Heap verschwenderisch ist. Sobald die Vektoren selbst zu groß werden, die Abfragedurchsatzanforderungen hoch sind, mehrere Instanzen einen gemeinsamen Zugriff benötigen oder Sie Unternehmensdatenbankfunktionen benötigen, wechseln Sie zu einem indizierten oder speziell dafür vorgesehenen Speicher wie JVector, PGVector, Qdrant, Milvus, Elasticsearch oder OpenSearch.

Niemand behauptet, dass MemFile dedizierte Vektordatenbanken ersetzen sollte. Der Sinn besteht darin, eine verteilt arbeitende Infrastruktur so lange wie möglich hinauszuzögern, bis sie tatsächlich erforderlich ist. Für die richtige Arbeitslast stellt eine Kombination aus Vektoren im Speicher und Inhalten auf der Festplatte eine außergewöhnlich einfache und effektive Architektur dar.

Ein praktischer Entscheidungsweg

  1. Erstellen Sie ein Prototyp mit dem In-Memory-Speicher und einer begrenzten Anzahl an Dokumenten. Überprüfen Sie, ob die Qualität der Abrufung für Ihr Korpus akzeptabel ist.
  2. Falls durch Textabschnitte Druck auf den Heap entsteht, während die Anzahl der Vektoren noch gering ist, wechseln Sie die Implementierung des Speichers auf MemFile, ohne den Rest des RAG-Code zu ändern.
  3. Messen Sie die Abfragedauer sowie den Speicherverbrauch unter realistischer Last. Wenn die Brute-Force-Suche innerhalb Ihres Latenzbudgets bleibt und der Prozess stabil funktioniert, behalten Sie diese Lösung bei.
  4. Sobald die Anzahl der Vektoren, die Konkurrenz oder das Teilen über mehrere Instanzen zu Problemen führen, wechseln Sie auf PGVector, Qdrant, Milvus oder einen anderen indizierten Speicher. Die EmbeddingStore-Abstraktion macht diesen Wechsel größtenteils zu einer einfachen Konfigurationsänderung.

Dieser Ansatz hält die Komplexität proportional zu den Anforderungen. Viele interne Tools bleiben bei Schritt 2 oder 3 stehen – und das ist in Ordnung.

Referenzen

  • Tutorial zu den Embedding-Speichern von LangChain4j