Vector RAG gegen Keyword RAG: Wann man welche Variante verwendet und warum das Hybridmodell überlegen ist
Vectorbasiertes RAG gegen nicht-vektorbasiertes RAG: Embeddings im Vergleich zu BM25, SQL- und Graphsuche, wie jede Methode funktioniert, wo jede versagt, und warum ein hybrides Verfahren mit Reranking überlegen ist.
Quellen: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?
RAG stellt einem Sprachmodell ein Nachschlagewerk zur Verfügung, auf das es sich vor der Antwortbeschaffung beziehen kann. Das ist besser, als alles in die Gewichte zu pressen – was teuer ist, veraltet und Halluzinationen begünstigt. Die interessante Frage ist, wie die Abfrage abläuft. Zwei Ansätze dominieren: die Vektorabrufung, die nach semantischer Ähnlichkeit sortiert, und das sogenannte vektorlose Abrufen, das auf klassischen Suchverfahren wie BM25, Schlüsselwortabgleich, Graphen und SQL setzt. Je nach Daten kann jeder Ansatz überlegen sein.
Vektorabrufung
Das ist es, was die meisten Menschen sich vorstellen, wenn sie von „moderatem RAG“ hören. Jeder Textabschnitt wird zu einem hochdimensionalen Vektor (einem Embedding) und in eine Vektordatenbank eingefügt. Bei der Abfrage wird auch die Frage in einen Vektor umgewandelt, und die Abschnitte mit den am nächsten liegenden Vektoren werden zurückgegeben. Die Nähe im Vektorraum steht für Nähe im Sinne.
Der Prozess umfasst fünf Schritte:
- Einlesen und in Blöcke aufteilen. Teilen Sie Dokumente in überschneidende Blöcke auf, beispielsweise 512 Token mit etwa 10% Überschneidung. Das Beschriften der Blöcke mit Metadaten ist optional, aber empfehlenswert.
- Einbetten. Führen Sie jeden Block durch ein Embedding-Modell wie OpenAI’s
text-embedding-3-large, Cohere Embed oder BGE, um einen dichten Float-Vektor zu erhalten. - Indizieren. Speichern Sie die Vektoren in Pinecone, Weaviate, Qdrant, pgvector oder Chroma und indizieren Sie sie mit HNSW oder IVF, damit Suchvorgänge nach dem nächsten Nachbarn weiterhin schnell ablaufen.
- Suchen. Embedden Sie die Abfrage, führen Sie eine k-NN- oder ANN-Suche durch und wählen Sie die top-k Blöcke anhand der Kosinusähnlichkeit aus.
- Erstellen. Fügen Sie die abgerufenen Blöcke zum Prompt hinzu und lassen Sie das LLM eine fundierte Antwort erstellen.
Eine minimale Version von LangChain beginnt mit diesen Importen:
# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
und setzt mit den Embeddings, dem Store sowie der QA-Kette fort:
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=retriever,
return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")
Der Vorteil hier ist das semantische Verständnis. Eine Richtlinienseite kann eine „Rückgabegarantie“ versprechen, während der Benutzer „Kann ich einen Erstattungsbetrag erhalten?“ eingibt. Nichts überschneidet sich wortwörtlich, dennoch wird die richtige Antwort angezeigt. Ein klassischer Suchmaschinenantrieb würde das übersehen.
Der Nachteil ist, dass Nähe keine Präzision bedeutet. Stellen Sie sich einen Ergebnisblock vor, der eine Ähnlichkeit von 0,94 mit der Abfrage aufweist, aber dennoch die genaue Antwort verpasst, weil der exakte Begriff, den der Benutzer suchte, im Text nie vorkam. Es fühlt sich bei jeder Abfrage wie ein knapper Verfehlung an.
vektorloses Suchen
„Vektorlos“ ist ein Sammelbegriff für BM25 (probabilistische Schlüsselwortbewertung, der Antrieb hinter Elasticsearch und OpenSearch), SQL-Suchen in strukturierten Daten, das Durchqueren von Wissensgraphen sowie hybride symbolische Methoden. Diese Technologien werden seit Jahrzehnten für Unternehmenssuchfunktionen eingesetzt. Sie sind zwar nicht besonders auffällig, funktionieren aber zuverlässig.
Der Ablauf sieht so aus:
- Index erstellen. Tokenisieren Sie die Dokumente und bauen Sie einen umgekehrten Index auf, der jeden Begriff mit den enthaltenen Dokumenten verknüpft, wobei ein Scoring im Stil von TF-IDF verwendet wird.
- Abfrage analysieren. Tokenisieren Sie sie und erweitern Sie sie gegebenenfalls mit Synonymen, Stemmung oder durch Umformulierungen mithilfe von LLMs, um die Trefferquote zu erhöhen.
- Rangordnung festlegen. BM25 bewertet die Dokumente anhand der Abfrageterme und gibt die exakten oder stark übereinstimmenden Ergebnisse in der richtigen Reihenfolge zurück.
- Gegebenenfalls einen Graphen durchlaufen. Verknüpfen Sie Entitäten und durchlaufen Sie anschließend einen strukturierten Graphen, um verwandte Fakten zu sammeln – das eignet sich für mehrstufige Abfragen.
- Ergebnisse generieren. Wie zuvor: Übergeben Sie die abgerufenen Abschnitte an das LLM.
Ein Beispiel für BM25 mit rank_bm25 beginnt mit den Importen:
# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk
Dann tokenisiert er das Korpus, erstellt den Index und führt Abfragen daran durch:
tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)
Während Vektoren Bedeutung erfassen, erfasst dieser Ansatz Spezifität. Suchen Sie nach einer Produkt-ID wie SKU-4892-XL – ein Embedding-Modell wird damit Schwierigkeiten haben, während BM25 sie in Millisekunden findet. Technische Dokumentation, rechtliche Klauseln, Fehlercodes und finanzielle Identifikatoren sind sein Spezialgebiet. Stellen Sie sich einen Detektiv vor, der nach dem genauen Ausdruck „crimson ledger“ fragt: Das Vektor-System liefert 47 Dokumente über rote Notizbücher, scharlachrote Tagebücher und ein Rezept für Erdbeermarmelade, während der BM25-Index nur ein Ergebnis liefert – Seite 14, Absatz 3. Bei präzisen Suchen nach IDs, Eigennamen und technischen Codes schlägt BM25 die Kosinusähnlichkeit jedes Mal.
Seite an Seite
Was die Kerntechnik betrifft, verwendet die Vektorsuche dichte Embeddings in Kombination mit ANN, während die andere Methode BM25, Schlüsselwörter, SQL oder Graphen nutzt. Die Vektorsuche kommt gut mit Paraphrasen und Synonymen zurecht, ist aber bei IDs, Codes und seltenen Begriffen schwach. Die suchbasierte Methode mit Schlüsselwörtern erkennt nur exakte oder nahezu exakte Begriffe, weist jedoch eine deterministische Bewertung auf und ist bei exakten Treffern sehr präzise.
Operativ ist die Vektorlösung aufwändiger: Man benötigt Embedding-Modelle sowie eine Infrastruktur für Vektordatenbanken, und das gesamte Korpus muss vor dem Start eingebettet werden. Die klassische Lösung ist leichter (Elasticsearch oder SQLite) und kann bereits bestehende Dokumente sofort indizieren. Die typische Latenz liegt bei Vektorsuchen bei etwa 50 bis 200 ms und bei klassischen Suchen bei 5 bis 50 ms. Die Kosten verlaufen ähnlich: Einerseits fallen Kosten für GPU-Berechnungen und Vektordatenbanken an, andererseits für suchbasierte Verarbeitungen, die auf der CPU basieren.
Für Anwendungsfälle eignen sich Vektoren für offene Q&A-Systeme, semantische Suche und Chat. Die klassische Suchmethode ist besser geeignet für rechtliche, medizinische, finanzielle Dokumentationen sowie Code-Dokumentationen. Das Risiko von Halluzinationen ist bei Vektoren mäßig, da Ähnlichkeit nicht gleichbedeutend mit Korrektheit ist, und geringer bei exakter Übereinstimmung. Die multilinguale Unterstützung ist mit mehrsprachigen Embeddings stark, erfordert auf der klassischen Seite jedoch sprachspezifische Anpassungen.
Beide Methoden nutzen
Die meisten Tutorials überspringen diesen Schritt: Produktivsysteme kombinieren sie in der Regel. Das Standardverfahren ist eine hybride Suche mit erneuter Rangfolgebestimmung. Führen Sie BM25 parallel zur Vektor Suche durch, verschmelzen Sie die beiden Ergebnislisten mithilfe von Reciprocal Rank Fusion (RRF), leiten Sie die Top-N-Ergebnisse an einen Cross-Encoder zur erneuten Rangfolgebestimmung weiter und fügen Sie die final sortierten Ergebnisse in den Kontext des LLMs ein.
Das bietet Ihnen die Breite der semantischen Suche in Kombination mit der Präzision von Schlüsselwörtern. LlamaIndex, LangChain und Haystack unterstützen alle direkt die hybride Suche, während Coheres Rerank API sowie die Cross-Encoders von Sentence-Transformers häufig für die Stufe der Neubewertung gewählt werden. Wie eine Raubbande hat jede Methode ihre Spezialisierung: Embeddings erfassen die Gesamtstruktur, BM25 erfasst die genauen Codes, und der Neubewertungsmechanismus sorgt dafür, dass das Modell nur die fünf besten Abschnitte betrachtet.
Entscheidung
Drei Fragen klären in den meisten Fällen die Entscheidung.
- Formulieren die Nutzer ihre Anfragen in unterschiedlicher natürlicher Sprache? Wenn ja, setzen Sie auf Vektoren. Sind die Anfragen strukturiert, mit genauen IDs und Codes, wenden Sie klassische Methoden an.
- Ist das Korpus unstrukturiert (PDFs, Artikel) oder strukturiert (Tabellen, Datensätze)? Prosa eignet sich besser für Vektoren. Tabellen und Datensätze profitieren von SQL und BM25.
Wählen Sie Vektoren für offene Fragen in unstrukturierter Prosa, bei denen Semantik wichtig ist – beispielsweise bei Support-Bots, Forschungshilfen oder Dokumenten-Fragen/Antworten in großen Korpora. Wählen Sie die klassische Suche, wenn genaue Übereinstimmungen entscheidend sind (Produktcodes, Klauselnummern, Finanzidentifikatoren, Fehlercodes, Seriennummern) oder wenn Kosten und Latenz strenge Einschränkungen darstellen. In der Produktion sollten beide Methoden genutzt werden.
Mehr wichtig als die Wahl zwischen den Methoden ist es, zu verstehen, warum jede Methode funktioniert, damit der Prozess zu Ihren Daten und Nutzern passt und nicht einfach dem entspricht, was in dem letzten Tutorial verwendet wurde.
Verwandte Literatur
- Braucht man Embeddings noch? Vergleich von Vector und PageIndex RAG — Ein Benchmark von FinanceBench vergleicht die Vektorabrufmethode mit der vektorlosen PageIndex-Methode in Szenarien mit einem, mehreren Dokumenten sowie störenden Einflüssen, inklusive Signifikanztests.
- Auswahl einer Vektordatenbank im großen Maßstab: Weaviate vs Pinecone für RAG — Ein praktischer Vergleich von Weaviate und Pinecone für wachsende RAG-Systeme: hybrider Suchmodus, Isolierung der Nutzer, Kompromisse bei der Speicherverwaltung, Deployment-Möglichkeiten sowie Methoden zum Benchmarking.