Hybride Suche für RAG: BM25, Rank Fusion und Reranking schlagen Vektoren.
Reine Vektorabfragen übersehen genaue Begriffe. BM25 in Kombination mit Embeddings, Reciprocal Rank Fusion sowie ein Cross-Encoder-Reranker brachten diese RAG-Lösung auf eine Treffgenauigkeit von 91 %.
Quellen: `I Stopped Using Vector Databases. My RAG Got Better.`
Frühe RAG-Ratschläge sind fast einstimmig: Wählen Sie Pinecone, Weaviate oder Chroma, integrieren Sie die Dokumente, speichern Sie die Vektoren, führen Sie eine semantische Suche durch und fertig. Viele Teams befolgen dieses Vorgehen genau. Sie teilen die Dokumente in Abschnitte auf, erstellen mit einem gehosteten Modell Embeddings, laden eine Vektordatenbank hoch und schreiben eine Abfragefunktion, die für jede Anfrage die fünf am ähnlichstenen Abschnitte auswählt. Das funktioniert bis zu einem gewissen Grad – und genau an diesem Punkt wird die Genauigkeit wichtig.
Wo die reine Vektorsuche versagt
Einfache, offene Fragen ergeben eine akzeptable Ergebnisqualität. Alles, was Genauigkeit erfordert, funktioniert schlecht: spezifische Datenpunkte, exakte Zahlen, Verweise auf bestimmte Abschnitte oder technische Anfragen mit vielen Schlüsselwörtern. Das LLM erstellt anschließend zuversichtlich eine Antwort aus den falschen Abschnitten. Das Modell trägt keine Schuld, denn die Abfragefunktion lieferte ihm den falschen Kontext.
Die übliche Reaktion besteht darin, die Generierung zu beschuldigen. Die Leute passen Anfragen an, fügen Anweisungen wie „Antworten Sie ausschließlich aus dem bereitgestellten Kontext“ hinzu und erstellen Schleifen der Selbstreflexion. All das hilft nicht, wenn das abgerufene Material falsch ist. Der Schwachpunkt liegt bei der Suche, nicht bei der Generierung.
Embeddings handhaben Bedeutungen gut, stoßen aber bei Details ins Stocken – ein konkreter Fall zeigt das. Angenommen, ein Bericht enthält die Zeile, dass der Umsatz im vierten Quartal 2024 12,8 Millionen Dollar betrug, was einem Anstieg von 23 Prozent gegenüber dem dritten Quartal entspricht. Ein Benutzer fragt, wie hoch der Umsatz im Q4 2024 war. Das scheint eine einfache Aufgabe für Embeddings zu sein.
So verläuft der eigentliche Ablauf: Das Embedding-Modell wandelt die Abfrage sowie jeden Textabschnitt in hochdimensionale Vektoren um und sucht anschließend nach konzeptioneller Nähe zu Begriffen wie „Umsatz“, „Finanzleistung“ und „Quartalsergebnisse“. Es kann Abschnitte über den allgemeinen Umsatz, zukunftsorientierte Prognosen oder Zahlen für das 3. Quartal zurückgeben, da all diese Begriffe in der Nähe der Idee des Quartalsumsatzes liegen. Der Abschnitt mit „12,8 Millionen Dollar“ könnte auf Platz vier oder fünf landen – oder ganz verschwinden, wenn die Abschnittsgrenzen den Satz an einer unpassenden Stelle durchschneiden. Eine einfache Schlüsselwortsuche nach „Umsatz Q4 2024“ hätte ihn sofort gefunden.
Die Skalierung verschlimmert die Situation
Mit 50 Dokumenten funktioniert die semantische Suche einigermaßen, teilweise weil nur wenige Textabschnitte miteinander konkurrieren. Bei 5.000 Dokumenten bricht sie zusammen. Ein größeres Korpus enthält mehr solcher Abschnitte, die semantisch ähnlich, aber faktisch irrelevant sind, wodurch das Signal-Rausch-Verhältnis zusammenbricht und die Suche Passagen aus der „richtigen Nähe“ auswählt, die falsche Informationen enthalten.
Ein Test an einem technischen Korpus von etwa 3.000 Seiten (API-Dokumente, Änderungsprotokolle und Integrationshandbücher) ergab eine Genauigkeit der reinen Vektorsuche von rund 62 %. Das bedeutet, dass fast vier von zehn Abfragen mit unvollständigem oder falschem Kontext an das LLM weitergeleitet wurden. Keine Prompt-Engineering-Methoden konnten das beheben, da die Grundlage selbst fehlerhaft war.
Die Vektorsuche einfach wegzulassen, war nicht die Lösung. Das Problem lag vielmehr darin, sich allein darauf zu verlassen. Eine dreiteilige Architektur steigerte die Genauigkeit in diesem Test von 62 % auf 91 %.
Erster Teil: BM25 für exakte Begriffe
BM25 stammt aus den 1990er Jahren und zählt bis heute zu den leistungsstärksten Suchalgorithmen überhaupt. Während Embeddings Dinge verschwimmen lassen, vergleicht BM25 wörtliche Begriffe: Für „Umsatz im 4. Quartal 2024“ zieht es jeden Abschnitt heran, der diese Wörter enthält, und ordnet sie nach Häufigkeit sowie Relevanz innerhalb des Korpus. Es ist schnell, liefert jedes Mal dasselbe Ergebnis und funktioniert ohne GPU. Eine kleine Bibliothek reicht aus, und es werden keine Vektordatenbanken verwendet, sondern nur ein auf den Abschnitten basierender Textindex.
Teil zwei: Embeddings beibehalten, aber als einheitliche Quelle
Embeddings behalten ihren Wert, weil sie die Absicht des Nutzers erfassen und damit verbundene Inhalte hervorheben. Ein Nutzer, der nach „Wie gehe ich mit der Authentifizierung um?“ in Dokumenten mit dem Titel „Verwaltung der Benutzereinlogung“ sucht, erhält durch die semantische Suche ein Ergebnis, das BM25 niemals liefern würde. Somit werden Embeddings zu einer Quelle unter vielen Kandidaten, niemals zur einzigen Quelle.
Die besten Ergebnisse beider Suchalgorithmen werden mithilfe von Reciprocal Rank Fusion (RRF) zusammengeführt – einer einfachen Methode, bei der gerankte Listen durch die Berücksichtigung von Abschnitten, die in beiden auftauchen, kombiniert werden. Ein Abschnitt, der bei BM25 an erster Stelle und bei semantischer Suche an dritter Stelle rangiert, erhält deutlich höhere Bewertungen als einer, der nur in einer einzigen Liste vorkommt. Dadurch werden automatisch diejenigen Abschnitte bevorzugt, die sowohl nach Schlüsselwörtern als auch nach Bedeutung relevant sind. Die Implementierung umfasst etwa 20 Zeilen Python und erfordert kein Framework.
Teil drei: Neuranking
Die Phase der Neubewertung ist die, die die meisten Teams weglassen – und sie hat am meisten zu den Ergebniszahlen beigetragen. Wenn die hybride Kombination 15 bis 20 Kandidaten ergibt, bewertet ein cross-encoder reranker jeden Einzelnen. Ein Embedding-Modell kodiert die Abfrage sowie ein Dokument voneinander getrennt. Ein Cross-Encoder hingegen führt Abfrage und einen Kandidaten gemeinsam durch das Modell, sodass die Bewertung zeigt, wie gut diese Kombination passt.
Ein kleines Neubewertungsmodell verursacht etwa 200 ms Verzögerung und verbessert deutlich, welche Teile schließlich im Endkontext landen. Die fünf besten Ergebnisse nach der Neubewertung sind fast immer die richtigen. Eine Fischereimetapher passt hier: BM25 in Kombination mit semantischer Suche wirft ein weites Netz aus, und die Neubewertung sortiert die „Fänge“ und behält nur die besten.
Vor und nach
Die für den hybriden Ansatz im Vergleich zur reinen Vektorsuche angegebenen Werte:
| Metrik | Nur Vektorabfrage | Hybrid mit Neubewertung |
|---|---|---|
| Genauigkeit der Top-5-Auswahl | 62% | 91% |
| Richtigkeit der Antworten | 58% | 87% |
| Rate an Halluzinationen | 31% | 8% |
| Meldungen von Nutzern über falsche Antworten | etwa 3 pro Tag | etwa 2 pro Woche |
Ein unerwarteter Nebeneffekt war die Kostenentwicklung. Durch die Stornierung der gehosteten Vektordatenbank sanken die Infrastrukturkosten um etwa 60 %. BM25 läuft auf einem CPU-Prozessor, und der Neubewertungsalgorithmus benötigt lediglich eine leistungsstarke GPU oder einen CPU-Prozessor mit akzeptabler Latenz.
Warum die Empfehlungen zu Vektordatenbanken neigen
Vector-Datenbank-Unternehmen haben enorme Summen eingesammelt, und ihr Marketing taucht in jedem Tutorial, Kurs und Video auf, das mit „Schritt 1: Ihre Vector-Datenbank einrichten“ beginnt. Niemand, der solche Produkte verkauft, hat etwas davon, zuzugeben, dass ein seit Jahrzehnten verwendeter Algorithmus in Kombination mit einem einfachen Neurangierer in den meisten Fällen besser abschneidet als das eigene Produkt.
Vector-Datenbanken sind jedoch nicht nutzlos. Sie sind wertvoll für:
- Explorative Suche, bei der Nutzer eher durchsuchen als Fakten abrufen.
- Multimodale Suche in Bildern, Audio oder Code.
- Enorme Datensammlungen mit Milliarden von Dokumenten, bei denen BM25-Indizes unpraktisch werden.
Für die meisten RAG-Systeme, wie interne Wissensdatenbanken, Dokumentensuche, Support-Bots und Compliance-Tools, erweist sich eine hybride Suche ohne dedizierte Vector-Storage-Lösung als leistungsfähiger und kostengünstiger.
Ein praktischer Migrationsweg
Es ist kein vollständiger Auseinanderbau erforderlich. Ein schrittweiser Ansatz funktioniert:
- Fügen Sie BM25 neben die vorhandene Vektorabfrage hinzu. Eine Python-Bibliothek wie rank-bm25 kann dieselben Datensätze indizieren, was etwa eine Stunde dauert.
- Führen Sie die Ergebnisse mit Reciprocal Rank Fusion zusammen. Die Bewertungsfunktion ist kurz und gut dokumentiert.
- Fügen Sie einen open-source cross-encoder-Reranker hinzu, der lokal oder über eine API ausgeführt werden kann. Leiten Sie die zusammengeführten Kandidaten daran vorbei und behalten Sie die fünf besten.
- Messen Sie die Ergebnisse. Erstellen Sie eine kleine Bewertungsmenge, z. B. 50 Fragen mit bekannten Antworten, und vergleichen Sie die Genauigkeit der Suche vor und nach der Anpassung. Der Nutzen zeigt sich schnell.
- Fragen Sie anschließend, ob die Vektordatenbank noch benötigt wird. Für viele Systeme ist das nicht der Fall.
Das größere Muster
Hype weist selten auf die beste Option hin. Die bessere Wahl ist in der Regel langweilig, einfach und gut verständlich. BM25 ist langweilig, die hybride Suche ist unkompliziert, und Forscher im Bereich Informationsabruf haben seit Jahrzehnten an der Neubewertung von Ergebnissen gearbeitet. Eine Geschichte über die Wiederverwendung eines 30 Jahre alten Algorithmus wird weder Investitionsgelder noch Aufmerksamkeit in den sozialen Medien hervorrufen. Zuverlässige KI entsteht weiterhin durch die Auswahl des richtigen Tools – auch wenn es nicht im Trend liegt.
Wenn ein RAG-Pipeline schlecht abschneidet, besteht die Versuchung, dem LLM die Schuld zu geben, die Prompts umzuschreiben oder das Embedding-Modell anzupassen. Besser ist es, bei der Informationsabrufphase nachzusehen, denn dort liegt das Problem in der Regel. Die Lösung könnte darin bestehen, eine ältere, einfachere Suchmethode mit einem modernen Neubewertungsmodul zu kombinieren, um die Lücke zu schließen. Manchmal bedeutet Fortschritt, zunächst zurückzublicken.
Verwandte Artikel
- Vectorloses RAG mit PageIndex: Abruf durch Reasoning anstelle von Vektoren — Wie PageIndex Embeddings und Chunking durch einen von einem LLM navigierten Dokumentbaum ersetzt, zusammen mit einem schrittweisen Python-Beispiel sowie Hinweisen darauf, wann vectorbasiertes RAG immer noch besser ist.
- Reasoning über einen Dokumentbaum anstelle von Vektorsuche — PageIndex erstellt einen hierarchischen Index, über den ein LLM navigieren kann, wodurch Chunking und Embeddings weggelassen werden. Wie es funktioniert, die Ergebnisse von FinanceBench und wann es eingesetzt werden sollte.