Suche in einer Ingenieur-Wiki: BM25, token-sichere dichte Fenster und RRF
Bewertungsbasierte Suche in einer technischen Wiki: Ziele mit exakten Beweisen, eine BM25-Referenzmethode, ein Trunkierungsfehler bei MiniLM, Token-Fenster sowie Ergebnisse der rekursiven Rangfusion.
Quellen: Building RAG from the Corpus Up, Not the Model Down
Eine Idee leitet alles in der Abrufphase dieses auf Bewertung ausgerichteten RAG-Projekts, das auf einer großen Ingenieur-Wiki basiert:
Was abgeglichen wird und was zurückgegeben wird, müssen nicht dasselbe sein.
Durch das Chunking wurden bereits kleine, begrenzte Suchdatensätze erzeugt, wobei jedes ursprüngliche Eltern-Chunk unverändert blieb. Das wirft praktische Fragen auf: Soll die Suche auf Schlüsselwörtern oder auf Embeddings beruhen? Soll ein abgeglichener Unterteil direkt an das Sprachmodell weitergeleitet werden? Wie viele Ergebnisse sollten zurückkommen? Und wie können diese Entscheidungen miteinander verglichen werden, ohne sich auf eine Handvoll besonders überzeugender Abfragen zu stützen?
Die Wiki ist privat, daher sind die hier gezeigten Beispiele künstlich und die Details zum Korpus spärlich. Die Implementierungsentscheidungen sowie die gemessenen Ergebnisse sind hingegen real. Die Relevanzlabels sind weiterhin exploratorisch und sollten nicht fälschlicherweise als endgültige Wahrheit in der Produktion angesehen werden.
Zuerst kommt der Beweisvertrag
Nicht jede Suchanzeige gilt als autoritatives Beweismittel. Ein gewöhnlicher Überschriftsteil kann sowohl als Abgleichseinheit als auch als zurückgegebene Einheit dienen. Recursive Untereinheiten, JSON-Fragmente oder Codefenster sind anders. Sie existieren dazu, damit die Suche eine größere Struktur finden kann, und dürfen diese Struktur nicht ersetzen.
Jede Suchanzeige führt daher auf ein Abrufziel:
ordinary chunk -> exact chunk
recursive child -> exact parent chunk
JSON locator -> exact source document
code locator -> exact source document
Diese Zuordnung findet vor der endgültigen Rangliste statt. Wenn zwei überschneidende Kinder desselben Elternteils beide passen, werden sie zu einem Ziel zusammengefasst, sodass nie zwei Ergebnisplätze für Fragmente verwendet werden, die auf dasselbe Beweismittel verweisen.
Die Hydratierung erfolgt nach der Rangliste. Der Abrufmechanismus nimmt die Ziel-ID und lädt den ursprünglichen Elternteil-Chunk oder das Quelldokument herunter, wobei Inhalt, Quellpfad, Zeilenbereich und Hash beibehalten werden. Das kleinere Kind bleibt als Abstammungslinie der Übereinstimmung bestehen, wird aber nicht als vollständiger Antwortkontext angeboten. In einem Satz zusammengefasst: Suche über optimierte Lokatoren, ordne einzigartige Ziele nach Rangfolge, gib autoritatives Beweismaterial zurück.
Ausgehend von einer lexikalischen Grundlage
Dichte Abrufverfahren gelten oft als Standard für RAG, doch technische Wikis sind voller Begriffe, die eine lexikalische Suche mühelos handhaben kann – wie API-Names, Konfigurationschlüssel, Pfade, Fehlercodes, Shell-Befehle, Hausakronyme und Dienstnamen.
BM25 wurde zuerst gewählt, weil es schnell ist, interpretierbar und bei präzisen Identifikatoren schwer zu übertreffen. Der Tokenisierer behält Begriffe wie api/v2, config.yaml und error-code in ihrer Gänze bei, anstatt diejenigen Zeichen zu entfernen, die sie einzigartig machen. Jeder Datensatz wird zusammen mit etwas umliegendem Kontext indiziert:
document title
heading path
exact record content
Der Titel sowie der Pfad der Überschrift sind wichtig, denn ein kurzer Auszug kann für sich genommen mehrdeutig sein. Ein Satz wie „Restart the worker“ sagt erst dann mehr, wenn der Index auch „Operations > Troubleshooting > Recovery“ anzeigt. Dieser Kontext dient nur zur Abgleichung und wird niemals in den autoritativen Quellinhalt eingefügt.
BM25 lieferte eine solide, verständliche Grundlage und zeigte eine Eigenschaft des Bewertungssatzes auf. Fragen, die aus Quelldokumenten abgeleitet werden, verwenden oft das eigene Vokabular der Quelle, was eine lexikalische Suche begünstigt. Ein Sieg von BM25 in diesem Satz kann daher nicht davon ausgegangen werden, auf zukünftige Benutzerabfragen übertragbar zu sein.
Dichte Recherche und ein stiller Trunkierungsfehler
Die verwendete dichte Baseline ist sentence-transformers/all-MiniLM-L6-v2, die normalisierte 384-dimensionalen Embeddings erzeugt, wodurch die Kosinusähnlichkeit auf ein Skalarprodukt reduziert wird. Die erste Version embeddete jeden Sucheintrag als einzigen String. Das Chunking hatte bereits ein Wortlimit vorgeschrieben, was als sicher galt.
Das war jedoch nicht der Fall. Die Chunk-Limits wurden in annähernden Wortzahlen berechnet, während MiniLM maximal 256 Modelltokens zulässt. Pfade, Markup, JSON und Identifikatoren weisen kein stabiles Verhältnis von Worten zu Tokens auf, sodass ein Eintrag innerhalb des Chunking-Limits dennoch das Modell überlasten könnte. Sentence Transformers kürzten solche Einträge, ohne dies anzukündigen. Textteile am Ende eines langen Eintrags erreichten niemals den Encoder. Der ursprüngliche Text existierte und das Chunk wurde indiziert, doch eine Abfrage könnte fehlschlagen, weil der relevante Satz vor der Kodierung abgeschnitten worden war.
Die Lektion: Eine Chunking-Grenze ist keine Embedding-Grenze, es sei denn, beide werden mit dem Tokenizer des ausgewählten Modells gemessen.
Token-sichere Fenster
Der korrigierte dichte Index ruft direkt den Tokenizer des Modells auf. Für jede Eintragung wird ein begrenzter Anteil des Token-Budgets für den Dokumenttitel und die Überschriften verwendet, der Rest enthält den Inhalt. Langer Inhalt führt zu überlappenden Token-Fenstern mit einer Überlappung von 32 Tokens. Nach der Erstellung des endgültigen Textes wird dieser erneut tokenisiert, um zu überprüfen, ob er in 256 Tokens passt.
search record
-> contextual prefix
-> tokenizer-aware content windows
-> normalized embedding per window
-> collapse matching windows to one retrieval target
Das vollständige Experiment erzeugte etwa doppelt so viele dichte Fenster wie Quellen-Suchprotokolle. Das ist zu erwarten. Die Fenster erweitern den Abdeckungsbereich der Übereinstimmungen, fügen aber keine neuen zurückgegebenen Beweise hinzu, da mehrere Fenster weiterhin auf denselben übergeordneten Abschnitt oder das gleiche Queldokument verweisen.
Drei Begriffe lassen sich hier leicht verwechseln:
- Quellen-Einheit: das ursprüngliche Dokument oder der genaue übergeordnete Abschnitt.
- Such-Einheit: ein strukturbewusster Unterabschnitt oder ein gewöhnlicher Abschnitt.
- Einbettungseinheit: ein Fenster des Suchtextes, das so groß ist, dass es in den Tokenisator passt.
Nur die erste zählt als Beweis. Die Such- und Einbettungseinheiten deuten lediglich darauf hin.
Bewertung jenseits von „das sieht gut aus“
Zwanzig aus dem Quelltext abgeleitete Fragen wurden erstellt, um prozedurale, konzeptionelle, auf Identifikatoren ausgerichtete sowie kreuzweise vorkommende Muster abzudecken. Jede Frage listet ein oder mehrere relevante IDs der Suchziele auf. Die Labels sind absichtlich als zur Überprüfung ausstehend markiert. Die aus dem Quelltext abgeleiteten Fragen belasten den Verarbeitungspfad erheblich, doch es gibt zwei Probleme damit. Formulierungen, die dem Quelltext ähneln, neigen dazu, BM25 zu bevorzugen, und die ersten Labels könnten andere Abschnitte übersehen, die plausibel auf die Frage antworten. Daher dienen die Scores als vergleichende Grundlage für dieses Datensatz und nicht als Produktivitätsmaßstab.
Der Ausgangspunkt war die Rückgabe von fünf Abschnitten unter Verwendung von drei Metriken:
- MRR@5 zeigt an, wie früh das erste relevante Ziel erscheint.
- Recall@5 zeigt an, welcher Anteil der bekannten relevanten Informationen in den ersten fünf Ergebnissen enthalten ist.
Der erste Vergleich ergab folgende Werte:
- Contextual BM25: MRR@5 0,4875, Recall@5 0,5583, nDCG@5 0,4533.
- Windowed MiniLM: MRR@5 0,1392, Recall@5 0,2500, nDCG@5 0,1593.
- Hybrid mit rekursiver Rangfusion: MRR@5 0,5308, Recall@5 0,7583, nDCG@5 0,5480.
BM25 übertraf bei dieser Aufgabensammlung deutlich die dichte Suche. Das macht Embeddings jedoch nicht nutzlos. Die beiden Suchalgorithmen versagten auf unterschiedliche Weise, was Raum für eine Fusion ließ.
Hybride Suche ohne hybriden Index
Die BM25- und dichten Indizes bleiben getrennt, und ihre gerankten Ergebnisse werden mithilfe der rekursiven Rangfusion zusammengeführt. Für ein Ziel d ist die gefusionierte Bewertung die Summe über alle Suchalgorithmen von 1 geteilt durch (k plus der Rang dieses Algorithmus für d), wobei in diesem Experiment k auf 60 gesetzt ist.
Jeder Suchalgorithmus liefert seine 10 besten einzigartigen Ziele, Fusion fügt die Ranglisten zusammen, und die fünf besten Ergebnisse werden zurückgegeben. Lexikalische und dichte Bewertungen müssen niemals gegeneinander kalibriert werden, da Fusion auf den Rangpositionen und nicht auf den Rohwertgrößen achtet.
Recall@5 stieg von 0,5583 mit BM25 allein auf 0,7583, und auch die Rangliste für den ersten Treffer sowie der nDCG verbesserten sich. In dieser explorativen Datensammlung halfen die ergänzenden dichten Treffer, obwohl die reine dichte Suche für sich genommen schwach war.
Die Implementierung besteht aus einem koordinierenden Suchalgorithmus und nicht aus einem dritten physischen Index:
query
-> BM25 top 10 targets
-> dense top 10 targets
-> target-level RRF
-> top 5 targets
-> exact parent/source hydration
Es wird außerdem die Rangfolge jedes Suchalgorithmus sowie der zugehörige Locator aufgezeichnet. Dadurch lassen sich alle Ergebnisse nachvollziehen – es wird angezeigt, ob BM25, die dichte Suche oder beides das Ergebnis geliefert haben sowie welches Kind- oder Embedding-Fenster zum autoritativen Ziel führte.
Vielfalt, die kontraproduktiv war
Hybride Ausgaben enthielten manchmal mehrere Abschnitte aus einem Dokument, was überflüssig erschien. Es wurde ein Selektor für maximal einen Abschnitt pro Dokument ausprobiert. Die Ausgaben wirkten zwar vielfältiger, doch die Suchqualität nahm ab. In prozeduralen oder stark strukturierten Dokumentationen können mehrere Abschnitte auf derselben Seite benötigt werden. Die Dokumentvielfalt wirkte dabei eher als visuelle Präferenz und nicht als Relevanzsignal. Der Selektor bleibt für spätere Experimente verfügbar, ist aber standardmäßig deaktiviert.
Die zu berücksichtigende Unterscheidung: Wiederholte Dokumente sind keine wiederholten Beweise. Die Zusammenfassung von Kind-Dokumenten, die auf dasselbe Ziel hindeuten, ist korrekt. Das Weglassen unterschiedlicher relevanter Abschnitte allein wegen des gemeinsamen Dokuments ist eine eigene Entscheidung, die spezifische Belege für die jeweilige Aufgabe erfordert.
Garantien für den Endpfad
- BM25 und dichte Indizes umfassen dieselben Kontextsucheinträge.
- Dichte Einträge werden unter Verwendung der tatsächlichen Token-Limit des Modells in Fenster aufgeteilt.
- Übereinstimmungen von Kind-Dokumenten und Fenstern werden zu einzigartigen Suchzielen zusammengefasst.
- Durch Fusion werden zehn Kandidaten aus jedem Suchmechanismus ohne Skalenkalibrierung kombiniert.
- Fünf exakte Eltern-Blöcke oder Quelldokumente werden zurückgegeben.
- Ursprünglicher Inhalt und Hash-Werte bleiben als autoritativ gültig.
- Ranglisten pro Suchmechanismus sowie die Abstammung der abgeglichenen Lokatoren bleiben überprüfbar.
- Dokumentenvielfalt wird nur angewandt, wenn Beweise zeigen, dass sie hilft.
Der Retriever ist absichtlich schlicht gehalten. Er koordiniert vorhandene Indizes, Fusion und Hydratierung, ohne Verhaltensweisen hinter einer Framework-Abstraktion zu verbergen oder einen weiteren Datenspeicher hinzuzufügen.
Was fehlt noch
Das System kann nun eine Abfrage entgegennehmen und fünf bewertete Abschnitte mit exakten Belegen zurückgeben, beispielsweise mit Angaben dazu, woher sie stammen, und die Auswahl der Ergebnisse mithilfe wiederholbarer Metriken vergleichen. Das ist jedoch noch kein vollständiges RAG-System. In der nächsten Phase muss entschieden werden, wie die Abschnitte in einen Modellkontext zusammengefügt werden, welche Zitierungen erforderlich sind, wie mit widersprüchlichen oder unzureichenden Belegen umgegangen wird und wann das System zurückstecken sollte. Zudem müssen die Retrieval-Metriken mit der Zuverlässigkeit auf Antwortebene sowie der Richtigkeit der Zitierungen verknüpft werden, damit die generierten Antworten eine klare Trennung zwischen dem, was in der Wiki angegeben ist, und dem, was das Modell lediglich weiß, bewahren.