Ein RAG-System kann funktionieren und dennoch falsche Beweise an erster Stelle platzieren.
Sowohl die dichte als auch die hybride Suche erzielten eine perfekte Recall@5-Wertung, doch MRR führte dazu, dass RRF einen korrekten Treffer herabstufte. Warum eine RAG-Bewertung Prüfungen pro Abfrage erfordert und nicht einen Durchschnitt.
Ein Abrufpipeline kann grüne Zahlen zurückgeben und dennoch falsche Beweise an erster Stelle platzieren. In einem Test mit 22 Abfragen erreichten sowohl die dichte Suche als auch die hybride Suche in Kombination mit Reciprocal Rank Fusion (RRF) einen Recall@5-Wert von 1,0. Der durchschnittliche rekursive Rang zeigte ein anderes Bild: 0,9545 bei der dichten Suche gegenüber 0,8977 bei der hybriden Suche. Der größte Teil dieses Unterschieds entstand durch eine einzige Paraphrasenabfrage, q006. Durch die Fusion rutschte ein korrekter Treffer, der ursprünglich allein durch die dichte Suche erzielt wurde, von Platz eins auf den vierten Platz – und keine Wertung der RRF-Konstante k zwischen 0 und 100 brachte ihn wieder an die erste Stelle. Die praktische Lehre daraus war, dass es keine magische Einstellung gibt; vielmehr geht es darum, eine Gewohnheit zu entwickeln, die solche Rückschritte frühzeitig erkennt, anstatt sich auf einen einzigen Zusammenfassungswert zu verlassen.
Auszug aus dem Test
Drei Retrieval-Methoden wurden auf derselben gelabelten Datensammlung getestet: BM25 für lexikale Übereinstimmungen, dichte Embeddings aus all-MiniLM-L6-v2 sowie eine hybride Kombination mit RRF bei k=60. Sowohl die dichte als auch die hybride Methode fanden jeden „Gold-Chunk“ irgendwo unter den ersten fünf Ergebnissen. Ihre MRR-Werte stimmten jedoch nicht überein; q006 war für den größten Rückgang verantwortlich. Ein Durchlaufen aller möglichen Werte für k brachte die Rangliste der dichten Methode nicht wieder ins Lot.
Recall@5 zeigte, dass die beiden Methoden gleichauf lagen, während MRR eine andere Einschätzung lieferte.
Lesen der Werte
BM25 erzielte bei Recall@5 einen Wert von 0,9545 und bei MRR@5 0,8818. Die dichte Methode erreichte 1,0 / 0,9545, die hybride Methode 1,0 / 0,8977. Seite an Seite wirken die dichte und hybride Methode gleichermaßen erfolgreich, wenn man nur prüft, ob der gelabelte Chunk in den fünf Ergebnissen erschien.
„Irgendwo bei Rang fünf“ ist die Falle. Recall fragt, ob das Goldobjekt vorhanden ist. MRR fragt, wie früh das erste nützliche Objekt erscheint. Die Antwort bei Rang fünf zu verstecken und sie bei Rang eins zu platzieren, sieht bei Recall identisch aus, wirkt aber für einen Benutzer oder Agenten, der nur die oberste Zeile der Liste liest, völlig anders.
Kurze Definitionen machen den Unterschied konkret:
def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
"""1 if the gold chunk appears anywhere in the top k, else 0."""
return int(gold_id in ranked_ids[:k])
def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
"""1/rank of the gold chunk's first appearance, 0 if absent."""
for rank, doc_id in enumerate(ranked_ids, start=1):
if doc_id == gold_id:
return 1.0 / rank
return 0.0
Erste Erkenntnis: Ein grüner Metrikwert kann die für ihn gestellte Frage beantworten und dennoch die Frage verbergen, die für uns wichtig ist.
Vergleichen Sie Abfragen einzeln
Anstatt den Hybrid-Modus sofort anzupassen, stellen Sie den dichten Modus und den Hybrid-Modus nebeneinander. Von 22 beantwortbaren Fragen behielten achtzehn denselben „Gold-Rang“. Der Hybrid-Modus half bei einer Frage, schadete aber drei. Der schlimmste Fall war q006: Der dichte Modus stellte den beschrifteten Abschnitt an erster Stelle, während der Hybrid-Modus ihn auf Platz vier setzte. Genau dieser Fall wurde Gegenstand der Untersuchung.
Warum die Fusion-Methode einen korrekten Treffer herabstufte
Hybrid verschmilzt die Rangpositionen, anstatt die BM25-Scores mit den Kosinusähnlichkeiten zu durchschnittlichen Werten zu addieren, da diese beiden Zahlensysteme keine gemeinsame Skala haben. RRF fügt daher allein die Beiträge des Rangs hinzu. Ein vernünftiges Design – ein echter Kompromiss. Bei q006 bevorzugte dense den beschrifteten Abschnitt stark, während andere Kandidaten in beiden Listen hoch platziert waren. Diese Kandidaten aus den dualen Listen erhielten Punkte sowohl von BM25 als auch von dense, wodurch der Gewinner von dense auf den vierten Platz rutschte.
Eine kompakte Fusionsfunktion:
def reciprocal_rank_fusion(
rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
"""Fuse multiple ranked lists using rank position only."""
scores: dict[str, float] = {}
for ranking in rankings.values():
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)
Eine Übereinstimmung bei den Suchalgorithmen ist ein Hinweis – doch sie ist kein Beweis für Richtigkeit. Diese Darstellung ist nützlicher als der Satz „Der hybride MRR ist gefallen.“ Es gibt nun ein Mittel zur Überprüfung, nicht nur Schwankungen im Dashboard.
Haben die Einstellmöglichkeiten das Problem gelöst?
Die Arbeitsmethode ist vertraut: Man ändert eine Variable und misst erneut. Bei konstanten Werten für Depth und Top-k und bei schrittweiser Änderung von k auf 0, 10, 20, 40, 60, 80 und 100 blieb die Recall-Wertung perfekt. Der MRR änderte sich nur leicht, von etwa 0,91 bei k=0 auf etwa 0,90. q006 rückte von Platz zwei auf drei und dann auf vier vor und kehrte nie wieder auf Platz eins zurück. Durch Erweiterung des Kandidatenpools von 5 auf 30 bei konstantem k auf 60 blieb die Recall-Wertung weiterhin perfekt und der hybride MRR bei etwa 0,90 – immer noch unter dem Wert von „dense“. Bei diesen Tests konnten die offensichtlichen Einstellmöglichkeiten die Lücke in der Rangliste nicht beseitigen.
Von Spielzahlen zu Produktionspraktiken
Unternehmen kümmern sich selten um den Namen einer Abrufarchitektur. Sie interessieren sich dafür, ob die Antworten zuverlässig sind, ob eine Änderung die Qualität verbessert und ob jemand eine Regression erklären kann. Das führt dazu, dass der Prozess vom Muster „entwickeln, einige Anfragen ausprobieren, veröffentlichen“ hin zu messen, aufteilen, prüfen, erklären, ändern und erneut messen verschoben wird.
Das nützliche Ergebnis ist nicht eine einzige Zahl. Es sind die Reihenfolge pro Abfrage, die zurückgegebenen Abschnitte, an denen sich die Abrufsysteme nicht einig waren, Aufteilungen nach Frageart, konkrete Fehlerfälle sowie die Konfiguration, die sie verursacht hat. Wenn sich eine Zahl in der Dashboard-Anzeige ändert, bietet dieses Paket dem Ingenieur einen Ausgangspunkt.
In größerem Maßstab hat Uber eine ähnliche Trennung bei Genie, seinem auf Abruf verfügbaren Copiloten, beschrieben: Die Qualität der Informationsbeschaffung und die Qualität der Antworten werden getrennt anhand eines mit Fachexperten erstellten Referenzsets gemessen. Ein Detail bleibt besonders hervorzuheben: Eine schlechte PDF-Extraktion kann bereits vor dem eigentlichen Abruf den Kontext der Tabellen sowie die Aufteilung in Abschnitte zerstören. Was wie ein Ranking-Fehler aussieht, kann ursprünglich von einem Fehler in der Dokumentqualität ausgehen.
Auch Labels können falsch sein
Der Bewerter kennt nur die Relevanzlabels, die ihm mitgeteilt wurden. Ein Abschnitt kann durchaus nützlich sein und dennoch als fehlerhaft gewertet werden, weil er nicht das mit einem Label versehene Referenzobjekt ist. Überschneidende Abschnitte verschärfen diese Situation noch. Wenn eine Abfrage schlechter wird, sollten sowohl der Informationsabrufmechanismus als auch die Referenzdaten überprüft werden. Ist das Relevanzset vollständig? Können zwei Abschnitte die Frage beantworten? Hat eine Abschnittsgrenze einen Aussageanteil von seiner Erklärung getrennt? Bewertungstools ersetzen kein Urteilsvermögen – sie bieten lediglich bessere Voraussetzungen dafür.
Fünf Wächter
- Perfect Recall@5 ist keine perfekte Rangliste. Fügen Sie den MRR hinzu, sonst wissen Sie nur, dass die Antwort irgendwo existiert.
- Achten Sie auf die detaillierte Abfrage, nicht nur auf den Durchschnitt. Ein schlechter Fall kann die gesamte Bewertung verändern.
- Die Übereinstimmung der Suchmaschinen ist ein Hinweis, kein endgültiges Urteil. RRF belohnt die Beliebtheit in mehreren Listen – das ist eine Heuristik.
- Das Anpassen von Einstellungen bedeutet nicht, einen Mechanismus zu verstehen. Die k-Sweep-Methodik hat gezeigt, dass die Regression tatsächlich vorhanden ist; nur die Fusionsrechnung konnte sie erklären.
- Prüfen Sie die Etiketten genauso sorgfältig wie das Modell. Ein „falscher“ Treffer könnte ein falsch beschrifteter Goldklumpen sein.
Fazit
Ein Sieg mit einer kleinen Testbasis führt selten dazu, dass ein Champion gekrönt wird. Es ist ein Versagen wie q006, das einen Weg von einer Metrik über eine Abfrage zu den Blöcken, zur Fusionsrechnung bis hin zu einem kontrollierten Experiment erzwingt. Die Bewertung ist dann sinnvoll, wenn sie eine Untersuchung einleitet anstatt sie zu beenden. Eine Demo beweist, dass der Pipeline-Prozess funktioniert. Ein guter Testzyklus zeigt, dass man dem nächsten Änderungsvorschlag vertrauen kann.
Links
- RAG Systems Evaluation Bench auf GitHub
- Live-Demo auf Hugging Face Spaces
- Cormack, Clarke und Buettcher zu Reciprocal Rank Fusion
- Uber veröffentlichte außerdem einen technischen Artikel über verbesserte agierende RAG-Systeme.
- Uber’s Bericht über Genie befindet sich auf dem Unternehmens-Engineering-Blog unter dem Titel Genie.