Startseite / Artikel

Warum Reranking der günstigste große Vorteil in einem RAG-Pipeline ist

50 Einträge abrufen und neu rangieren auf die 5 besten: Wie das Cross-Encoder-Reranking die Reihenfolge in einem RAG-Pipeline-System verbessert, welche Vorteile und Verzögerungen zu erwarten sind, wann man darauf verzichten sollte und was man tatsächlich bereitstellen muss.

Verlag: REACTAPP.TOP8 Min. Lesezeit1755 Wörter

Quellen: Reranking: The Highest-Return Fix in RAG

Auch wenn ein Retriever den richtigen Textabschnitt findet, kann er dessen Rang so niedrig einstufen, dass das Modell ihn nie wahrnimmt. Eine zweite Bewertungsschleife behebt das: Es wird eine umfassende Liste von Kandidaten erstellt, diese mit einem leistungsstärkeren Modell erneut bewertet, und dem LLM werden nur die besten Ergebnisse bereitgestellt.

Zwei Aufgaben, die sich in einem Prozess verbergen

Die Informationsabrufung in einem RAG-System erledigt zwei getrennte Aufgaben. Es muss den richtigen Abschnitt finden und diesen außerdem hoch genug einstufen, damit das Modell ihn nutzen kann. Teams neigen dazu, ihre Anstrengungen auf die erste Aufgabe zu konzentrieren und die zweite zu vernachlässigen, wodurch die Abrufmetriken zwar hervorragend aussehen können, die Antworten jedoch weiterhin enttäuschend bleiben.

Das Modell sieht nur das, was im Prompt enthalten ist. Ein korrekter Teil, der auf Rang 7 steht, geht verloren, wenn nur die oberen 5 übermittelt werden – aus praktischen Gründen ist das dann so, als stünde er auf Rang 700. Deshalb kann Recall@50 zwar hervorragend aussehen, während die Antworten falsch sind: Die Information wurde gefunden, erreichte aber niemals das Kontextfenster.

Reranking schließt diese Lücke. In einer zweiten Phase bewertet es erneut die bereits vom Retriever gefundenen Kandidaten und ordnet sie nach ihrer Qualität bei der Beantwortung der Anfrage neu. Für viele Systeme gehört es zu den besten Möglichkeiten, Qualität bei geringem Aufwand zu verbessern, da die Architektur unverändert bleibt und der Rest des Stack unberührt wird.

Warum sich die beiden Phasen unterscheiden

Ein dichter Retriever embeddet jedes Dokument im Voraus. Zum Zeitpunkt der Abfrage embeddet er die Abfrage und sucht nach nahegelegenen Vektoren. Abfrage und Dokument treffen niemals tatsächlich aufeinander, da jedes vor dem Vergleich in seinen eigenen Vektor umgewandelt wird, wodurch feine Details darüber, wie gut sie zueinander passen, verloren gehen. Der Vorteil ist die Geschwindigkeit – es ist kostengünstig genug, um Millionen von Dokumenten zu scannen.

Ein Cross-Encoder funktioniert anders. Er gibt die Abfrage sowie ein einzelnes Dokument gemeinsam als Eingabe in das Modell ein und führt eine vollständige Vorwärtsverarbeitung für dieses Paar durch. Da beide Texte gemeinsam sichtbar sind, können Negationen, Qualifikatoren sowie die spezifische Formulierung, die dafür sorgt, dass ein Abschnitt tatsächlich eine Frage beantwortet, berücksichtigt werden, anstatt nur eine grobe Ähnlichkeit.

Diese Präzision hat ihren Preis. Nichts kann im Voraus berechnet werden, daher ist bei jeder Abfrage eine Durchlaufprozedur pro Kandidat notwendig. Bei einer Million Dokumenten ist das hoffnungslos, während bei 50 Dokumenten, bei denen die erste Stufe bereits eine Auswahl vorgenommen hat, die Methode schnell und praktikabel ist. Daher die zweistufige Vorgehensweise: zuerst kostengünstig und umfassend suchen, anschließend präzise und gezielt neu ranken.

Die Leitfäden von Cohere, die RAG-Rezepte von OpenAI sowie die meisten Produktumgebungen folgen im Großen und Ganzen dem gleichen dreistufigen Verfahren:

  1. Umfassend suchen. Es werden die besten 50 Ergebnisse ausgewählt, meist über eine hybride Suche, bei der dichte Suchergebnisse und BM25-Ergebnisse mithilfe der rekursiven Rangfusionsmethode kombiniert werden. Ein breites Suchnetz erhöht die Wahrscheinlichkeit, dass das richtige Dokumentteil enthalten ist.
  2. Neu ranken. Ein Cross-Encoder bewertet jedes der 50 Abfragedokument-Paare, anschließend wird die Liste nach dieser Bewertung sortiert.
  3. Fünf behalten. Nur die aussagekräftigsten Ergebnisse werden an den LLM gesendet.

Die Faustregel, die bei Benchmarks Bestand hat, ist kurz: Holen Sie 50 Ergebnisse und ordnen Sie diese auf 5 neu. Die erste Stufe sorgt für die Vollständigkeit, indem sie die richtigen Daten in den Pool aufnimmt, während der Neuanordner für die Genauigkeit sorgt, indem er die wichtigsten Ergebnisse an die Spitze bringt. Es ist kein Neueinbetten erforderlich, kein Index muss neu erstellt werden, und der Suchmechanismus bleibt unverändert – das erklärt, warum diese Lösung so effektiv und vorteilhaft ist.

Was sie bringt und was sie kostet

Die Verbesserungen in der Genauigkeit sind konstant und ausreichend groß, um von Bedeutung zu sein:

  • +5 bis 15 NDCG@10 sind typisch bei den MTEB- und BEIR-Benchmarks.
  • 40 bis 60 % höhere Genauigkeit@3 werden bei störanfälligen Suchmechanismen festgestellt, die das Ziel der Neuanordnung darstellen.
  • 35 % weniger Halluzinationen traten bei Tests in Databricks im Vergleich zur reinen Embedding-Ähnlichkeit auf, da besser fundierte Daten dem Modell weniger Raum zum Erfinden lassen.

Die Latenz steigt zwar an, ist im Vergleich zum gesamten Prozess aber gering:

  • Die Bewertung von 50 Kandidaten dauert auf einer GPU unter 50 ms.
  • Auf einer CPU benötigt derselbe Vorgang mit 50 Kandidaten 100 bis 300 ms, wenn die Paare in einen einzigen batchierten Aufruf gegeben werden.
  • Eine äußerst leichte Bibliothek wie FlashRank benötigt lediglich 15 bis 30 ms.
  • Die LLM-Vervollständigung dominiert weiterhin in Bezug auf Zeit und Kosten, sodass eine erneute Rangfolgenbestimmung die Kosten kaum verändert.

In den meisten Anwendungen ist es das beste Verhältnis, wenn man etwa 120 bis 200 ms bezahlt, um die Präzision in den Top-3 um mehr als 40 % zu verbessern.

Wann es hilft und wann nicht

Die erneute Rangfolgenbestimmung bringt hohe Vorteile, ist aber nicht universell anwendbar. Der Grundsatz ist, dass sie die Rangfolge korrigiert, nicht jedoch die Suche. Sie lohnt sich, wenn:

  • Ein lauter Treffer obwohl die Erinnerungsfähigkeit gut ist. Der richtige Teiltext erscheint in den Top 50, belegt aber Platz 6 oder 12. Eine hohe Erinnerungsfähigkeit bei 50 Ergebnissen in Kombination mit geringer Präzision bei 3 Ergebnissen ist der deutlichste Grund für eine Neubewertung der Rangliste.
  • Ein begrenztes Prompt-Budget. Wenn nur 3 bis 5 Teiltexte beim Modell ankommen, entscheidet die Reihenfolge alles – eine schlechte Top 3 führt zu einer schlechten Antwort.
  • Schwierige oder mehrdeutige Fragen. Wenn die Bedeutung von Einschränkungen oder Negationen abhängt, wie beispielsweise Rechnungen in CSV-Format statt Berichte in PDF-Format, ermöglicht die gemeinsame Bewertung solcher Paare die Unterscheidung von nahe liegenden, aber unterschiedlichen Lösungen, die ein einfacher Encoder nicht auseinanderhalten kann.
  • Das Korpus ist voller nahezu identischer Texte. Unterstützungs- und Richtliniedokumente enthalten viele ähnlich aussehende Abschnitte, die unterschiedliche Fragen beantworten – ein Neubewertungsalgorithmus hilft dabei, sie voneinander zu unterscheiden.

Es ist enttäuschend, wenn:

  • Schwache Erinnerungsleistung in der ersten Stufe. Ein Neurankierer kann lediglich die Eingabedaten umsortieren. Wenn der richtige Teilbereich nicht zu den ersten 50 gehört, muss zunächst die Abrufleistung durch besseres Aufteilen in Teilbereiche oder hybride Suchverfahren verbessert werden.
  • Bereits hervorragende Erinnerungsleistung. Wenn der korrekte Teilbereich ohnehin meist an erster Stelle steht, führt das Neurankieren zu keiner nennenswerten Verbesserung einer bereits richtigen Liste. Schnelle Überprüfung: Wenn derselbe Teilbereich bei den meisten Abfragen mit oder ohne Neurankierer gewinnt, erfüllt er seine Aufgabe nicht ausreichend.
  • Ein nachsichtiger Generierer. Ein Modell mit langem Kontext, das 20 lose miteinander verbundene Teilbereiche verarbeiten kann, profitiert weniger von einer eng begrenzten Liste der ersten 3 Ergebnisse als ein Modell, das nur 5 Teilbereiche erhält.
  • Ein strenges Latenzbudget. Bei einer festgelegten Echtzeit-SLA kann bereits 150 ms zu viel sein. Wählen Sie einen schnellen Neurankierer wie FlashRank – oder keinen.

Um festzustellen, welcher Fall zutrifft, müssen Recall@50 und Präzision getrennt gemessen werden. Der Recall zeigt an, ob die Suche den entsprechenden Teil findet, die Präzision zeigt an, ob er richtig rangiert wird, und eine erneute Rangierung behebt nur das Problem der Präzision.

Cross-Encoder oder LLM-Reranker

Es gibt zwei Arten, und die Wahl bedeutet einen direkten Kompromiss zwischen Genauigkeit und Latenz.

  • Cross-Encoder sind die Standardlösung. Sie sind schnell, günstig, vorhersehbar und liefern eine numerische Bewertung, die mit einem Schwellenwert verglichen werden kann. Für die überwiegende Mehrheit der Produktionsysteme sind sie die richtige und endgültige Lösung.
  • LLM-Reranker bitten ein großes Modell, selbst die Relevanz zu beurteilen. Bei wirklich schwierigen, auf logischem Denken beruhenden Abfragen können sie bei einigen Aufgaben um 5 bis 8 % Vorteile erzielen, verursachen aber zusätzlich 4 bis 6 Sekunden Verzögerung und sind deutlich teurer. Suchende geben in der Regel nach etwa 3 Sekunden auf, weshalb diese Ansätze eher für Offline- oder hochwertige Batch-Arbeiten geeignet sind und kaum für interaktive Funktionen.

Beginnen Sie mit einem Cross-Encoder. Betrachten Sie einen LLM-Reranker erst, nachdem Sie eine tatsächliche Lücke bei schwierigen Abfragen gemessen haben und sichergestellt haben, dass die zusätzlichen Sekunden akzeptabel sind.

Zwei Möglichkeiten zur Implementierung

Teams wählen in der Regel einen selbst gehosteten Cross-Encoder oder eine gehostete API – beides erfordert nur wenige Zeilen Code.

Das Selbsthosten mit Sentence-Transformers funktioniert gut mit BGE-Reranker-v2-m3, dem üblichen Standard aus Open Source, der mehrsprachig ist und unter der Apache 2.0-Lizenz steht:

from sentence_transformers import CrossEncoder

# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

def rerank(query, candidates, top_n=5):
    pairs = [(query, doc) for doc in candidates]   # one batched pass
    scores = reranker.predict(pairs)
    ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
    return ranked[:top_n]

# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)

Falls das Ausführen eines Modells nicht gewünscht ist, ist Cohere Rerank die gehostete Option:

import cohere

co = cohere.ClientV2()
resp = co.rerank(
    model="rerank-v3.5",
    query="How do I cancel my subscription?",
    documents=candidates,   # the top 50 from the retriever
    top_n=5,
)
# resp.results carries the reranked indices and relevance scores

Sowohl die Routen verwenden dieselbe Eingabe, die Top 50 des Retrievers, und liefern eine weiter gefilterte Top 5 zurück. Frameworks wie LangChain stellen beides hinter eine gemeinsame Schnittstelle, sodass der Wechsel zwischen ihnen durch eine einzige Änderung erfolgt.

Modell auswählen

Im Bereich gibt es klare Auswahlmöglichkeiten, die vom Latenzbudget, der Sprache sowie der Möglichkeit zur Selbsthosting abhängen:

  • Standard-Open-Source-Modell: BGE-reranker-v2-m3, mehrsprachig und unter Apache 2.0 lizenziert, mit etwa 80 ms auf CPU für 50 Kandidaten. Bei arbeiten, die stark auf Englisch basieren, kann bge-reranker-large verwendet werden.
  • Einfachste gehostete Lösung: Cohere Rerank erfordert nur einen API-Aufruf und keine Server, bei Kosten von etwa 1 Dollar pro tausend Suchanfragen.
  • Strengestes Geschwindigkeitsziel: FlashRank oder ein kompakter MiniLM-Cross-Encoder, der auf CPU in unter 30 ms neu rankt, bei moderatem Qualitätsverlust.
  • Lange Dokumente: Wählen Sie einen Reranker mit langem Kontext wie Jina Reranker v2, da herkömmliche Cross-Encoder den Eingabedaten nach 512 Token stillschweigend ein Ende setzen.

Als grobe Orientierung gilt: Eine gehostete API ist der günstigste Ausgangspunkt für etwa zehntausend Abfragen pro Tag. Ab diesem Punkt lohnt sich in der Regel ein selbst gehostetes BGE-Modell schnell.

Fazit

Reranking liefert die Präzision, die eine solide Repräsentation in echte Antworten umwandelt. Ein Retriever wirft ein günstiges, breites Netz aus und liefert dabei viele unbrauchbare Ergebnisse; ein Cross-Encoder bewertet diese Ergebnisse anschließend erneut mithilfe eines abfragespezifischen Verfahrens, das der Retriever nicht durchführen kann, wodurch die wirklich relevanten Teile an die Stellen gelangen, wo das Modell tatsächlich hinschaut.

Es handelt sich um die Methode mit dem höchsten Ertragspotenzial für RAG, da sie eingebettet bleibt: Man holt 50 Ergebnisse ab, ordnet sie erneut auf 5 aus, ändert ansonsten nichts und misst die Verbesserung an eigenen Daten. Der Genauigkeitszuwachs ist in der Regel groß, die Latenzkosten gering, und die Entscheidung hängt von einer einzigen Frage ab: Ordnet der Abrufmechanismus genauso gut wie er Ergebnisse findet? In der Regel tut er das nicht, und gerade das erneute Ranking schließt diese Lücke.

Quellen hinter den Zahlen

  • Cohere’s Dokumentation zum erneuten Ranking
  • Modellkarte für BAAI’s BGE-reranker-v2-m3
  • CrossEncoder-Dokumentation von sentence-transformers
  • ARAGOG, eine vergleichende Bewertung fortgeschrittener RAG-Methoden einschließlich erneuten Rankings (arXiv 2404.01037)
  • Databricks’ Bewertung von RAG mit langen Kontexten und erneutem Ranking
  • FlashRank, eine Bibliothek für schnelles erneutes Ranking auf GitHub

Weitere Literatur

  • Reranking in RAG mit Spring AI und Pinecone: Verschieben einer Antwort von Platz 4 auf Platz 1 — Eine Spring Boot-Demo, die die reine Vektorähnlichkeit mit einem Pinecone bge-Reranker-Schritt bei einem HR-Handbuch vergleicht und zeigt, wie eine zuvor untergeordnete Antwort dank Relevanzbewertungen auf den ersten Platz gelangt.