Startseite / Artikel

RouteRAG: Anleitung für ein kleines Modell, wann und wie mit RL gesucht werden soll.

RouteRAG trainiert ein kleines Modell mit zweistufigem GRPO zur Auswahl zwischen Passus-, Graphen- oder hybriden Suchverfahren, wodurch die Anzahl der Suchvorgänge reduziert und die Ergebnisse bei mehrstufigen QA-Fragen verbessert werden.

Verlag: REACTAPP.TOP6 Min. Lesezeit1410 Wörter

Quellen: RouteRAG: An RL Router That Teaches RAG When to Search

Die Kombination von RAG mit Verstärkungslernen ist zu einer häufigeren Forschungsrichtung geworden, und RouteRAG ist ein klares Beispiel dafür. In der Veröffentlichung wird ein Sprachmodell trainiert, das selbst entscheiden soll, wie es Informationen aus Texten, aus Graphen oder aus beiden Quellen abruft sowie wann es aufhören soll.

Das zu überwindende Problem

Das Wissen eines Sprachmodells ist zum Zeitpunkt der Vortraining festgelegt. Bei Fragen, die externe oder aktuelle Informationen erfordern, liefert es oft veraltete oder falsche Antworten. Neuere Methoden nutzen mehrstufiges Abrufen, bei dem das Modell nachdenkt, neue Informationen besorgt, erneut nachdenkt und den Vorgang wiederholt. Kleinere Open-Source-Modelle haben Schwierigkeiten mit diesem Zyklus – sie wissen oft nicht, wann sie suchen sollen, wie sie eine Anfrage formulieren und wie sie die zurückgegebenen Ergebnisse analysieren. Viele promptbasierte Workflows sind stillschweigend auf große, geschlossene Quellcode-Modelle angewiesen, die über starke eingebaute Fähigkeiten zur Logikverarbeitung und Planung verfügen.

Graphen fügen eine weitere Schwierigkeitsstufe hinzu. Sie machen Beziehungen zwischen Entitäten explizit, was sich für mehrstufiges Reasoning eignet, doch das Abrufen und Verarbeiten von Graphdaten ist rechenintensiv. Die meisten Systeme betrachten außerdem die Graphabrufung als einen einzigen, festgelegten Schritt im Prozess und verlassen sich auf Heuristiken, ohne die Möglichkeit, im Laufe des Reasonings weitere Graphdaten heranzuziehen.

Das Abrufen weiterer Dokumente oder das Wechseln zwischen Graphen und Text ist keine Lösung. Das Modell benötigt eine lernbare Strategie, die mithilfe von Reinforcement Learning trainiert wird und aktiv entscheidet, was als Nächstes getan werden soll: aus dem Text, aus einem Graphen oder aus einer Kombination abrufen, wann aufzuhören ist und wie Genauigkeit gegen Effizienz abgewogen werden soll. Intelligenteres Abrufen ist besser als mehr Abrufen.

Abrufung als sequenzielle Entscheidungen

RouteRAG betrachtet mehrstufige RAG-Verfahren als einen sequenziellen Entscheidungsprozess. Anstelle fester, manuell erstellter Abläufe oder statischer Anweisungen lernt es eine Strategie, bei der spezielle Token im Überlegungsfluss Abrufaktionen auslösen.

In jedem Schritt gibt das Modell ein Aktionstoken aus. Es kann intern weiter überlegen, eine Suche mit <search>...</search> starten oder mit <answer>...</answer> abschließen. Innerhalb von <search> wählt ein Tag den Abrufmodus aus: [passage], [graph] oder beide, wie in [graph][passage], was eine hybride Abrufmethode bedeutet.

Der Unterschied zu früheren Arbeiten ist das Wichtigste, was man im Gedächtnis behalten sollte. Frühere auf RL basierende mehrstufige RAG-Methoden vermischten meist das Schlussfolgern mit dem Abrufen von Textabschnitten und belohnten ausschließlich die Korrektheit der Antwort als Ergebnisbelohnung, ohne einen expliziten Druck bezüglich Kosten oder Effizienz. RouteRAG erweitert das Abrufen auf Textabschnitts-, Graphen- und hybride Modi. Es wird in zwei auf GRPO basierenden RL-Phasen trainiert. In Phase 1 wird nur die Korrektheit belohnt. In Phase 2 wird eine Effizienzbelohnung hinzugefügt, die sich aus der Gesamtzeit des Abrufens ableitet, wodurch das Modell zu einem selektiveren Abrufen angeleitet wird, während die Qualität der Antwort geschützt wird.

Der Prozess im Detail

Schritt für Schritt erzeugt das Policy-Modell πθ Token, wobei es maximal B Schritte zur Verfügung hat. Eine <search>...</search>-Emission wird in eine Unterabfrage q′ zusammen mit einem Abrufmodus m ∈ {Passage, Graph, Hybrid} aufgespalten, und beides wird an den Abrufmechanismus R weitergeleitet. Jedes zurückgegebene Beweismittel d wird in <information>...</information> eingeschlossen und dem Kontext für die nächste Runde hinzugefügt. Der Schleifenprozess stoppt sobald <answer>...</answer> auftaucht.

Während des Trainings wird das Budget auf B=4 Schritte festgelegt, und jeder Abruf liefert 3 Abschnitte. Diese Anzahl hat nichts mit der Glättungskonstante in der untenstehenden RRF-Formel zu tun, die zufällig denselben Buchstaben verwendet.

Daher muss das Modell nicht raten, ob es suchen soll oder wonach. Es lernt wann Daten abgerufen werden sollen, wie Unterabfragen formuliert werden und welchen Modus verwendet werden soll.

Drei Abrufmodi

  • Passage-Abruf verwendet eine dichte Suchmethode im Stil von DPR. Die Unterabfrage sowie die Textabschnitte des Korpus werden in einen gemeinsamen Embedding-Raum kodiert, und die k-ähnlichsten Ergebnisse werden ausgewählt.
  • Graph-Abruf erstellt mithilfe von HippoRAG 2 ein Wissensgraph aus dem Korpus. Für eine Abfrage startet personalisierter PageRank bei den damit verbundenen Knoten und zeigt Belege über mehrstufige Verbindungen auf.
  • Hybrider Abruf fügt die beiden Ergebnislisten mithilfe von Reciprocal Rank Fusion (RRF) zusammen. Ein Dokument, das in einer der Listen eine hohe Rangierung hat, erhält in der kombinierten Rangliste einen höheren Wert, wie die Formel zeigt:
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]

Erweiternde Belege haben daher größere Chancen, überliefert zu bleiben, da Dokumente, die auf eine der beiden Weisen hoch bewertet werden, bevorzugt werden und seltener übersehen werden.

Training mit GRPO

RouteRAG lernt mithilfe der Group Relative Policy Optimization (GRPO), wodurch durch den Vergleich von Entwicklungspfaden innerhalb einer Gruppe das Training stabilisiert wird und somit die Varianz bei spärlichen Belohnungen verringert wird. In der Gestaltung der Belohnungen liegt der Vorteil dieser Methode.

Phase 1: Nur Genauigkeit. Das Modell erhält 1, wenn seine Antwort exakt mit der korrekten Antwort übereinstimmt, andernfalls 0. Ziel ist es, eine solide Grundlage zu schaffen: erst richtig antworten lernen und vorerst die Kosten ignorieren.

Phase 2: Genauigkeit plus Effizienz. Nur die richtigen Antworten qualifizieren sich für die Effizienzbelohnung. Die Gesamtsuchzeit t wird nach dem Batch-Durchschnitt t_avg ausgerichtet und durch T normalisiert – eine Konstante, die laut dem Paper dafür sorgt, dass sowohl t als auch t_avg im Bereich [0, 0.5] bleiben.

R_efficiency = (t_avg - t) / T

Also verliert auch die richtige Antwort Punkte, wenn sie länger als die Batch-Norm benötigt. Zur Stabilität mischt das Trainingsziel gekappte Policy-Verhältnisse mit einer KL-Bestrafung sowie einem gruppenspezifischen Vorteil Aᵢ. Durch die zusätzlichen zweistufigen Belohnungen neigt die Policy zu Trajektorien, die korrekt sind und zudem günstiger abzurufen sind – was zu schnelleren und selektiveren Ergebnissen führt – und hängt nicht davon ab, zufällig auf solche Strategien zu stoßen.

Bewertung

Die Tests umfassten fünf gängige QA-Datensätze: PopQA, Natural Questions (NQ), HotpotQA, 2WikiMultihopQA (2Wiki) und MuSiQue. Es wurden zwei Metriken verwendet, Exact Match (EM) und F1, wobei die Ergebnisse in einfache QA-Anfragen (PopQA, NQ), mehrstufige QA-Anfragen (HotpotQA, 2Wiki, MuSiQue) sowie den Gesamtdurchschnitt aller fünf aufgeteilt wurden.

Multi-Hop-QA profitiert am meisten davon, und auch der durchschnittliche Wert steigt, obwohl die zugrunde liegenden Modelle recht klein sind: Qwen2.5-3B-Instruct und Qwen2.5-7B-Instruct. Bei Multi-Hop-Aufgaben nähern sich die Ergebnisse denen von Graph-RAG-Systemen an, die auf GPT-4o-mini laufen, und übertreffen diese sogar um einiges. Beachten Sie, dass die graphbasierten Baselines GPT-4o-mini verwenden, während die textbasierten Baselines das Qwen2.5-Modell nutzen. Der Nachteil ist eine gewisse Abnahme der Genauigkeit bei einfachen QA-Aufgaben.

Eine Fallstudie zeigt diesen Effekt.

Vor dem Training erfindet das Modell Fakten aus dem Gedächtnis: Es behauptet, Johnny Pemberton habe in That '70s Show Bo Thompson gespielt, und nennt Steven Molaro als Schöpfer. Danach vermeidet es solche Fehler, teilt die Frage in Schritte auf, holt die richtigen Informationen ab und kommt zu dem Schluss, dass Justin Spitzer der eigentliche Schöpfer ist.

Was hervorsticht

RouteRAG faltet den gesamten Prozess der Begründung, des Abrufs und der Erstellung in eine lernbare Strategie zusammen. Es verbindet das Schlussfolgern mit Entscheidungen darüber, was abgerufen werden soll (Textabschnitt, Graph oder Mischform) und wann innerhalb eines Schrittbudgets B eine endgültige Antwort gegeben werden soll. Durch die Optimierung mit der zweistufigen, auf GRPO basierenden RL-Struktur erzielt es erhebliche Verbesserungen – auch bei kleinen Modellen.

Seine wertvollste Eigenschaft besteht nicht darin, lediglich eine weitere RAG-Variante zu sein. Das Modell lernt innerhalb seiner Strategie und nicht durch fest programmierte Regeln, wann abgerufen und wann geantwortet werden soll, unter Berücksichtigung des Schrittbudgets. Dadurch reduziert es die Anzahl der Abrufvorgänge von 2,70 auf 2,25 im Vergleich zur Variante ohne Effizienzbelohnung, ohne dass der F1-Wert beeinträchtigt wird.

Zwei Einschränkungen für die praktische Anwendung

  • Generalisierung. Die Ergebnisse beziehen sich nur auf 3B- und 7B-Modelle, und bei der Graphenabrufung wird stets HippoRAG 2 verwendet. Wie sich das Routing bei größeren Modellen oder unterschiedlichen Graphenpipelines verhält, ist unbekannt. In der Produktion könnten Veränderungen in der Graphenqualität oder -Abdeckung das Verhalten des Planers direkt beeinflussen, was bisher nicht getestet wurde.
  • Belohnungsdesign. Der Effizienzparameter stützt sich auf die durchschnittliche Suchzeit auf Batch-Ebene. Laut den Autoren verringert dies den Rausch im Zeitssignal und stabilisiert das Training. Ob dies die Strategie zudem davon abhält, langsamere Graphensucheverfahren zu verwenden, wurde nicht direkt getestet; es bleibt daher ein plausibles, aber unbestätigtes Risiko, das Fragen mit komplexen, mehrstufigen Anfragen schaden könnte, bei denen graphisches Reasoning unerlässlich ist. Die Belohnung der Effizienz nur für korrekte Lösungswegen in Kombination mit dem gruppenbezogenen Vorteil von GRPO fördert eine selektive Suche, ohne die Qualität der Antworten zu beeinträchtigen – doch nichts garantiert, dass stets eine langsame, aber notwendige Graphensuche gewählt wird.

Zum Referenz: Der Artikel trägt den Titel RouteRAG, mit dem Untertitel „Effiziente, durch Suchverfahren erweiterte Generierung aus Text und Graph mittels Verstärkungslernen“.

Verwandte Literatur

  • KohakuRAG: Aufstieg durch die Dokumentenstruktur, um den richtigen Beweis zu finden — Ein Überblick über KohakuRAG, ein RAG-Framework mit einer vierstufigen Dokumentenstruktur, Mehrfachabfragen, Wiederholungsversuchen bei fehlenden Ergebnissen sowie Abstimmungsfunktion, getestet auf WattBot 2025.