KohakuRAG: Das Erklimmen des Dokumentbaums, um die richtigen Beweise zu finden.
KohakuRAG klettert einen vierstufigen Dokumentenbaum hinauf, um Beweise zu finden: Mehrfachabfragen, Wiederholungsversuche bei leeren Antworten sowie Abstimmung, wie es im WattBot 2025-Task getestet wurde.
Quellen: KohakuRAG: Climb the Document Tree, Find the Right Evidence
Retrieval-augmented Generation sieht in Demonstrationen oft hervorragend aus, weicht bei echten Fragen jedoch stark ab. KohakuRAG, ein Framework, das in einem arXiv-Paper aus dem Jahr 2026 beschrieben wird, adressiert diese Lücke durch einfache ingenieurtechnische Lösungen und verdient daher eine genaue Betrachtung.
Wo herkömmliche RAG-Methoden versagen
Aufgaben wie die WattBot 2025 Challenge bringen die Schwachstellen zum Vorschein. Dabei sind numerische Antworten mit einer Genauigkeit von bis zu 0,1 Prozent sowie eine genaue Quellenangabe erforderlich. Drei Gewohnheiten bei Standard-Pipelines schaden hier:
- Das Zerlegen von Text in einfache Abschnitte ignoriert Abschnitte und die Dokumentstruktur, wodurch es schwieriger wird, eine Antwort auf ihre Quelle zurückzuführen, und Zitate gewinnen weniger Glaubwürdigkeit.
- Eine Abfrage kann leicht gute Belege übersehen, wenn die Frage und das Dokument denselben Gedanken nur unterschiedlich ausdrücken.
Von flachen Blöcken zu einem Baum
KohakuRAG ist ein kompaktes Framework, das auf einem vierstufigen Index basiert: Dokument, Abschnitt, Absatz, Satz. Die Struktur bleibt erhalten, da die Embeddings von unten nach oben kombiniert werden. Die Abfragen werden durch ein LLM geplant, wobei eine erneute Sortierung der Ergebnisse erfolgt, um die Abdeckung der Suche zu erweitern. Die Antworten werden durch Abstimmung über mehrere Generationszyklen stabilisiert, wobei leere Ausgaben besonders behandelt werden.
Offline: Aufbau des Index
Zuerst erfolgt die Parsing-Phase. Jedes Dokument wird zu einem Baum mit diesen vier Ebenen. Bilder und Tabellen werden als spezielle Absatzknoten mit generierten Untertiteln behandelt. PyMuPDF extrahiert die Bilder, und ein Vision-Language-Modell (Qwen3-VL) erstellt Untertitel, die sich auf technischen Inhalt, Zahlen und Achsenbezeichnungen konzentrieren.
Der größte Teil der Parsing-Arbeit basiert auf Regeln. PyMuPDF extrahiert zunächst Text und Layout, anschließend werden mithilfe von Heuristiken, die auf Schriftgröße, Abständen und Formatierung beruhen, die Hierarchie rekonstruiert:
- Abschnitte: Blöcke, deren Schriftgröße mindestens 1,2-mal so groß ist wie die mittlere Größe, gelten als mögliche Überschriften, und Nummerierungen wie 1,2 oder A.3 helfen dabei, Grenzen zu bestimmen.
- Absätze: Nachbarn Blöcke, die durch weniger als 1,5 Zeilenhöhen getrennt sind, werden zusammengeführt, größere Abstände führen hingegen zu einem neuen Absatz.
- Sätze: NLTKs
sent_tokenizeübernimmt die Aufteilung, ergänzt durch zusätzliche Regeln für technische Abkürzungen wie Fig., et al. und i.e.
Danach kommen die Embeddings. Die Sätze, also die „Blätter“, werden direkt eingebettet. Jeder Elternnode ist das Durchschnitt seiner Kinder, gewichtet nach der Anzahl der Tokens – längere Abschnitte tragen somit mehr zum Ergebnis bei. Es werden zwei Backend-Lösungen unterstützt: Jina v3 für Texte (768 Dimensionen, bis zu 8K Kontextlänge) sowie Jina v4 für multimodale Suche, mit Matryoshka-Dimensionen von 128 bis 2048 sowie direkter Verarbeitung von Texten und Bildern. Für die Speicherung wird sqlite-vec verwendet, ein leichtgewichtiges Vektor-Backend.
Online: Mehrfachabfragen
Während der Fragerunde erweitert ein LLM die ursprüngliche Frage um mehrere verwandte Abfragen, die Umformulierungen, Erweiterungen von Akronymen sowie Unterfragen umfassen. Jede Abfrage führt eine Kosinus-Ähnlichkeitssuche durch, die auf Satz- und Absatzknoten beschränkt ist. Ein optionaler hybrider Schritt fügt eine spärliche BM25-Suche ausschließlich im Absatzindex hinzu, wobei die Ergebnisse dieser Suche nach den dichten Ergebnissen angehängt werden.
Die Ergebnisse werden anschließend für verschiedene Abfragen mithilfe von Häufigkeit, Score oder einer Kombination neu rangiert, sodass ein Knoten, der von mehreren Abfragen abgeglichen wird, eine höhere Rangposition erhält. Das System durchläuft anschließend den Baum und erweitert den Kontext: Für jeden Treffer werden übergeordnete und gleichrangige Knoten herangezogen. Ein abgeglicher Satz beinhaltet sein Absatz, und ein abgeglicher Absatz beinhaltet seine Einheit. Treffer auf Ebene der Einheiten werden hingegen wegen ihrer zu groben Struktur ignoriert. Ein optionaler DeduplizierungsSchritt kann Überschneidungen zwischen übergeordneten und untergeordneten Knoten beseitigen, um den Kontextfenster zu schonen, wurde jedoch in den Wettbewerbsveranstaltungen nicht verwendet.
Erstellung der Antwort
Die Prompts stellen den abgerufenen Kontext vor die Frage, wodurch das „Lost-in-the-Middle“-Phänomen vermieden wird, und die Zitierungsmarker erleichtern dem Modell die Zuordnung. Die Ausgabe ist als strukturierte JSON-Datei vorhanden, die die Antwort, den extrahierten Wert, die Zitierungs-ID‑s, eine Erklärung sowie ein Flag für ein leeres Ergebnis enthält. Wenn die Beweise unzureichend sind, soll das Modell explizit darauf verzichten, eine Antwort zu liefern. Beachten Sie, dass die Zitierungen auf der Ebene der Dokument-ID bewertet werden, nicht nach Seite oder Abschnitt – was bei der Interpretation dessen, was das System optimiert, von Bedeutung ist.
Ein Wiederholungszyklus kümmert sich um leere Ergebnisse. Wenn das Modell unzureichende Beweise angibt, setzt das System den top-k-Filter ein, ruft erneut Daten ab und wiederholt den Vorgang, bis eine gültige Antwort vorliegt oder die Anzahl der Wiederholungen erreicht ist.
Mehrere Generierungen, anschließend Abstimmung
Anstatt eine einzige Antwort anzufordern, erzeugt das System mehrere unabhängig voneinander. Leere Antworten werden vor der Abstimmung entfernt, sofern es mindestens eine echte Antwort gibt. Wenn alle Durchläufe leer sind, enthalten sie keine Abstimmungsergebnisse. Die Abstimmung stabilisiert sowohl die Antworten als auch die Zitate.
Ergebnisse
Das Framework wurde für die WattBot 2025 Challenge entwickelt, weshalb die Ergebnisse hauptsächlich aus diesem Benchmark stammen: 32 technische Dokumente zum Energieverbrauch in KI-Systemen, darunter Artikel, Berichte und Präsentationsfolien, insgesamt etwa 500.000 Tokens. Die Themen umfassen den Stromverbrauch, den Wasserverbrauch, den Kohlenstofffußabdruck sowie die Leistungsmerkmale der Modelle.
KohakuRAG erzielte 0,902 Punkte auf der öffentlichen Leaderboard und 0,861 Punkte auf der privaten, und es war die einzige Methode, die auf beiden Plätzen den ersten Platz belegte.
Zwei Erkenntnisse heben sich ab. Die Reihenfolge der Anfragen ist von enormer Bedeutung: Die Stellung der Frage nach dem abgerufenen Kontext statt davor führte zu einer relativen Verbesserung von 80 Prozent, was die Theorie des „Verlorengehens in der Mitte“ stützt. Manchmal ergibt sich der größte Gewinn aus der einfachsten Änderung. Zudem kann bereits eine dichte Informationsabfrage ausreichen. Eine hybride Suche mit BM25 gilt in der Regel als starke Grundlage, doch eine gut strukturierte hierarchische dichte Anordnung war äußerst konkurrenzfähig, wobei die Hinzufügung von BM25 nur zu etwa 3,1 Prozent Beiträge leistete.
Bewertung
Kein einzelner Bestandteil hier ist radikal neu. Die Stärke liegt darin, wie einige bekannte Techniken (ein schichtweiser Index, mehrere Abfragen pro Frage, erneute Anfragen bei Ausweichverhalten des Modells sowie Mehrheitsabstimmung) um ein anspruchsvolles Ziel zusammengeführt werden: genaue Antworten, präzise Zitierungen und die Bereitschaft, bei schwachen Beweisen abzulehnen.
Es berührt außerdem einen der schwierigsten Aspekte des Unternehmens-Fragebeantwortens, bei dem die Nachvollziehbarkeit noch wichtiger ist als die Richtigkeit. Aus dieser Perspektive ist der Baum keine aufwendigere Methode zur Aufteilung von Texten – er dient vielmehr als Infrastruktur für Zitierungen, Audits und Fehleranalyse.
Zwei Probleme bleiben bestehen. Erstens die Empfindlichkeit gegenüber der Qualität der Parsing-Verarbeitung sowie vermutlich auch gegenüber der Qualität der Abfragenplanung. Reales Unternehmensinhalt ist voller unstrukturierter PDFs und inkonsistenter Layouts, wodurch die auf Regeln basierende Abschnittserkennung von Grund auf versagen kann. Zweitens Kosten und Latenz: Ensemble-Methoden erhöhen die Kosten in etwa linear, und Wiederholungsversuche können die Endlatenz verschlechtern. Daher handelt es sich um ein Design mit hoher Zuverlässigkeit, aber geringer Durchsatzrate, das nicht besonders gut für hochkonkurrierendes Online-Fragebeantworten geeignet ist.
Die zugrundeliegende Veröffentlichung trägt den Titel „KohakuRAG: A simple RAG framework with hierarchical document indexing“ und ist auf arXiv verfügbar.