MultiDocFusion: Hierarchiebewusstes Chunking für RAG bei langen PDF-Dateien.
MultiDocFusion bewahrt den Abschnittskontext in jedem Teilabschnitt eines langen PDFs: Layouterkennung, OCR, ein Header-Tree-LLM sowie DFS-Gruppierung, um eine 8-15% bessere RAG-Aufrufleistung zu erzielen.
Quellen: MultiDocFusion: From Flat Chunks to Hierarchy-Aware RAG
Die meisten RAG-Systeme gehen von derselben kaum bemerkten Annahme aus: Das Dokument wird in Abschnitte aufgeteilt, diese eingebettet, die besten Ergebnisse abgerufen und der Rest soll von selbst funktionieren. Das gilt solange, bis ein langes industrielles PDF eintrifft und deutlich macht, dass Dokumente niemals als lose Teile gelesen werden sollten.
Ein typisches System holt die relevanten Abschnitte ab und bittet ein LLM, daraufhin eine Antwort zu geben. Um längere Dokumente suchbar zu machen, müssen sie in kleinere Teile zerlegt werden, wobei die üblichen Methoden grob sind: eine feste Anzahl an Wörtern oder eine Aufteilung, die ausschließlich durch semantische Ähnlichkeit bestimmt wird. Reale Dokumente sind mehr als nur reiner Text – sie enthalten:
- verschachtelte Überschriften und Untertitel in mehreren Ebenen
- Tabellen, Abbildungen und andere Elemente, die vom Seitenlayout abhängen
- Abschnitte, die von einer Seite zur nächsten fortgesetzt werden
- gescannte PDFs, die OCR benötigen
Die Aufteilung nach Länge ist etwas wie das Zerstückeln eines Lehrbuchs nach Belieben. Überschriften werden von ihren Abschnitten getrennt, Absätze verlieren die Tabellen, die sie erklären, und wichtiger Kontext geht verloren. Dadurch werden unzusammenhängende Informationen zurückgegeben und die Qualität der Antworten sinkt. Der Schaden ist am größten bei industriellen Dokumenten, Finanzberichten, Rechtsverträgen und Scans.
Drei Signale, kombiniert
Ein zuverlässiges RAG für lange Dokumente erfordert die gemeinsame Modellierung von drei Arten von Signalen:
- Visuelle Gestaltung, also wie die Seite aussieht
- Textlicher Inhalt, also was darauf steht
- Strukturelle Hierarchie, also wie das Dokument organisiert ist
MultiDocFusion basiert genau auf dieser Kombination. „Fusion“ bezeichnet die Verbindung von Gestaltung, Text und Hierarchie, während „MultiDoc“ auf die Unterstützung verschiedener Dokumentformate sowie auf ein RAG auf Korpusebene für mehrere Dokumente hinweist.
Der Ablauf in der Abbildung verläuft wie folgt: Extraktion des Layouts durch einen Dokumentparser, OCR zur Erfassung und Annotation von Texten, Erstellung eines hierarchischen Baums durch DSHP-LLM aus den erkannten Abschnittsüberschriften und allgemeinen Knoten sowie anschließend ein auf DFS basierender Gruppierungsprozess, der kohärente hierarchische Blöcke bildet. Die Farbcodierung unterscheidet zwischen Wurzel und Titel, Abschnittsüberschriften sowie allgemeinen Knoten wie Tabellen, Abbildungen und Textblöcken.
Ein Trenner mit fester Länge teilt ein Buch an den Token-Grenzen auf. MultiDocFusion arbeitet eher wie ein durchdachter Nutzer: Es erstellt dynamisch den strukturellen Baum des Dokuments, ähnlich wie bei der Erstellung eines Inhaltsverzeichnisses, und gruppiert Material, das zusammengehört. Dadurch eignet es sich besonders gut für lange, komplexe Dokumente.
Die vier Schritte
1. Layout-Erkennung
Jede Seite wird zunächst als Bild betrachtet. Das System ermittelt, wo Überschriften, Untertitel, Textinhalt, Tabellen und Bilder befinden – das ist die Layouterkennung. Dabei werden DETR, DiT und VGT eingesetzt, die alle auf dem DocLayNet-Datensatz feinabgestimmt wurden. Die Ausgabe besteht nicht nur aus Text, sondern aus Boxen mit Positionen, wobei jede Box die Seite, ihre Koordinaten sowie einen Typ wie Überschrift oder Tabelle festhält.
2. OCR
Nachdem die Bereiche ermittelt wurden, liest OCR den Text in jeder Box. EasyOCR, Tesseract und TrOCR wurden unter verschiedenen Einstellungen verglichen, wobei zu beachten ist, dass die Ergebnisse weiterhin von der Scannqualität, den Schriftarten und der Sprache abhängen. Das System kennt nun sowohl die Existenz einer Box als auch ihren Inhalt – beispielsweise eine Überschrift wie „2. Method“ in einer Box und Tabellendaten in einer anderen.
3. Aufbau der Hierarchie
Dieser Schritt stellt den zentralen Beitrag dar. Ein spezialisiertes LLM wird trainiert, um hierarchische Beziehungen innerhalb des Dokuments zu erfassen. Ein Überschrift wie „1 Einführung“ kann auf der obersten Ebene stehen, „1.1 Hintergrund“ darunter auf der zweiten Ebene, und bestimmte Absätze oder Tabellen werden den entsprechenden Überschriften zugeordnet.
Anstatt nur Text zu extrahieren, erstellt das System ein logisches Inhaltsverzeichnis, das den verborgenen Aufbau des Dokuments aufdeckt.
Nach dem Vergleich mehrerer Modelle mit offener Gewichtsverteilung, darunter Llama-3.2 und Qwen-2.5, wählte das Team Mistral-8B als stärksten Kern. Es wurde mithilfe von LoRA zusammen mit 4-Bit-Quantisierung (der QLoRA-Technik) feinabgestimmt. Die Trainings- und Evaluierungsdaten für DSHP-LLM stammten von DocHieNet – 1.673 Dokumente – sowie von HRDH, nämlich etwa 1.500 wissenschaftliche Artikel. Die einzige Eingabe des Modells ist die strukturierte HeaderList, anhand derer es den Rahmen des Baums erstellt. Sobald das LLM diesen Header-Baum wieder aufgebaut hat, durchläuft das System jeden Abschnitt, jedes Textblatt sowie jede Tabelle und ordnet jedes Element entsprechend seinen räumlichen Koordinaten unter den richtigen Header ein.
Warum ein spezialisiertes LLM und nicht einfache Regeln? Reale Dokumente sind kompliziert. Heuristiken wie „größere Schriftgröße bedeutet Überschrift“ oder „Abschnitt 1.2 muss unter Abschnitt 1 stehen“ versagen oft bei Scans, alten PDFs und schwierigen Layouts. Viele bestehende Methoden analysieren entweder nur den Text oder nur das visuelle Layout, was eine genaue Wiederherstellung der Hierarchie erschwert – insbesondere bei gescannten oder unregelmäßigen Dokumenten.
Das LLM schließt Eltern-Kind-Beziehungen zwischen Abschnittsüberschriften ab. Andere Inhaltsteile werden anschließend durch räumliche Anordnung hinzugefügt und werden vom LLM im Rahmen derselben Hierarchieaufgabe nicht gemeinsam vorhergesagt.
4. Hierarchisches Chunking
Mit diesem Ansatz gruppiert das System den Inhalt logisch und teilt ihn nicht willkürlich auf. Die Überschriften, der Text und Tabellen einer Abschnitt bleiben zusammen und werden nur dann geteilt, wenn die Länge es erfordert. Jeder Teil trägt seine Abstammungshierarchie mit sich, beispielsweise „Dokumentüberschrift → Kapitel 1 → Abschnitt 1.1 → spezifischer Absatz“. Dadurch werden beim Abrufen Abschnitte mit beigefügtem Kontext zurückgegeben, nicht nur isolierte Auszüge, und die Beibehaltung der Hierarchie innerhalb jedes Teils verringert den Verlust von Kontext.
Als Implementierungsdetail schreiben die fertigen Teile ihre Hierarchie als Markdown-Überschriften (#, ## usw.) nieder, wodurch Strukturen in reinen Text umgewandelt werden, die für das Abrufen und Erstellen genutzt werden können.
Was die Zahlen zeigen
In den meisten Datensätzen erzielt MultiDocFusion die beste Suchleistung, wobei insbesondere bei komplexeren Datensätzen wie DUDE, MPVQA und MOAMOB deutliche Verbesserungen zu verzeichnen sind. Die Suchgenauigkeit stieg um etwa 8 % auf 15 %. Frühere Systeme holten oft unvollständige Auszüge, die über verschiedene Seiten verstreut waren. Durch das hierarchiebewusste Aufteilen in Blöcke werden strukturell kohärente Teile zurückgegeben, die den Kontext des Abschnitts beibehalten, selbst wenn ein ganzer Abschnitt aus Längengründen weiter aufgeteilt werden muss.
Auch bei der Fragebeantwortung verbessern sich die Ergebnisse insgesamt, wobei ANLS um etwa 2 % auf 3 % anstieg. Dies entspricht der Vorstellung, dass ein besser strukturierter Kontext bessere Antworten ermöglicht, obwohl die Studie die Suchqualität nicht als einzige Ursache für die Verbesserungen bei der Fragebeantwortung ausweist.
Die eigentliche Erkenntnis besteht darin, lange Dokumente in eine für die Suche geeignete „Baumpfaddarstellung“ umzuwandeln. DSHP-LLM erkennt Beziehungen zwischen Überschriften, Abschnitten und Tabellen, die durch räumliche Anordnung miteinander verbunden sind, und zieht anschließend die übergeordneten Überschriften in jeden Abschnitt ein. Im Grunde führt es zur Zeit der Indizierung eine strukturierte Umformulierung durch.
Zwei Bedenken
- Eine fragwürdige Annahme. Die Methode betrachtet jeden Knoten zwischen zwei Überschriften als zum aktuellen Abschnitt gehörend. Das ist nicht immer der Fall – insbesondere bei zweispaltigen Layouts, Seitenleisten, schwebenden Tabellen oder Bildern, Fußnoten, die mehrere Seiten umfassen, sowie gegenseitig verweisenden Anhängen. Zwei Elemente, die nebeneinander auf der Seite stehen, sind nicht unbedingt inhaltlich miteinander verbunden.
- Index-Übergröße. Das wiederholte Kopieren von Überhead-Informationen der Vorgängerknoten in Nachkommenknoten führt zu einer großen Anzahl an Knoten – insgesamt 20.773 mit durchschnittlich 521,65 Tokens pro Knoten. Dadurch kann die Abfrage stärker auf Abschnittsüberschriften als auf die Inhalte im Text vertrauen, insbesondere bei Unternehmensvorlagen, deren Dateien ähnliche Überhead-Informationen aufweisen. Die Studie selbst räumt unter Berücksichtigung ihrer Einschränkungen diese Abwägung ein und weist darauf hin, dass das Duplizieren des Elternkontexts die Größe des Index, die Speicherkosten sowie die Abfrageverzögerung erhöht. In großem Maßstab wären budgetorientiertes Aufteilen in Knoten oder Deduplizierung auf Knotenebene erforderlich.
Ein Vergleich mit MoDora
MoDora, ein verwandter Ansatz zur Umwandlung beschädigter OCR-Knoten in einen lebendigen Dokumentbaum, teilt die grundlegende Idee: Zunächst die interne Struktur rekonstruieren und erst danach die Verarbeitung an die Abfrage- und Qualitätskontrollfunktionen übergeben.
- MultiDocFusion wechselt von der Analyse und OCR zu einem hierarchischen Baum mithilfe von DSHP-LLM und anschließend zu hierarchischen Blöcken mittels DFS. Es handelt sich dabei um ein strukturbewusstes Modellieren sowie die Erstellung von Blöcken.
- MoDora sammelt zunächst die OCR-Elemente zu layoutbewussten Komponenten zusammen, bevor ein CCTree erstellt wird. Es modelliert die Hierarchien der Komponenten, die Layoutunterschiede sowie die Beziehungen zwischen den Komponenten vor der Abrufung und Analyse.
Keines der Verfahren betrachtet ein Dokument als flachen Textstrom. Beide stellen die Hierarchie explizit als Zwischenschritt vor der Abrufung dar.
Verwandte Literatur
- Praktische Hinweise: Wo man 2026 RAG von Grund auf lernen kann – Die Kurse — Detaillierte Anleitung zu den Praktischen Hinweisen: Wo man 2026 RAG von Grund auf lernen kann – Die Kurse: Verträge, Überprüfungen sowie Code-Blöcke für Teams, die dieses Muster einsetzen.
- Praktische Hinweise: RAG in die Produktion bringen – End-to-End-Problemstellungen aus der Praxis — Detaillierte Anleitung zu den Praktischen Hinweisen: RAG in die Produktion bringen – End-to-End-Problemstellungen aus der Praxis: Verträge, Überprüfungen sowie Code-Blöcke für Teams, die dieses Muster einsetzen.