DocSeeker: Wie man einem Vision-Modell beibringt, in langen Dokumenten Seiten zu zitieren

Wer einem Modell schon einmal eine Frage zu einem langen Bericht gestellt und eine selbstbewusste Antwort bekommen hat, die sich nicht überprüfen ließ, weiß, wie ärgerlich das ist. Lange Dokumente zu verarbeiten heißt nicht nur, mehr Seiten zu lesen. Schwieriger ist es, die Antwort von der ersten bis zur letzten Seite vertrauenswürdig zu halten. DocSeeker, ein aktuelles Paper (arXiv 2604.12812), packt genau das an: Das Modell muss zeigen, auf welche Seiten es sich gestützt hat.

Wo Modelle für lange Dokumente scheitern

Bisherige Ansätze für Fragen zu langen Dokumenten lassen sich in drei Lager einteilen, und jedes scheitert auf seine eigene Weise.

OCR- und Parsing-Pipelines. Sie extrahieren Text und Layout per OCR oder PDF-Parser und übergeben das Ergebnis an ein Sprachmodell. Dazu gehören LongFormer, LayTokenLLM, HiVT5, DocLLM und DocVLM. Sie stolpern über OCR-Fehler und können unterwegs Layout und visuelle Hinweise verlieren.

Visuelles RAG. Ein visueller Retriever wählt die Top-K relevantesten Seiten aus, und nur diese gehen an ein multimodales LLM. ColPali und DSE sind typische Retriever, VisRAG, SV-RAG, VDocRAG und M3DocRAG typische Gesamtsysteme. Der Knackpunkt ist K. Ist es zu klein, fehlt die entscheidende Evidenz. Ist es zu groß, kommt Rauschen hinzu.

End-to-End-Multimodalmodelle. Sie speisen alle Seitenbilder direkt ins Modell ein. Beispiele sind mPLUG-DocOwl2, Qwen2.5-VL und InternVL3. Die riesige Zahl visueller Tokens in einer langen Datei führt zu einem schlechten Signal-Rausch-Verhältnis: Die entscheidende Evidenz geht in einer Masse irrelevanter Inhalte unter, was Geschwindigkeit und Qualität gleichermaßen schadet.

Dazu kommt ein Datenproblem. Die meisten Datensätze liefern nur eine kurze Endantwort. Wer auf solchen Labels trainiert, fördert brüchige Abkürzungen und datensatzspezifische Tricks und bringt dem Modell nie bei, Evidenz zu finden oder nachvollziehbar zu schlussfolgern.

Der dreistufige Ansatz von DocSeeker

Die Kernidee ist einfach: die Aufgabe in drei explizite Schritte aufteilen. Erst die Frage analysieren, dann die Evidenz finden, dann daraus schlussfolgern. So entstehen Spuren auf Seitenebene, die ein Mensch tatsächlich prüfen kann.

Ausgangspunkt ist Qwen2.5-VL-7B-Instruct, ohne zusätzliche Module. Der gesamte Aufwand fließt ins Training des Modells selbst, damit es sich in einem langen Dokument zurechtfindet und darüber schlussfolgert.

Möglich macht das ein Kniff bei der Eingabe. Vor der Verarbeitung erhalten die visuellen Tokens jeder Seite eine textuelle Seitenkennung wie „Page 1“ – einen Anker, mit dem das Modell seine Schlussfolgerungen an bestimmte Seiten binden kann.

Das Framework heißt ALR, für Analysis, Localization und Reasoning:

1. Analyse: Das Modell formuliert die Frage des Nutzers neu und klärt, was genau gefragt ist.
2. Lokalisierung: Es benennt die Seiten, auf denen die Evidenz steht.
3. Schlussfolgerung: Es zieht aus dieser Evidenz Schlüsse und gibt sowohl die Seiten als auch die Endantwort aus.

Das Modell springt also nicht direkt zur Antwort. Es wird darauf trainiert, eine strukturierte ALR-Spur auszugeben. Ein vereinfachtes Beispiel aus dem Distillations-Prompt sieht so aus:

<think>
\boxed{Question Analysis}
The user asks for bracketed text in paragraph 2 on page 5 that is
also bolded.
\boxed{Evidence Localization}
Page 5 contains bracketed text but no bolded text.
\boxed{Reasoning Process}
No text meets all required conditions; therefore the question cannot
be answered.
</think>
<answer>
{"evidence_pages": [5], "answer": "Not answerable"}
</answer>

Training: erst destillieren, dann belohnen

Stufe eins: Supervised Fine-Tuning

Als Lehrer diente Gemini-2.5-Flash. Es sah einen minimalen Kontext aus den tatsächlichen Evidenzseiten, einigen Ablenkungsseiten, den Seitenkennungen und der Frage und erzeugte daraus Spuren im ALR-Format. Der Schüler wurde dagegen auf dem vollständigen Dokument mit allen Seiten und Seitenkennungen feinjustiert. Gibt man dem Lehrer weniger, wird die Distillation günstiger und sauberer, während der Schüler trotzdem an realistischen Eingaben übt.

Die Spuren wurden per Exact-Match-Prüfung auf Antworten und Evidenzseiten gefiltert, ergänzt um eine semantische Validierung durch GPT-4o. Übrig blieben 13.986 ALR-Beispiele: 8.676 davon aus MP-DocVQA, die anderen 5.310 aus DUDE.

Stufe zwei: EviGRPO

Klassisches GRPO belohnt vor allem korrekte Antworten. DocSeeker nutzt stattdessen drei Belohnungen – für Format, Evidenz und Antwort –, gewichtet mit 0,1, 0,3 und 0,6.

• Die Evidenzbelohnung ist ein gewichteter F1-Wert mit Beta = 2,0. Das bevorzugt Recall: Eine ausgelassene Evidenzseite kostet das Modell mehr als eine zusätzlich genannte.
• Die Antwortbelohnung nutzt ANLS statt strikter Exact Match – Standard bei Document VQA, da korrekte Antworten sich in der Formatierung leicht unterscheiden können.

Kosten für visuelle Tokens senken mit EGRA

Damit das Training bezahlbar bleibt, belässt EGRA die Evidenzseiten in hoher Auflösung und verkleinert zufällig 70 % der übrigen Seiten von ri = 1024 auf ri = 256. Die anderen 30 % behalten die volle Auflösung. Das gilt nur im Training. Bei der Inferenz wird jede Seite in hoher Auflösung verarbeitet, und die berichtete Evaluation nutzt 1024 × 784 pro Seite.

Ergebnisse

DocSeeker schlägt die Baseline auf allen fünf Benchmarks:

• DUDE: von 35,2 auf 57,4, der größte Zugewinn mit 22,2 Punkten.
• MPDocVQA: von 70,1 auf 86,2.
• SlideVQA: von 59,8 auf 77,1.
• LongDocURL: von 37,8 auf 51,7.
• MMLongBench-doc: von 25,4 auf 40,1.

Im berichteten Vergleich ist es die stärkste Open-Source-Methode und hält auch gegen geschlossene Modelle mit. Auf den beiden In-Domain-Benchmarks überholt es GPT-4o, bleibt auf MMLongBench-doc und LongDocURL aber hinter GPT-4o zurück.

Was davon zu halten ist

Der eigentliche Beitrag besteht darin, eine vage Herausforderung in überwachte Teilaufgaben zu verwandeln: die relevanten Seiten finden und dann darüber schlussfolgern. Indem das Modell strukturierte Gedanken, Seitenkennungen und Evidenzseiten ausgibt, lernt es eine Art Aufmerksamkeits-Routing – und das ist für den Einsatz in der Industrie praktisch sehr attraktiv.

Die Richtung stimmt, aber vor einem breiten Produktiveinsatz bleiben einige Fragen offen:

• Wie zuverlässig ist die Lokalisierung jenseits der Seitenebene?
• Was kostet es, ALR-Daten für andere Domänen zu erzeugen?
• Wie lässt sich die zusätzliche Latenz durch das Schlussfolgern begrenzen?
• Können Zitate feiner werden als ganze Seiten?

Die letzte Frage ist die wichtigste. Evidenz auf Seitenebene ist ein guter Anfang, aber viele reale Einsätze werden zitierte Textstellen, Tabellenzellen oder Bildbereiche wollen, damit die Prüfung einer Antwort Sekunden dauert und eine nachvollziehbare Spur hinterlässt.