DocSeeker: как научить визуальную модель ссылаться на страницы в длинных документах

Каждый, кто задавал модели вопрос по длинному отчёту и получал уверенный ответ, который невозможно проверить, знает, как это раздражает. Работа с длинными документами — это не просто чтение большего числа страниц. Сложнее другое: чтобы ответ оставался надёжным от первой страницы до последней. DocSeeker, свежая статья (arXiv 2604.12812), решает именно эту задачу: модель должна показать, на какие страницы она опиралась.

Где ломаются модели для длинных документов

Существующие подходы к ответам на вопросы по длинным документам делятся на три лагеря, и каждый ошибается по-своему.

Конвейеры с OCR и парсингом. Они извлекают текст и разметку с помощью OCR или PDF-парсеров и передают результат языковой модели. Сюда относятся LongFormer, LayTokenLLM, HiVT5, DocLLM и DocVLM. Они спотыкаются об ошибки OCR и по пути могут терять разметку и визуальные подсказки.

Визуальный RAG. Визуальный ретривер выбирает top-K самых релевантных страниц, и только они попадают в мультимодальную LLM. Типичные ретриверы — ColPali и DSE, типичные готовые системы — VisRAG, SV-RAG, VDocRAG и M3DocRAG. Камень преткновения — K. Слишком маленькое значение — и ключевые доказательства теряются. Слишком большое — и добавляется шум.

Сквозные мультимодальные модели. Они подают все изображения страниц прямо в модель. Примеры — mPLUG-DocOwl2, Qwen2.5-VL и InternVL3. Огромное число визуальных токенов в длинном файле даёт плохое соотношение сигнала и шума: ключевые доказательства тонут в массе нерелевантного содержимого, а это бьёт и по скорости, и по качеству.

Есть и проблема с данными. Большинство датасетов содержат только короткий итоговый ответ. Обучение на таких метках поощряет хрупкие обходные пути и трюки под конкретный датасет и никогда не учит модель находить доказательства или рассуждать прозрачно.

Трёхшаговый подход DocSeeker

Основная идея проста: разбить работу на три явных шага. Сначала проанализировать вопрос, потом найти доказательства, затем рассуждать на их основе. В итоге остаются следы на уровне страниц, которые человек действительно может проверить.

За основу взята Qwen2.5-VL-7B-Instruct без каких-либо дополнительных модулей. Все усилия направлены на то, чтобы научить саму модель ориентироваться в длинном документе и рассуждать по нему.

Возможным это делает один приём на входе. Перед обработкой визуальные токены каждой страницы получают текстовый идентификатор вроде «Page 1» — якорь, который позволяет модели привязать рассуждение к конкретным страницам.

Фреймворк называется ALR — Analysis, Localization и Reasoning:

1. Анализ: модель переформулирует вопрос пользователя и выясняет, что именно спрашивают.
2. Локализация: она называет страницы, где находятся доказательства.
3. Рассуждение: она делает выводы из этих доказательств и выдаёт и страницы, и итоговый ответ.

Так что модель не прыгает сразу к ответу. Её обучают выдавать структурированный след ALR. Упрощённый пример из промпта для дистилляции выглядит так:

<think>
\boxed{Question Analysis}
The user asks for bracketed text in paragraph 2 on page 5 that is
also bolded.
\boxed{Evidence Localization}
Page 5 contains bracketed text but no bolded text.
\boxed{Reasoning Process}
No text meets all required conditions; therefore the question cannot
be answered.
</think>
<answer>
{"evidence_pages": [5], "answer": "Not answerable"}
</answer>

Обучение: сначала дистилляция, потом награда

Этап первый: обучение с учителем

В роли учителя выступала Gemini-2.5-Flash. Она видела минимальный контекст: эталонные страницы с доказательствами, несколько страниц-отвлекателей, идентификаторы страниц и вопрос, — и по нему генерировала следы в формате ALR. Ученика же дообучали на полном документе со всеми страницами и их идентификаторами. Если давать учителю меньше, дистилляция выходит дешевле и чище, а ученик при этом тренируется на реалистичных входных данных.

Следы фильтровали точным сравнением ответов и страниц с доказательствами, а также семантической проверкой через GPT-4o. Осталось 13 986 примеров ALR: 8 676 из MP-DocVQA и ещё 5 310 из DUDE.

Этап второй: EviGRPO

Обычный GRPO в основном награждает за правильные ответы. DocSeeker вместо этого использует три награды: за формат, за доказательства и за ответ, с весами 0,1, 0,3 и 0,6.

• Награда за доказательства — это взвешенная F1 с beta = 2,0. Она отдаёт предпочтение полноте, поэтому пропуск страницы с доказательством обходится модели дороже, чем лишняя страница.
• Награда за ответ использует ANLS вместо строгого точного совпадения — это стандарт для document VQA, ведь правильные ответы могут немного отличаться оформлением.

Как EGRA снижает стоимость визуальных токенов

Чтобы обучение оставалось доступным, EGRA сохраняет страницы с доказательствами в высоком разрешении и случайным образом уменьшает 70% остальных страниц с ri = 1024 до ri = 256. Оставшиеся 30% сохраняют полное разрешение. Это применяется только при обучении. При инференсе каждая страница обрабатывается в высоком разрешении, а в опубликованной оценке используется 1024 на 784 на страницу.

Результаты

DocSeeker обходит базовую модель на всех пяти бенчмарках:

• DUDE: с 35,2 до 57,4 — самый большой прирост, 22,2 пункта.
• MPDocVQA: с 70,1 до 86,2.
• SlideVQA: с 59,8 до 77,1.
• LongDocURL: с 37,8 до 51,7.
• MMLongBench-doc: с 25,4 до 40,1.

В приведённом сравнении это самый сильный открытый метод, и он неплохо держится даже против закрытых моделей. На двух бенчмарках из своей области он обходит GPT-4o, хотя на MMLongBench-doc и LongDocURL всё ещё ему уступает.

Что из этого следует

Главный вклад работы — превращение размытой задачи в набор подзадач с учителем: найти нужные страницы, затем рассуждать по ним. Выдавая структурированные мысли, идентификаторы страниц и страницы с доказательствами, модель учится тому, что можно назвать маршрутизацией внимания, и для промышленного применения это очень привлекательно.

Направление выглядит верным, но до широкого использования в продакшене остаётся несколько вопросов:

• Насколько надёжна локализация за пределами уровня страниц?
• Сколько стоит сгенерировать данные ALR для других областей?
• Как контролировать дополнительную задержку на рассуждение?
• Можно ли ссылаться точнее, чем на целые страницы?

Последний вопрос важнее всего. Доказательства на уровне страниц — хорошее начало, но многим реальным внедрениям понадобятся цитаты, ячейки таблиц или области изображений, чтобы проверка ответа занимала секунды и оставляла след для аудита.