DocSeeker: enseñar a un modelo de visión a citar páginas en documentos largos
DocSeeker divide las preguntas sobre documentos largos en análisis, localización y razonamiento, y se entrena con destilación y RL ponderado por evidencias. Así funciona y estos son sus resultados.
Cualquiera que haya preguntado a un modelo sobre un informe largo y haya recibido una respuesta segura que no podía verificar sabe lo frustrante que es. Manejar documentos largos no consiste solo en leer más páginas. Lo difícil es que la respuesta siga siendo fiable de la primera página a la última. DocSeeker, un artículo reciente (arXiv 2604.12812), ataca justo eso obligando al modelo a mostrar en qué páginas se ha basado.
Dónde fallan los modelos para documentos largos
Los enfoques actuales para responder preguntas sobre documentos largos se agrupan en tres bandos, y cada uno falla a su manera.
Pipelines de OCR y parsing. Extraen el texto y la maquetación con OCR o parsers de PDF y pasan el resultado a un modelo de lenguaje. Aquí entran LongFormer, LayTokenLLM, HiVT5, DocLLM y DocVLM. Tropiezan con los errores de OCR y pueden perder por el camino la maquetación y las pistas visuales.
RAG visual. Un recuperador visual elige las K páginas más relevantes y solo esas llegan a un LLM multimodal. ColPali y DSE son recuperadores típicos, y VisRAG, SV-RAG, VDocRAG y M3DocRAG son sistemas completos típicos. El punto débil es K. Si es demasiado bajo, se pierde la evidencia clave. Si es demasiado alto, se añade ruido.
Modelos multimodales de extremo a extremo. Introducen todas las imágenes de las páginas directamente en el modelo. mPLUG-DocOwl2, Qwen2.5-VL e InternVL3 son ejemplos. La enorme cantidad de tokens visuales de un archivo largo produce una mala relación señal-ruido, con la evidencia clave enterrada bajo un montón de contenido irrelevante, lo que perjudica tanto la velocidad como la calidad.
También hay un problema de datos. La mayoría de los datasets solo ofrecen una respuesta final breve. Entrenar con esas etiquetas fomenta atajos frágiles y trucos propios de cada dataset, y nunca enseña al modelo a localizar evidencias ni a razonar de forma transparente.
El enfoque en tres pasos de DocSeeker
La idea central es sencilla: dividir el trabajo en tres pasos explícitos. Primero analizar la pregunta, luego encontrar la evidencia y después razonar a partir de ella. Así quedan rastros a nivel de página que una persona puede comprobar de verdad.
Parte de Qwen2.5-VL-7B-Instruct y no añade módulos adicionales. Todo el esfuerzo se centra en entrenar al propio modelo para orientarse en un documento largo y razonar sobre él.
Lo hace posible un truco en la entrada. Antes del procesamiento, los tokens visuales de cada página reciben un identificador de texto como «Page 1», un ancla que permite al modelo vincular su razonamiento a páginas concretas.
El framework se llama ALR, por Analysis, Localization y Reasoning:
- Análisis: el modelo reformula la pregunta del usuario y averigua qué se está preguntando exactamente.
- Localización: señala las páginas que contienen la evidencia.
- Razonamiento: saca conclusiones de esa evidencia y devuelve tanto las páginas como la respuesta final.
Así que el modelo no salta directamente a una respuesta. Se le entrena para emitir una traza ALR estructurada. Un ejemplo simplificado del prompt de destilación tiene este aspecto:
<think>
\boxed{Question Analysis}
The user asks for bracketed text in paragraph 2 on page 5 that is
also bolded.
\boxed{Evidence Localization}
Page 5 contains bracketed text but no bolded text.
\boxed{Reasoning Process}
No text meets all required conditions; therefore the question cannot
be answered.
</think>
<answer>
{"evidence_pages": [5], "answer": "Not answerable"}
</answer>
Entrenamiento: primero destilar, después recompensar
Primera fase: ajuste fino supervisado
Gemini-2.5-Flash hizo de profesor. Veía un contexto mínimo formado por las páginas de evidencia reales, unas cuantas páginas de distracción, los identificadores de página y la pregunta, y a partir de ahí generaba trazas en formato ALR. El alumno, en cambio, se ajustó con el documento completo, con todas las páginas y sus identificadores. Dar menos al profesor abarata y limpia la destilación, mientras el alumno sigue practicando con entradas realistas.
Las trazas se filtraron con comprobaciones de coincidencia exacta de respuestas y páginas de evidencia, además de una validación semántica con GPT-4o. Lo que sobrevivió fue un conjunto de 13 986 ejemplos ALR: 8676 procedían de MP-DocVQA y los otros 5310 de DUDE.
Segunda fase: EviGRPO
GRPO a secas recompensa sobre todo las respuestas correctas. DocSeeker usa en su lugar tres recompensas: formato, evidencia y respuesta, con pesos de 0,1, 0,3 y 0,6.
- La recompensa de evidencia es un F1 ponderado con beta igual a 2,0. Eso favorece la exhaustividad, así que omitir una página de evidencia le cuesta más al modelo que incluir una de más.
- La recompensa de respuesta usa ANLS en lugar de coincidencia exacta estricta, algo habitual en VQA de documentos, ya que las respuestas correctas pueden variar ligeramente de formato.
Reducir el coste de los tokens visuales con EGRA
Para que el entrenamiento sea asequible, EGRA mantiene las páginas de evidencia en alta resolución y reduce al azar el 70 % de las páginas sin evidencia de ri = 1024 a ri = 256. El otro 30 % conserva la resolución completa. Esto solo se aplica durante el entrenamiento. En inferencia todas las páginas se procesan en alta resolución, y la evaluación publicada usa 1024 por 784 por página.
Resultados
DocSeeker supera a la línea base en los cinco benchmarks:
- DUDE: de 35,2 a 57,4, la mayor mejora, con 22,2 puntos.
- MPDocVQA: de 70,1 a 86,2.
- SlideVQA: de 59,8 a 77,1.
- LongDocURL: de 37,8 a 51,7.
- MMLongBench-doc: de 25,4 a 40,1.
Es el método de código abierto más fuerte de la comparativa y aguanta bien incluso frente a modelos cerrados. Supera a GPT-4o en los dos benchmarks de su dominio, aunque sigue por detrás de GPT-4o en MMLongBench-doc y LongDocURL.
Qué conclusiones sacar
La verdadera aportación es convertir un reto difuso en subtareas supervisadas: encontrar las páginas relevantes y luego razonar sobre ellas. Al emitir pensamientos estructurados, identificadores de página y páginas de evidencia, el modelo aprende lo que podría llamarse enrutamiento de la atención, y eso tiene un atractivo práctico real para la industria.
La dirección parece la correcta, pero quedan algunas preguntas antes de un uso amplio en producción:
- ¿Qué fiabilidad tiene la localización más allá del nivel de página?
- ¿Cuánto cuesta generar datos ALR para otros dominios?
- ¿Cómo se controla la latencia adicional del razonamiento?
- ¿Se puede citar con más detalle que páginas enteras?
La última es la que más importa. La evidencia a nivel de página es un buen comienzo, pero muchos despliegues reales querrán fragmentos citados, celdas de tablas o regiones visuales, para que comprobar una respuesta lleve segundos y deje un rastro auditable.