KohakuRAG: Ascendiendo por el árbol de documentos para encontrar la evidencia adecuada.
KohakuRAG escala un árbol de documentos de cuatro niveles para encontrar pruebas: recuperación mediante múltiples consultas, intentos repetidos ante respuestas vacías y votación, tal como se probó en la tarea WattBot 2025.
Fuentes: KohakuRAG: Climb the Document Tree, Find the Right Evidence
La generación mejorada por recuperación de información a menudo parece excelente en las demostraciones, pero luego falla ante preguntas reales. KohakuRAG, un marco descrito en un artículo de arXiv de 2026, aborda esa brecha mediante decisiones de ingeniería sencillas, y merece ser analizado detenidamente.
Donde falla el RAG convencional
Tareas como el desafío WattBot 2025 exponen sus puntos débiles. Requieren respuestas numéricas precisas hasta el 0,1 por ciento, además de una atribución exacta de la fuente. Tres hábitos de los pipelines estándar perjudican en este aspecto:
- Cortar el texto en fragmentos planos ignora las secciones y la estructura del documento, lo que dificulta rastrear la fuente de una respuesta y hace que las citaciones ganen menos credibilidad.
- Una sola consulta puede pasar fácilmente por alto pruebas válidas cuando la pregunta y el documento expresan la misma idea de manera diferente.
De bloques planos a un árbol
KohakuRAG es un framework compacto basado en un índice de cuatro niveles: documento, sección, párrafo, oración. La estructura se mantiene porque los embeddings se combinan de abajo hacia arriba. La planificación de consultas por parte de un LLM, junto con la reclasificación entre consultas, amplía el alcance de la recuperación. Las respuestas se estabilizan mediante votación entre varias generaciones, y las salidas en blanco se manejan de forma especial.
Offline: creación del índice
Primero se realiza el análisis sintáctico. Cada documento se convierte en un árbol con esos cuatro niveles. Las imágenes y las tablas se tratan como nodos de párrafo especiales con subtítulos generados. PyMuPDF extrae las imágenes, y un modelo de lenguaje visual (Qwen3-VL) escribe subtítulos que se centran en el contenido técnico, los números y las etiquetas de ejes.
La mayor parte del análisis sintáctico se basa en reglas. PyMuPDF extrae el texto y el diseño, y luego las heurísticas basadas en el tamaño de la fuente, el espaciado y el formato recuperan la jerarquía:
- Secciones: los bloques cuya fuente tiene un tamaño al menos 1,2 veces el tamaño mediano se consideran títulos candidatos, y la numeración como 1,2 o A,3 ayuda a confirmar un límite.
- Párrafos: los bloques adyacentes separados por menos de 1,5 alturas de línea se fusionan, y los espacios más grandes dan inicio a un nuevo párrafo.
- Oraciones:
sent_tokenizede NLTK se encarga de dividir el texto, además de aplicar reglas adicionales para abreviaturas técnicas como Fig., et al. e i.e.
A continuación vienen las embeddings. Las oraciones, que son los elementos más simples, se incrustan directamente. Cada nodo padre es el promedio de sus hijos, ponderado según la cantidad de tokens, de modo que las partes más largas contribuyen en mayor medida. Se admiten dos backends: Jina v3 para texto (768 dimensiones, hasta 8K de contexto) y Jina v4 para recuperación multimodal, con dimensiones Matryoshka que van de 128 a 2048 y manejo directo tanto de texto como de imágenes. El almacenamiento utiliza sqlite-vec, un backend vectorial ligero.
En línea: recuperación de múltiples consultas
Durante la fase de preguntas, un LLM amplía la pregunta original en varias consultas relacionadas que incluyen reformulaciones, expansiones de abreviaturas y subpreguntas. Cada consulta realiza una búsqueda de similitud coseno restringida a los nodos de oración y párrafo. Un paso híbrido opcional agrega una recuperación dispersa BM25 únicamente en el índice de párrafos, y esos resultados se añaden después de los obtenidos mediante el método denso.
Luego, los resultados se vuelven a clasificar según las consultas utilizando la frecuencia, la puntuación o una combinación de ambas, de modo que un nodo que coincide con varias consultas ocupa un lugar más alto en la clasificación. A continuación, el sistema recorre el árbol y amplía el contexto: para cada coincidencia, incluye los nodos padre e hijos. Una oración que coincide trae consigo su párrafo, y un párrafo que coincide trae consigo su sección. Las coincidencias a nivel de sección se descartan por ser demasiado generales. Se puede realizar un paso opcional de deduplicación para eliminar la superposición entre ancestros e hijos y así ahorrar espacio en la ventana de contexto, aunque las competiciones realizadas no lo utilizaron.
Generación de la respuesta
Los prompts colocan el contexto recuperado antes de la pregunta, lo que contrarresta el efecto de “perderse en el medio”, y los marcadores de citación facilitan la atribución de fuentes al modelo. La salida es un JSON estructurado que contiene la respuesta, el valor extraído, los IDs de las citaciones, una explicación y una bandera para indicar un resultado en blanco. Cuando la evidencia es escasa, se espera que el modelo se abstenga explícitamente. Tenga en cuenta que las citaciones se evalúan a nivel de ID de documento, no por página o rango, lo cual es importante al interpretar qué optimiza el sistema.
Un bucle de intentos repetidos aborda los casos en blanco. Si el modelo indica evidencia insuficiente, el sistema aplica el método top-k, vuelve a recuperar información y repite el proceso hasta obtener una respuesta válida o alcanzar el límite de intentos.
Varias generaciones y luego una votación
En lugar de solicitar una sola respuesta, el sistema genera varias de forma independiente. Las respuestas en blanco se eliminan antes de la votación cuando existe al menos una respuesta real. Si todas las pruebas resultan en blanco, se abstiene de votar. La votación estabiliza tanto las respuestas como las citaciones.
Resultados
El marco fue desarrollado para el desafío WattBot 2025, por lo que los resultados provienen principalmente de esa prueba de referencia: 32 documentos técnicos sobre el uso energético de la IA, incluyendo artículos, informes y diapositivas, con un total aproximado de 500K tokens. Los temas abarcan el consumo de energía, el uso de agua, la huella de carbono y las características de rendimiento del modelo.
KohakuRAG obtuvo una puntuación de 0.902 en la tabla de clasificación pública y de 0.861 en la privada, y fue el único método que mantuvo el primer lugar en ambas.
Destacan dos hallazgos. El orden de las instrucciones es de suma importancia: colocar la pregunta después del contexto recuperado, y no antes, generó una mejora relativa del 80 por ciento, lo que respalda la idea de la pérdida en el proceso intermedio. A veces, el mayor beneficio proviene del cambio más simple. Además, la recuperación densa por sí sola puede ser suficiente. La búsqueda híbrida con BM25 suele considerarse una base sólida, pero una configuración jerárquica densa bien estructurada resultó altamente competitiva, y la adición de BM25 solo aportó alrededor del 3.1 por ciento.
Evaluación
Ningún componente aquí es radicalmente nuevo. La fortaleza radica en cómo un conjunto de técnicas conocidas (un índice en capas, varias consultas por pregunta, intentos repetidos cuando el modelo se abstiene y votación mayoritaria) se combinan en torno a un objetivo exigente: respuestas precisas, citas exactas y la disposición a abstenerse cuando las pruebas son débiles.
También aborda una de las partes más difíciles de la respuesta a preguntas en entornos empresariales, donde la trazabilidad es aún más importante que tener la respuesta correcta. Visto de esa manera, el árbol no es una forma más sofisticada de dividir el texto; es una infraestructura para las citaciones, las auditorías y el análisis de errores.
Quedan dos preocupaciones. La primera es la sensibilidad a la calidad del análisis sintáctico, y probablemente también a la calidad de la planificación de las consultas. El contenido empresarial real está repleto de PDFs desorganizados y diseños incoherentes, y la detección de secciones basada en reglas puede fallar desde el principio. La segunda es el costo y la latencia: los ensembles aumentan el costo de forma aproximadamente lineal, y los intentos repetidos pueden empeorar la latencia en casos extremos, por lo que este enfoque parece ser adecuado para aplicaciones de alta fiabilidad y bajo rendimiento, y no para la respuesta a preguntas en línea con alta concurrencia.
El artículo original se titula “KohakuRAG: Un marco RAG sencillo con indexación jerárquica de documentos” y está disponible en arXiv.
Lección relacionada
- MultiDocFusion: División en trozos con conciencia hierárquica para RAG en PDFs largos — Cómo la detección de layout, el OCR, un LLM basado en árboles de encabezados y el agrupamiento mediante DFS mantienen el contexto de cada sección en los trozos, logrando mejoras en la recuperación del 8-15% y señalando dos consideraciones sobre el tamaño del índice.
- RouteRAG: Enseñar a un modelo pequeño cuándo y cómo recuperar información con RL — Cómo RouteRAG utiliza un entrenamiento en dos etapas con GRPO para dirigir la recuperación entre pasajes, gráficos y métodos híbridos, reduciendo el número de intentos de recuperación y ayudando a modelos pequeños en tareas de QA de múltiples pasos.