RouteRAG: Enseñar a un modelo pequeño cuándo y cómo recuperar información mediante RL
RouteRAG entrena un modelo pequeño con GRPO en dos etapas para seleccionar entre recuperación por pasajes, gráficos o híbrida, reduciendo el número de intentos de recuperación y mejorando los resultados de preguntas y respuestas de múltiples pasos.
Fuentes: RouteRAG: An RL Router That Teaches RAG When to Search
La combinación de RAG con el aprendizaje por refuerzo se ha convertido en una dirección de investigación cada vez más común, y RouteRAG es un ejemplo claro. El artículo entrena un modelo de lenguaje para que decida por sí mismo cómo recuperar información de texto, de un grafo o de ambos, y cuándo detenerse.
La brecha que aborda
El conocimiento de un modelo de lenguaje queda fijo en el momento del entrenamiento inicial. Para preguntas que requieren información externa o actualizada, a menudo devuelve respuestas obsoletas o incorrectas. Los métodos más recientes utilizan la recuperación en múltiples pasos, en la que el modelo razona, obtiene nueva información, vuelve a razonar y repite el proceso. Los modelos de código abierto más pequeños tienen dificultades con este ciclo: les cuesta decidir cuándo buscar, cómo formular una consulta y cómo analizar los resultados obtenidos. Muchos pipelines basados en prompts dependen en silencio de modelos de código cerrado de gran tamaño que cuentan con un sólido razonamiento y planificación integrados.
Los grafos añaden una segunda capa de dificultad. Hacen explícitas las relaciones entre entidades, lo cual es adecuado para el razonamiento multi-paso, pero extraer y procesar evidencia de grafos es costoso desde el punto de vista computacional. La mayoría de los sistemas también tratan la recuperación de grafos como un paso único y fijo en el proceso, basándose en heurísticas, sin posibilidad de incorporar más evidencia de grafos a medida que avanza el razonamiento.
Recuperar más documentos o alternar entre grafos y texto no es la solución. El modelo necesita una política aprendible entrenada con aprendizaje por refuerzo, una que elija activamente qué hacer a continuación: recuperar información del texto, de un grafo o de una combinación de ambos, cuándo detenerse y cómo equilibrar la precisión con la eficiencia. Una recuperación más inteligente es mejor que recuperar más datos.
La recuperación como decisiones secuenciales
RouteRAG concibe los procesos RAG de múltiples turnos como un proceso de toma de decisiones secuencial. En lugar de pipelines fijos y elaborados a mano o instrucciones estáticas, aprende una política en la que tokens especiales dentro del flujo de razonamiento activan acciones de recuperación de información.
En cada paso, el modelo emite un token de acción. Puede continuar razonando internamente, iniciar una búsqueda con <search>...</search> o finalizar con <answer>...</answer>. Dentro de <search>, una etiqueta selecciona el modo de recuperación: [passage], [graph] o ambos, como en [graph][passage], lo que significa recuperación híbrida.
El contraste con trabajos anteriores es lo principal que hay que recordar. Los métodos previos basados en RL para RAG de múltiples turnos mezclaban principalmente el razonamiento con la recuperación de pasajes y recompensaban únicamente la corrección de la respuesta, es decir, una recompensa por resultado, sin ninguna presión explícita sobre el costo o la eficiencia. RouteRAG amplía la recuperación a modos de pasaje, gráfico e híbrido. Se entrena en dos etapas de RL basadas en GRPO: la Etapa 1 solo recompensa la corrección, mientras que la Etapa 2 añade una recompensa por eficiencia derivada del tiempo total de recuperación, lo que impulsa al modelo a realizar una recuperación selectiva al mismo tiempo que se mantiene la calidad de la respuesta.
El bucle en detalle
Paso a paso, el modelo de política πθ genera tokens, y cuenta con como máximo B pasos para trabajar. Una emisión <search>...</search> se analiza en una subconsulta q′ más un modo de recuperación m ∈ {Passage, Graph, Hybrid}, y ambos se envían al recuperador R. Cualquier evidencia d que regrese se encierra en <information>...</information> y se agrega al contexto para la ronda siguiente. El bucle se detiene en cuanto aparece <answer>...</answer>.
Durante el entrenamiento, el presupuesto se establece en B=4 pasos, y cada recuperación genera 3 pasajes. Esa cantidad no está relacionada con la constante de suavizado en la fórmula RRF que aparece a continuación, la cual casualmente comparte la misma letra.
Por lo tanto, el modelo no tiene que adivinar si buscar o qué buscar. Aprende cuándo recuperar la información, cómo formular las subconsultas y qué modo utilizar.
Tres modos de recuperación
- Recuperación por pasajes utiliza búsquedas densas al estilo DPR. Las subconsultas y los pasajes del corpus se codifican en un espacio de embeddings compartido, y se seleccionan los k mejores según la similitud.
- Recuperación por gráfico construye un grafo de conocimiento a partir del corpus con HippoRAG 2. Para una consulta, el PageRank personalizado parte de los nodos relacionados con ella y muestra evidencias a través de conexiones de varios saltos.
- Recuperación híbrida fusiona las dos listas de resultados mediante Reciprocal Rank Fusion (RRF). Un documento con una alta clasificación en cualquiera de las listas recibe un mayor puntaje en la clasificación fusionada, como lo indica la fórmula:
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]
Por lo tanto, es más probable que sobrevivan las pruebas complementarias, ya que un documento con una alta calificación según cualquiera de los métodos es promovido y es menos probable que se pase por alto.
Entrenamiento con GRPO
RouteRAG aprende a través de la Optimización de Políticas Relativas de Grupo (GRPO), la cual estabiliza el entrenamiento al comparar trayectorias dentro de un grupo, reduciendo así la varianza cuando las recompensas son escasas. El diseño de recompensas es donde este método obtiene su ventaja.
Etapa 1: solo precisión. El modelo recibe un 1 si su respuesta coincide exactamente con la verdad absoluta y 0 en caso contrario. El objetivo es establecer una base sólida: aprender a responder correctamente e ignorar por ahora el costo.
Etapa 2: precisión más eficiencia. Solo las respuestas correctas califican para la recompensa por eficiencia. El tiempo total de recuperación t está centrado en el promedio por lote t_avg y normalizado por T, una constante que mantiene a t y t_avg dentro del rango [0, 0.5], según el artículo.
R_efficiency = (t_avg - t) / T
Por lo tanto, una respuesta correcta sigue perdiendo puntos si tarda más que el método batch norm. Para garantizar estabilidad, el objetivo de entrenamiento combina ratios de política recortados con una penalización KL y una ventaja relativa al grupo Aᵢ. Gracias a las recompensas en dos etapas, la política se inclina hacia trayectorias que son correctas y también más fáciles de recuperar, lo que significa un proceso más rápido y selectivo, sin depender de encontrar tales soluciones por casualidad.
Evaluación
Las pruebas abarcaron cinco conjuntos de datos comunes de QA: PopQA, Natural Questions (NQ), HotpotQA, 2WikiMultihopQA (2Wiki) y MuSiQue. Se utilizaron dos métricas, Exact Match (EM) y F1, con los resultados divididos en QA simple (PopQA, NQ), QA multi-hop (HotpotQA, 2Wiki, MuSiQue) y el promedio general de los cinco.
El QA multi-hop experimenta el mayor impulso, y la media general también aumenta, a pesar de que los modelos base son bastante pequeños: Qwen2.5-3B-Instruct y Qwen2.5-7B-Instruct. En tareas multi-hop, los resultados se acercan a los de los sistemas graph RAG que funcionan con GPT-4o-mini e incluso superan algunos de ellos. Cabe señalar que las bases de referencia basadas en grafos utilizan GPT-4o-mini, mientras que las basadas en texto comparten el modelo base Qwen2.5. El costo es una cierta pérdida de precisión en tareas de QA más simples.
Un estudio de caso muestra este efecto.
Antes del entrenamiento, el modelo inventa hechos a partir de su memoria: afirma que Johnny Pemberton interpretó a Bo Thompson en That '70s Show y nombra a Steven Molaro como creador. Después, evita estos errores, divide la pregunta en pasos, obtiene la evidencia correcta y llega a la conclusión de que Justin Spitzer es el verdadero creador.
Lo que destaca
RouteRAG combina el proceso completo de razonamiento, recuperación de información y generación de respuestas en una sola política aprendible. Une el razonamiento con las decisiones sobre qué recuperar (un pasaje, un grafo o una combinación de ambos) y cuándo dar una respuesta final dentro de un límite de pasos B. Optimizado con un sistema de RL basado en GRPO en dos etapas, logra mejoras significativas incluso con estructuras básicas simples.
Su característica más valiosa no es ser simplemente otra variante de RAG. El modelo aprende, dentro de su propia política y no mediante reglas predefinidas, cuándo recuperar información y cuándo responder dentro del límite de pasos establecido. Como resultado, reduce el número de rondas de recuperación de 2,70 a 2,25 en comparación con la variante sin esta mejora de eficiencia, manteniendo sin cambios el valor de F1.
Dos consideraciones para implementaciones reales
- Generalización. Los resultados abarcan únicamente modelos de 3B y 7B, y la recuperación de grafos siempre utiliza HippoRAG 2. No se sabe cómo se comportará el enrutamiento con modelos más grandes o con pipelines de grafos diferentes. En entornos de producción, cambios en la calidad o cobertura de los grafos podrían afectar directamente el comportamiento del planificador, y eso aún no ha sido probado.
- Diseño de recompensas. El término de eficiencia se basa en el tiempo promedio de recuperación a nivel de lote. Los autores afirman que esto reduce el ruido en la señal de temporización y estabiliza el entrenamiento. No se probó directamente si también hace que la política evite búsquedas de grafos más lentas, por lo que sigue siendo un riesgo plausible pero no confirmado, uno que podría perjudicar a las preguntas de múltiples pasos de cola larga donde el razonamiento gráfico es esencial. Recompensar la eficiencia solo en trayectorias correctas, combinado con la ventaja relativa por grupos de GRPO, fomenta una recuperación selectiva sin sacrificar la calidad de la respuesta, pero nada garantiza que siempre se elija una búsqueda de grafos lenta pero necesaria.
Para referencia, el artículo se titula RouteRAG, con el subtítulo sobre generación mejorada mediante recuperación eficiente de texto y grafos a través del aprendizaje por refuerzo.
Lecturas relacionadas
- MultiDocFusion: Agrupación con conciencia de jerarquía para RAG en PDFs largos — Cómo la detección de layout, el OCR, un LLM basado en árboles de encabezados y el agrupamiento mediante DFS mantienen el contexto de cada sección en cada trozo, logrando mejoras en la recuperación del 8-15% y dos consideraciones sobre el tamaño del índice.
- De prototipo a RAG en producción: Búsqueda híbrida, agentes y evaluación — Una arquitectura de referencia para RAG en producción en .NET: agrupación, búsqueda híbrida y por grafos, reclasificación, planificación de consultas, salida tipada y evaluación continua.