Accueil / Articles

RouteRAG : Apprendre à un petit modèle quand et comment effectuer une récupération à l’aide de l’apprentissage par renforcement.

RouteRAG entraîne un petit modèle utilisant une approche GRPO en deux étapes pour sélectionner entre la récupération par passage, la récupération par graphe ou la récupération hybride, réduisant ainsi le nombre d’itérations de récupération et améliorant les résultats des questions-réponses à plusieurs étapes.

Éditeur : REACTAPP.TOP6 min de lecture1410 mots

Sources: RouteRAG: An RL Router That Teaches RAG When to Search

La combinaison de RAG et d’apprentissage par renforcement est devenue une direction de recherche de plus en plus courante, et RouteRAG en est un exemple évident. Cet article entraîne un modèle de langage pour qu’il décide lui-même comment récupérer des informations dans du texte, dans un graphe ou des deux, ainsi que quand s’arrêter.

Le problème qu’il vise

Les connaissances d’un modèle de langage sont figées au moment de l’entraînement préalable. Pour les questions nécessitant des informations externes ou récentes, il fournit souvent des réponses obsolètes ou erronées. Les méthodes plus récentes utilisent une récupération en plusieurs étapes, où le modèle réfléchit, obtient de nouvelles informations, réfléchit à nouveau et répète le processus. Les modèles open source de petite taille ont du mal avec ce cycle : ils ont du mal à décider quand chercher, comment formuler une requête et comment analyser les résultats obtenus. De nombreux pipelines basés sur des prompts dépendent en réalité de modèles propriétaires de grande taille dotés d’une forte capacité de raisonnement et de planification intégrée.

Les graphes ajoutent une deuxième couche de difficulté. Ils rendent explicites les relations entre les entités, ce qui convient au raisonnement à plusieurs étapes, mais la récupération et le traitement des données graphiques sont coûteux en termes de calcul. La plupart des systèmes traitent également la récupération de graphes comme une étape unique et fixe dans le processus, en s’appuyant sur des heuristiques, sans possibilité d’intégrer davantage de données graphiques au fur et à mesure que le raisonnement progresse.

Récupérer davantage de documents ou alterner entre graphes et texte n’est pas la solution. Le modèle a besoin d’une politique apprenable entraînée par apprentissage par renforcement, capable de choisir activement ce qu’il faut faire ensuite : récupérer des informations dans le texte, dans un graphique ou à partir d’une combinaison des deux, savoir quand s’arrêter et comment équilibrer précision et efficacité. Une récupération plus intelligente vaut mieux que de simples tentatives supplémentaires.

Récupération comme décisions séquentielles

RouteRAG conçoit le RAG à plusieurs étapes comme un processus de décision séquentiel. Au lieu de pipelines fixes et manuellement conçus ou d’instructions statiques, il apprend une politique selon laquelle des tokens spéciaux au sein du flux de raisonnement déclenchent des actions de récupération.

À chaque étape, le modèle émet un token d’action. Il peut continuer à raisonner en interne, lancer une recherche avec <search>...</search>, ou terminer avec <answer>...</answer>. À l’intérieur de <search>, une balise choisit le mode de récupération : [passage], [graph] ou les deux, comme dans [graph][passage], ce qui correspond à une récupération hybride.

Le principal point à retenir est le contraste avec les travaux antérieurs. Les méthodes précédentes basées sur l’apprentissage par renforcement pour les interactions multiples RAG mélangeaient principalement le raisonnement avec la récupération de passages et ne récompensaient que la justesse de la réponse, c’est-à-dire une récompense de résultat, sans pression explicite sur le coût ou l’efficacité. RouteRAG élargit la récupération aux modes passage, graphe et hybride. Il est entraîné en deux étapes d’apprentissage par renforcement basées sur GRPO : l’étape 1 ne récompense que la justesse, tandis que l’étape 2 ajoute une récompense d’efficacité dérivée du temps total de récupération, ce qui pousse le modèle vers une récupération sélective tout en préservant la qualité des réponses.

Détails du cycle

Étape par étape, le modèle de politique πθ génère des tokens, et il dispose au maximum de B étapes pour le faire. Une émission <search>...</search> est analysée en une sous-requête q′ ainsi qu’en un mode de récupération m ∈ {Passage, Graph, Hybrid}, et les deux sont envoyés au récupérateur R. Toute preuve d obtenue est encadrée dans <information>...</information> et ajoutée au contexte pour le tour suivant. La boucle s’arrête dès l’apparition de <answer>...</answer>.

Pendant l’entraînement, le budget est fixé à B=4 étapes, et chaque récupération produit 3 extraits. Ce chiffre n’a aucun rapport avec la constante d’ajustement dans la formule RRF ci-dessous, qui coïncide par hasard avec la même lettre.

Ainsi, le modèle ne doit pas deviner s’il faut effectuer une recherche ou sur quoi la mener. Il apprend quand récupérer les résultats, comment formuler des sous-queries et quel mode utiliser.

Trois modes de récupération

  • Récupération par passages utilise une recherche dense de type DPR. Les sous-queries et les extraits du corpus sont encodés dans un espace d’incorporation commun, puis les k meilleurs résultats en termes de similarité sont sélectionnés.
  • Récupération par graphe construit un graphe de connaissances à partir du corpus à l’aide de HippoRAG 2. Pour une requête, le PageRank personnalisé part des nœuds qui lui sont associés et met en évidence des preuves via des connexions à plusieurs étapes.
  • Récupération hybride fusionne les deux listes de résultats grâce à la Fusion de rangs réciproques (RRF). Un document classé haut dans l’une ou l’autre liste voit son rang amélioré dans le classement fusionné, comme le montre la formule :
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]

Les preuves complémentaires ont donc plus de chances de survivre, car un document hautement évalué selon l’un ou l’autre mode est mis en avant et est moins susceptible d’être ignoré.

Entraînement avec GRPO

RouteRAG apprend grâce à la Group Relative Policy Optimization (GRPO), qui stabilise l’entraînement en comparant les trajectoires au sein d’un groupe, réduisant ainsi la variance lorsque les récompenses sont rares. C’est dans la conception des récompenses que la méthode trouve son avantage.

Étape 1 : uniquement la précision. Le modèle obtient 1 si sa réponse correspond exactement à la vérité absolue et 0 sinon. L’objectif est de créer une base solide : apprendre à répondre correctement sans se soucier du coût pour l’instant.

Étape 2 : précision et efficacité. Seules les réponses correctes sont éligibles à la récompense pour l’efficacité. Le temps total de récupération t est centré sur la moyenne par lot t_avg et normalisé par T, une constante qui maintient t et t_avg dans une fourchette de [0, 0.5], selon l’article.

R_efficiency = (t_avg - t) / T

Ainsi, une réponse correcte perd toujours des points si elle nécessite plus de temps que la méthode batch norm. Pour assurer la stabilité, l’objectif d’entraînement mélange des ratios de politique tronqués avec une pénalité KL et un avantage relatif au groupe Aᵢ. Grâce aux récompenses en deux étapes supplémentaires, la politique penche vers des trajectoires qui sont correctes et également plus faciles à obtenir, ce qui la rend plus rapide et plus sélective, sans dépendre du fait de tomber par hasard sur de telles habitudes.

Évaluation

Les tests ont porté sur cinq ensembles de données de QA courants : PopQA, Natural Questions (NQ), HotpotQA, 2WikiMultihopQA (2Wiki) et MuSiQue. Deux métriques ont été utilisées, Exact Match (EM) et F1, avec des résultats divisés en QA simple (PopQA, NQ), QA multi-hop (HotpotQA, 2Wiki, MuSiQue) et la moyenne globale des cinq.

Le QA multi-hop bénéficie du meilleur gain, et la moyenne globale augmente également, même si les modèles de base sont assez petits : Qwen2.5-3B-Instruct et Qwen2.5-7B-Instruct. Pour les tâches multi-hop, les résultats s’approchent de ceux des systèmes graphiques RAG fonctionnant sur GPT-4o-mini et dépassent même ces derniers. Il convient de noter que les références graphiques utilisent GPT-4o-mini, tandis que les références basées sur du texte partagent le modèle de base Qwen2.5. Le prix à payer est une légère perte en précision pour les questions de QA plus simples.

Une étude de cas illustre cet effet.

Au préalable au entraînement, le modèle invente des faits à partir de sa mémoire : il affirme que Johnny Pemberton a joué Bo Thompson dans That '70s Show et cite Steven Molaro comme créateur. Par la suite, il évite ces erreurs, divise la question en étapes, récupère les informations correctes et conclut que Justin Spitzer est le véritable créateur.

Ce qui se distingue

RouteRAG fusionne l’ensemble du processus de raisonnement, de récupération et de génération en une seule politique apprenable. Il associe le raisonnement aux décisions concernant ce qui doit être récupéré (un passage, un graphe ou un mélange des deux) ainsi qu’au moment de fournir une réponse finale dans le cadre d’un budget de pas B. Optimisé grâce à une méthode d’apprentissage par renforcement basée sur GRPO en deux étapes, il permet d’obtenir d’importants gains même avec des architectures de base modestes.

Sa propriété la plus précieuse réside dans le fait qu’il ne s’agit pas simplement d’une autre variante de RAG. Le modèle apprend, au sein de sa politique et non grâce à des règles codées à l’avance, quand récupérer des informations et quand répondre, en tenant compte du budget de pas imparti. Grâce à cela, il réduit le nombre d’itérations de récupération de 2,70 à 2,25 par rapport à la variante sans cette amélioration d’efficacité, sans pour autant affecter la valeur de l’indice F1.

Deux précautions pour des déploiements réels

  • Généralisation. Les résultats ne concernent que les modèles de 3 milliards et 7 milliards de paramètres, et la récupération de graphes utilise toujours HippoRAG 2. On ignore comment le mécanisme de routage fonctionne avec des modèles plus gros ou des pipelines de graphes différents. En environnement de production, des variations dans la qualité ou la couverture des graphes pourraient modifier directement le comportement du planificateur, ce qui n’a pas été testé.
  • Conception des récompenses. Le critère d’efficacité repose sur le temps moyen de récupération au niveau des lots. Les auteurs affirment que cela réduit le bruit dans le signal temporel et stabilise l’entraînement. Il n’a pas été testé directement si cela incite également la politique à éviter des recherches de graphes plus lentes, ce qui reste donc un risque plausible mais non confirmé, susceptible de nuire aux questions à longue traîne nécessitant plusieurs étapes de raisonnement sur des graphes. En récompensant uniquement l’efficacité sur les trajectoires correctes, combiné à l’avantage relatif aux groupes offert par GRPO, on encourage une récupération sélective sans compromettre la qualité des réponses, mais rien ne garantit qu’une recherche de graphes lente mais nécessaire sera toujours choisie.

À titre de référence, l’article s’intitule RouteRAG, avec pour sous-titre « génération améliorée par la récupération efficace à partir de texte et de graphes via l’apprentissage par renforcement ».

Lectures complémentaires

  • KohakuRAG : Monter dans l’arbre des documents pour trouver la preuve appropriée — Une présentation de KohakuRAG, un cadre RAG doté d’un arbre des documents à quatre niveaux, de la récupération de données pour plusieurs requêtes, de tentatives répétées en cas de résultats vides et du système de vote, testé sur WattBot 2025.