Accueil / Articles

Pourquoi RAG manque la page qui contient la réponse : le pain, la levure et les vecteurs

La recherche de similarité dans RAG peut afficher des pages sur le bon sujet tout en manquant celle qui contient la réponse. Pourquoi les tableaux et le critère top-k aggravent la situation, et qu’est-ce qu’il faut tester en premier.

Éditeur : REACTAPP.TOP7 min de lecture1695 mots

Sources: RAG Doesn’t Retrieve What You Think It Retrieves

Imaginez un pain qui sort du four plat et dense. Vous demandez à un assistant IA qui a consulté tout votre livre de recettes pourquoi cela se produit. La réponse arrive instantanément, avec une certitude absolue : vérifiez votre technique de pétrissage, vérifiez la température du four. Tout ce qu’il dit concerne le pain, mais rien n’est correct.

Le livre de recettes contenait en réalité la réponse. Une page intitulée « Activation de la levure » indique que de l’eau à une température supérieure à environ 50°C tue la levure. L’eau était trop chaude, la levure est morte, rien n’a levé, et le pain est resté plat. Cette page n’a jamais été ouverte. Cette raison mérite d’être comprise, car la même chose se produit silencieusement au sein de nombreux systèmes IA d’entreprise.

Comment fonctionnent ces systèmes

La technique s’appelle la génération augmentée par récupération d’informations, ou RAG. Un modèle ne peut pas mémoriser tous vos documents, donc le système récupère les passages pertinents et permet au modèle de les lire avant de répondre.

Un détail est important par la suite : le système ne conserve pas les documents dans leur intégralité. Il les divise en fragments de quelques centaines de mots, appelés chunks, et effectue des recherches sur ces derniers. Dans un livre de recettes, un chunk correspond approximativement à une page.

Une image utile est celle d’un bibliothécaire travaillant avec un expert. Votre question est adressée au bibliothécaire, qui parcourt les étagères, collecte plusieurs pages qui semblent pertinentes et les transmet par une fente à un expert enfermé dans une pièce. Cet expert ne peut utiliser que ces pages et n’a aucun moyen de demander davantage.

Combien de pages sont transmises ? En général, cinq par défaut, comme dans Amazon Bedrock Knowledge Bases et Azure OpenAI On Your Data, tandis que LangChain commence à quatre. Augmenter ce nombre est la première solution à laquelle la plupart des gens pensent. Chaque plateforme utilise un nom différent : numberOfResults chez Bedrock, topNDocuments chez Azure OpenAI On Your Data, et k chez LangChain ainsi que dans Azure AI Search lui-même. Tous ces termes désignent le nombre de fragments que le modèle peut lire.

Lorsque le « bibliothécaire » fait un bon choix, l’expert semble brillant. Lorsque le choix est mauvais, l’expert ne signale pas que les pages sont incorrectes ; il répond néanmoins, de manière fluide, assurée, mais fausse.

Comment le « bibliothécaire » choisit

Tout le reste découle de cette étape. Le système transforme chaque morceau de texte en une liste de nombres décrivant de quoi il s’agit, et fait de même pour votre question. Il renvoie ensuite les morceaux dont les nombres sont les plus proches de ceux de la question.

Deux termes reviennent constamment. La liste de nombres d’un morceau de texte est appelée un embedding, et le critère de proximité est la similarité cosinus. Vous pouvez passer outre les calculs mathématiques, car l’idée est simplement de savoir à quel point deux éléments ont un sens similaire.

Le défaut est visible dans le mécanisme

Imaginez chaque morceau de texte comme une flèche dirigée dans une certaine direction. Le score de similarité reflète l’angle entre deux flèches : un petit angle indique une similitude, un grand angle indique un manque de lien. Comme la formule élimine la longueur de chaque flèche, seule l’orientation du texte reste. La force, la précision et l’emphase sont toutes perdues.

Vous pouvez démontrer la conséquence en environ une minute. Prenez des paires de phrases qui diffèrent d’un seul mot, où ce mot porte toute l’instruction, comme « do » par rapport à « do not ». À première vue, chaque paire semble presque identique. Si le système retient le mauvais membre de la paire, la réponse finale n’est pas vague : elle est clairement erronée.

Faites un contrôle rapide sur vos propres documents avant de vous fier à un système. Choisissez deux phrases qui ne diffèrent que par une négation, un numéro de version ou un seuil, intégrez-les et comparez les résultats. Cela est plus convaincant que n’importe quel benchmark publié, car il utilise votre propre corpus.

Pour être juste, cette méthode ne repose pas sur une correspondance de mots-clés. Elle compare les significations, donc les synonymes ne posent aucun problème : si vous demandez des informations sur une voiture, le système trouvera des textes sur les automobiles. Les gens pensent souvent que de meilleures formulations sont la solution, mais ce n’est pas le problème.

Le score mesure si un fragment concerne à peu près la même chose que la question. Il ne mesure pas si ce fragment contient la réponse. La plupart du temps, les deux coïncident et personne ne s’en aperçoit. Une question sur la date de construction de la Tour Eiffel est répondue par un fragment sur la Tour Eiffel, ce qui est simple.

Revenons maintenant au pain.

Lorsque la réponse se trouve dans un sujet différent

La question concerne le pain. La page qui contient la réponse traite de la levure. Ce sont des sujets différents, et non des termes différents pour un même sujet ; par conséquent, une formulation astucieuse ne peut pas les relier. Ce qui les relie, c’est une séquence causale :

l’eau trop chaude, la levure meurt, pas de gaz, pas de gonflement, pain plat

Un boulanger expérimenté suit cette séquence sans y réfléchir. Une recherche de similarité ne peut pas la franchir du tout, car cela nécessiterait de la réflexion, tandis que la recherche ne mesure que la proximité.

La situation empire. Vous avez posé la question précisément parce que vous ne connaissiez pas la cause. Si vous aviez su chercher les températures nécessaires aux levures, il n’y aurait eu aucune raison de demander. Ces systèmes se révèlent inutiles pour des questions que vous auriez pu répondre vous-même.

Pourquoi obtenir plus de pages ne sert qu’à peine

Augmenter la valeur de réglage de cinq à cinquante semble être la solution évidente, et la page sur les levures pourrait alors être récupérée. Mais le classement n’a pas changé. La page reste cachée car elle traite toujours d’un autre sujet. Vous espérez simplement que le champ de recherche sera plus large.

Il y a aussi un coût supplémentaire : plus de texte signifie des frais plus élevés, des réponses plus lentes, ainsi que des éléments partiellement pertinents qui encombrent ce que le modèle lit, ce qui, comme le montre ci-dessous, aggrave activement les résultats.

Les tableaux disparaissent avant même que la recherche ne commence

Une deuxième perte se produit plus tôt, lors de l’ingestion des documents. Avant que quoi que ce soit ne puisse être recherché, un document est converti en texte brut. Le texte narratif survit à cette conversion, mais souvent pas la structure.

Imaginez un tableau listant les temps de correction, avec une colonne pour chaque type de pain. Une fois transformé en texte, les chiffres survivent, mais les colonnes disparaissent. Si l’on demande combien de temps nécessite le seigle, le texte stocké ne propose aucun lien entre la valeur de 45 minutes et le fait que ce soit du seigle plutôt que du pain au levain. Seules les colonnes du tableau exprimaient cette association, et elles n’ont pas survécu à la conversion. Un tableau ainsi simplifié ne peut donc fournir au modèle qu’une liste de chiffres et de noms isolés.

Un livre de recettes fait face à ce problème sans encombre. En revanche, une fiche de spécifications, un tableau de prix, une matrice de compatibilité ou une référence de configuration ne le supportent pas, car dans ces documents, le sens réside dans la mise en page et non dans les phrases.

Les deux grands fournisseurs offrent désormais une meilleure analyse : Bedrock dispose d’un analyseur basé sur un modèle fondamental, tandis qu’Azure propose l’outil Document Intelligence pour l’extraction de la structure des documents. Ceux-ci sont très utiles, mais ils ne résolvent pas complètement le problème, et ce n’est pas ce qui est fourni par défaut.

Preuves mesurées

Un benchmark nommé BRIGHT vise les questions où c’est le raisonnement, et non la correspondance thématique, qui permet de trouver le bon document. Les modèles de recherche qui obtiennent environ 59 sur 100 pour des recherches ordinaires n’atteignent que près de 18 pour ces types de questions. La seule différence réside dans le type de question. Plus de ressources informatiques ne les aide pas non plus : parmi les treize modèles testés, le meilleur résultat sur cet ensemble difficile était de 24.

La partie dangereuse

Si le système répondait « rien trouvé », ce ne serait qu’un petit désagrément. Mais il ne le fait jamais. Un moteur de recherche classe les résultats en fonction de leur proximité avec la réponse recherchée et n’en exclut aucun. Même lorsque vos documents ne contiennent pas la réponse, vous recevez des résultats qui semblent indiquer un succès, et il n’existe pas de seuil défini permettant au système d’admettre qu’il n’a rien trouvé d’utile.

Une étude présentée à l’ICLR 2025 a examiné la situation suivante : lorsque un modèle recevait du matériel pertinent ne contenant pas réellement la réponse, le pourcentage de ses réponses erronées est passé d’environ 10 % à 66 %, ce qui est pire que de ne fournir aucune réponse. De plus, les modèles sont devenus nettement moins enclins à admettre qu’ils ne savaient pas.

Un matériel partiellement pertinent cause plus de dommages que rien du tout, car il crée une fausse confiance. Un résultat nul est facile à accepter. La même erreur dans une revue de conformité, une question médicale ou un choix architectural n’est pas acceptable, et c’est pourquoi cet échec mérite une attention particulière.

Que faire

Trois étapes peuvent aider, approximativement dans l’ordre de leur efficacité :

  • Utilisez des questions réalistes. Les équipes testent généralement avec des questions rédigées par les auteurs des documents, en utilisant leurs propres mots. Faites plutôt rédiger les questions par des collègues qui n’ont pas lu le matériel ; les points faibles apparaîtront rapidement.
  • Évaluez la récupération des informations en soi. Avant de juger si une réponse est bonne, vérifiez d’abord si le bon fragment d’information est bien revenu. S’il ne l’est pas, ajuster le modèle ne servira à rien, car c’est la mauvaise partie du système qui est corrigée.
  • Permettez au système de rechercher plus d’une fois. La solution durable réside dans une intelligence artificielle qui recherche, lit les résultats, reconnaît qu’ils ne sont pas suffisants et recherche à nouveau avec des termes plus adaptés, comme le ferait une personne. C’est là la différence entre un processus fixe et un agent, et c’est la direction dans laquelle le domaine évolue. Dans l’exemple du pain, une première recherche pour des pains plats pourrait mettre en évidence des pages sur le pétrissage, révéler qu’aucune ne mentionne les problèmes de levée, puis tenter à nouveau avec des termes tels que la fermentation, la levure et la température, ce qui permettrait finalement de trouver la bonne page.
  • Le RAG conventionnel rencontre des difficultés avec les questions techniques complexes pour plusieurs raisons, et ce fossé entre la récupération d’informations et le raisonnement n’en est qu’une. Un découpage qui détruit le sens en est une autre, tout comme un système qui réussit les tests mais échoue en environnement de production. Pour résoudre l’un de ces problèmes, il faut d’abord déterminer où le passage pertinent a été perdu, plutôt que de deviner, et partir du principe que la première tentative de récupération peut parfois échouer.