Accueil / Articles

Sept manières dont une réponse RAG peut être erronée et comment déterminer l’étape défaillante.

Une méthode pratique pour diagnostiquer les mauvaises réponses RAG : sept points de défaillance regroupés en trois étapes, quatre champs à enregistrer, et un test permettant d’identifier la cause.

Éditeur : REACTAPP.TOP7 min de lecture1670 mots

Sources: The RAG Pipeline as Building Blocks: Seven Ways an Answer Goes Wrong

Lorsqu’un système RAG donne une réponse fausse, la panne survient précisément en l’un des sept endroits possibles, et c’est ce point qui détermine ce qui doit être modifié. Même en ajustant une étape qui fonctionnait auparavant, la réponse reste tout aussi erronée.

Une demande passe par des étapes telles que le parsing et le chunking, l’incorporation de données et l’indexation, la récupération des informations, l’assemblage du contexte et la génération de la réponse. N’importe laquelle de ces étapes peut échouer, et le résultat final reste identique quel que soit l’échec. Sans connaître l’étape défaillante, toute correction relève du hasard : un nouveau taille de chunk, un autre modèle d’incorporation ou un réordonneur modifie toutes les requêtes en même temps.

Ce qui suit est une méthode de diagnostic. Elle identifie les sept endroits où une réponse peut échouer, les regroupe en trois étapes responsables de la correction, et énumère quatre éléments à enregistrer pour les distinguer.

Une mauvaise réponse cache sa cause

Chacun des sept endroits où une erreur peut survenir se manifeste par un texte fluide, convaincant, mais faux ou incomplet. Rien dans le résultat final ne permet d’identifier l’étape défaillante.

  • Tous les sept se ressemblent à leur arrivée. Un paragraphe que personne n’a écrit, un fragment enterré à la huitième position et un modèle qui lit la mauvaise colonne du tableau chaque fois se transforment en une réponse convaincante.
  • Pourtant, les solutions ne s’appliquent pas. L’ingestion détermine ce qui existe, la récupération ce qui est trouvé, l’assemblage ce qui est envoyé, et le prompt ce qui lui arrive. Les efforts déployés sur le mauvais niveau n’ont aucun effet sur celui qui fonctionne mal.
  • Deviner coûte plus cher que l’erreur elle-même. Réinsérer tout un corpus pour corriger un problème de formatage prend des jours et laisse le problème inchangé.

La meilleure question à se poser est de savoir où le texte de réponse était encore intact la dernière fois, et à quel stade il a été perdu.

Sept échecs en trois étapes

Ces sept cas proviennent d’une étude publiée sur les systèmes RAG en fonctionnement (arXiv 2401.05856), rebaptisée ici en fonction des problèmes rencontrés. Ils sont regroupés selon l’endroit où se situe la panne, ce qui permet déjà de réduire le nombre de possibilités en localisant l’erreur au sein d’un groupe donné.

Ingestion : contenu manquant

Le fait nécessaire n’a jamais été transformé en texte que l’index puisse rechercher. Peut-être qu’aucun document source ne le contient, ou bien il a disparu lors du parsing, du nettoyage ou de la segmentation.

  • Contenu manquant. Une question est posée sur un wiki interne concernant le congé de maternité en Irlande. Seule la politique américaine a été écrite, mais le système répond quand même.

Ces deux causes produisent le même symptôme, mais exigent des solutions différentes. Si personne n’a jamais enregistré ce fait, le système devrait pouvoir refuser de répondre. Si c’est le processus d’ingestion qui l’a endommagé, il faut examiner le parser, les règles de nettoyage ou une tâche de synchronisation qui s’est arrêtée sans bruit.

Récupération et contexte : non récupéré, coupé avant la demande, valeur incorrecte lue

Le fait en question se trouve quelque part dans un bloc de texte, mais le modèle a reçu autre chose.

  • Non récupéré. Le bloc est présent dans l’index, mais la recherche ne l’a tout simplement jamais mis en évidence. Imaginez une valeur de couple figurant dans un tableau de spécifications d’un manuel, éclipsée par une page de dépannage générale.
  • Coupé avant la demande. La recherche l’a retrouvé, mais il n’a jamais fait partie du contexte. Douze tickets de support correspondent à une requête concernant des importations échouées, mais le budget de tokens n’en retient que cinq.
  • Valeur incorrecte lue. Le bloc se trouvait dans la demande aux côtés d’une version dupliquée, obsolète ou pleine de bruit, et le modèle a utilisé la mauvaise source. Un contrat et son amendement remplacé apparaissent tous deux, et la date de renouvellement provient du contrat ancien.

Le ordre est tout aussi important que la pertinence. Des recherches sur de longs contextes (arXiv 2307.03172) montrent que les modèles utilisent mieux le matériel situé au début et à la fin que celui du milieu, de sorte qu’un fragment peut parvenir jusqu’à l’instruction sans pour autant être pris en compte.

Pourquoi une valeur incorrecte apparaît-elle ici ? Le modèle a généré l’erreur, ce qui semble être un problème de génération. Mais la correction relève presque toujours d’une étape antérieure : supprimer la duplication, éliminer la version obsolète, retirer le bruit, réorganiser le contexte. Réécrire l’instruction aide rarement.

Génération : format incorrect, portée incorrecte, incomplète

Le modèle a eu accès à toutes les informations nécessaires et a néanmoins produit une réponse incorrecte.

  • Format incorrect. Des faits corrects sous une forme inadaptée : une liste de contrôle était demandée, mais un paragraphe a été fourni.
  • Portée incorrecte. La réponse est trop générale ou trop restreinte. Une question concernant un plafond de dépenses obtient la politique applicable à tout le personnel, alors que le demandeur est un freelance soumis à des règles différentes.
  • Incomplète. Une partie d’une question en plusieurs parties est omise. Quelqu’un demande des informations sur quatre files d’attente de tickets et ne reçoit que des chiffres pour trois d’entre elles.

L’incomplétude est ce que les gens manquent en lisant, car rien de ce qui est écrit n’est faux. Un contrôle des citations permet de le détecter : si une source figure dans la demande mais n’est jamais citée, quelque chose a été omis. Comme le contexte est correct, la correction doit être apportée dans la demande, dans le format de réponse ou dans l’interface.

Comment diagnostiquer

Enregistrer quatre champs par demande

Le diagnostic consiste à reconstituer une requête a posteriori, à partir d’une plainte qui apparaît des heures plus tard. Relancer manuellement ne suffit pas, car l’index a probablement changé et l’échec peut ne pas se reproduire. Quatre champs suffisent :

  • La question brute, avant toute réécriture, car la réécriture constitue elle-même un point de défaillance.
  • Ce que la recherche a retourné : chaque fragment candidat avec son chunk_id, doc_id, version et son score.
  • Ce qui a été donné au modèle : les valeurs chunk_id restantes après application du budget de tokens.
  • La réponse finale, caractère par caractère.
# The retrieved list and the prompt list stay separate. Collapsed into one,
# a chunk lost at ranking and a chunk lost at the token budget leave the
# same record, and no later reading of the log can separate them.
log_request({
    "question": question,
    "retrieved": [
        {"chunk_id": c.chunk_id, "doc_id": c.doc_id,
         "version": c.version, "score": c.score}
        for c in candidates
    ],
    "in_prompt": [c.chunk_id for c in context],
    "answer": answer,
})

Conservez les listes de récupération et de prompts séparément. Un journal ne contenant que le prompt affiché et la réponse ne permet pas de distinguer une défaillance de classement d’une défaillance budgétaire.

Un test, trois résultats

Sélectionnez le passage qui aurait dû influencer la réponse. Cherchez-le dans le enregistrement journalisé et notez à quel stade du processus il est parvenu. Il n’y a que trois points d’arrêt, chacun correspondant à une étape.

  • Non trouvé dans aucun chunk : c’est un problème d’ingestion. Le corpus ne le contient pas, ou il a été perdu avant l’indexation.
  • Le texte se trouve dans un chunk qui n’a jamais atteint le prompt. La récupération et le contexte en sont responsables : le classement n’a pas retourné ce chunk, ou le budget l’a supprimé.
  • Le texte est présent dans le prompt, mais la réponse reste incorrecte : le modèle disposait de toutes les informations nécessaires. S’il a choisi une valeur erronée, cherchez des doublons ou du bruit en amont. Si la forme, la portée ou la complétude sont incorrectes, examinez l’étape de génération.

Ce que les sept critères ne couvrent pas

Ces sept critères déterminent si une réponse est correcte. Plusieurs éléments qui rendent un système inutilisable leur échappent.

  • Permissions. Une réponse citant un document que l’utilisateur ne peut pas lire est correcte mais inacceptable. Il faut que acl_principals soit stocké à côté de chaque morceau de texte ainsi qu’un filtre au moment de la requête.
  • Documents piégés. Un fichier contenant des instructions destinées au modèle peut passer chacun des sept contrôles, car la réponse reste fidèle à ce qui lui a été donné.
  • Tenant. Le fait que les morceaux de texte du client A apparaissent dans la réponse du client B est résolu grâce à un tenant_id sur les morceaux stockés et sur chaque requête, et non par la formulation de l’instruction.
  • Échelle et coût. La latence et les coûts par requête pour de gros corpus ne figurent nulle part parmi les sept critères.

Tous les sept peuvent réussir même lorsque des données fuient encore. Ce cadre explique les réponses incorrectes ; il reste silencieux sur la sécurité.

Péripéties

  • Élargir la recherche pour une réponse dont le fragment a déjà atteint le prompt. Plus de résultats signifie plus de bruit, ce qui rend plus probable la lecture d’une valeur erronée.
  • Enregistrer uniquement le prompt affiché. Ce qui n’a pas été récupéré et tronqué avant le prompt ressemble identiquement, ce qui vous amène à ajuster la recherche alors que c’est le budget qui est en cause, ou l’inverse.
  • Utiliser le refus comme solution. Si la réponse se trouve dans un tableau que le parseur a aplati, refuser de répondre ne fait que cacher une erreur d’ingestion derrière de bonnes manières.
  • Ajouter des métadonnées de fragment après le lancement. Introduire une version ou un chemin de section plus tard réécrit chaque fragment, et la réincorporation représente la moitié coûteuse de ce processus.
  • Discuter du champ d’application en fonction des préférences. Le fait qu’une réponse soit trop générale reste un sujet de débat tant qu’une question de test ne produit pas exactement la réponse attendue.

Mettre en pratique

Considérez le pipeline comme une chaîne : une réponse incorrecte signifie qu’un maillon a échoué, et le diagnostic consiste à identifier le dernier maillon où le texte de réponse a survécu.

  • Commencez par enregistrer les quatre champs avant de modifier la moindre configuration. Un enregistrement par requête met fin à la plupart des débats avant même qu’ils ne commencent.
  • Exécutez d’abord le seul test possible : le passage se trouve-t-il sans morceau, dans un morceau qui a manqué l’instruction, ou dans l’instruction elle-même ? Cette réponse permet de déterminer l’étape et donc le type de correction susceptible de fonctionner.
  • Fournissez au système un moyen de signaler qu’il ne sait pas. Un ensemble de tests où chaque question a une réponse ne révélera jamais des contenus manquants.
  • Stockez doc_id, version, section_path et updated_at pour chaque morceau depuis la première ingestion, en ajoutant tenant_id et acl_principals si l’accès est important.
  • Reportez le reste jusqu’à ce qu’une panne spécifique l’exige. La récupération graphique, multimodale et agente cible chacune un type particulier de cas non récupéré, et aucun ne devrait être la valeur par défaut.

Les étapes varient en fonction de votre architecture de récupération, mais les quatre champs enregistrés restent identiques dans toutes les architectures.