Un système RAG peut fonctionner tout en classant par erreur les preuves les moins pertinentes en premier.
La recherche dense et la recherche hybride ont toutes deux obtenu un Recall@5 parfait, mais le MRR a entraîné une dégradation du RRF en raison d’un résultat correct ignoré. Pourquoi une évaluation RAG nécessite des vérifications par requête, et non une moyenne.
Aperçu du banc d’essai
Trois méthodes de récupération ont été testées sur le même ensemble étiqueté : BM25 pour la correspondance lexicale, des embeddings denses issus de all-MiniLM-L6-v2, ainsi qu’une fusion hybride avec RRF à k=60. Les méthodes denses et hybrides ont toutes deux trouvé chaque morceau de référence parmi les cinq premiers résultats. Leurs scores MRR n’étaient pas identiques ; q006 a provoqué la majeure partie de la baisse. Aucune valeur de k n’a permis de restaurer le classement obtenu avec la méthode dense.
Recall@5 indiquait que les deux méthodes étaient à égalité, tandis que MRR montrait le contraire.
Lecture des scores
BM25 a obtenu un score de Recall@5 de 0,9545 et un MRR@5 de 0,8818. La méthode dense a atteint 1,0 / 0,9545, tandis que la méthode hybride a obtenu 1,0 / 0,8977. Lorsqu’on se base uniquement sur la présence du morceau étiqueté parmi les cinq résultats, les méthodes denses et hybrides semblent tout aussi efficaces l’une que l’autre.
Le piège réside dans l’expression « quelque part en cinquième position ». Recall demande si l’objet en or est présent. MRR demande à quelle étape apparaît le premier objet utile. Cacher la réponse en cinquième position et la placer en première donnent un résultat identique pour Recall, mais un effet très différent pour un utilisateur ou un agent qui ne lit que le début de la liste.
Des définitions courtes rendent ce contraste plus concret :
def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
"""1 if the gold chunk appears anywhere in the top k, else 0."""
return int(gold_id in ranked_ids[:k])
def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
"""1/rank of the gold chunk's first appearance, 0 if absent."""
for rank, doc_id in enumerate(ranked_ids, start=1):
if doc_id == gold_id:
return 1.0 / rank
return 0.0
Première conclusion : une métrique verte peut répondre à la question pour laquelle elle a été conçue tout en cachant celle qui vous intéresse réellement.
Comparer question par question
Au lieu d’ajuster le mode hybride en même temps, placez les modes dense et hybride côte à côte. Sur 22 questions répondables, dix-huit ont conservé le même classement « or ». Le mode hybride a aidé une question, mais l’a nui à trois autres. Le pire cas était q006 : le mode dense a mis en premier le passage étiqueté, tandis que le mode hybride l’a placé en quatrième position. Ce seul cas est devenu l’objet de l’enquête.
Pourquoi la fusion a dégradé un résultat correct
Hybrid combine les positions de classement au lieu d’averger les scores BM25 avec les similarités cosinus, car ces deux systèmes numériques n’ont pas de même échelle. RRF ajoute donc des contributions basées uniquement sur le classement. Une conception judicieuse, un véritable compromis. Sur q006, dense a nettement préféré le fragment étiqueté, bien que d’autres candidats se soient classés haut dans les deux listes. Ces candidats présents dans les deux listes ont reçu des points tant de BM25 que de dense, ce qui a fait glisser le gagnant de dense à la quatrième place.
Une fonction de fusion compacte :
def reciprocal_rank_fusion(
rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
"""Fuse multiple ranked lists using rank position only."""
scores: dict[str, float] = {}
for ranking in rankings.values():
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)
Une concordance entre les différents outils de recherche est un indice, mais ce n’est pas une preuve de justesse. Cette formulation est plus utile que « le MRR hybride a baissé ». Il existe désormais un mécanisme permettant d’effectuer des vérifications, et non seulement de constater des fluctuations sur le tableau de bord.
Ces ajustements ont-ils résolu le problème ?
La méthode de travail est familière : modifier une variable, puis mesurer à nouveau. En gardant la profondeur et le paramètre top-k inchangés et en variant k de 0 à 10, 20, 40, 60, 80 et 100, le taux de rappel est resté parfait. Le MRR a seulement légèrement changé, passant d’environ 0,91 à k=0 à environ 0,90. q006 est passé de la deuxième à la troisième puis à la quatrième position sans jamais revenir en première. En élargissant le pool de candidats de 5 à 30 tout en maintenant k à 60, le taux de rappel est resté parfait et le MRR hybride proche de 0,90, toujours inférieur à celui obtenu avec une approche dense. Dans ces essais, les ajustements évidents n’ont pas comblé l’écart de classement.
Des chiffres de démonstration aux pratiques en production
Les entreprises se soucient rarement du nom d’une architecture de récupération. Ce qui les intéresse, c’est que les réponses soient fiables, qu’un changement améliore la qualité et qu’on puisse expliquer une dégradation. Cela pousse le processus loin du modèle « construire, essayer quelques requêtes, lancer » vers une démarche de mesure, de segmentation, d’inspection, d’explication, de modification, puis de mesure à nouveau.
L’élément utile n’est pas un seul score. Il s’agit de l’ordre par requête, des fragments retournés, des points de désaccord entre les systèmes de récupération, des segments par type de question, des cas d’échec concrets ainsi que de la configuration qui les a générés. Lorsqu’un chiffre affiché sur un tableau de bord change, ce dossier offre à l’ingénieur un point de départ.
À plus grande échelle, Uber a décrit une séparation similaire dans Genie, son copilote d’assistance en temps réel : la qualité de la récupération et la qualité de la réponse sont mesurées séparément par rapport à un ensemble de référence élaboré avec des experts du domaine. Un détail reste marquant : une extraction PDF de mauvaise qualité peut détruire le contexte des tableaux et leur segmentation avant même que la récupération ne commence. Ce qui ressemble à un bug de classement peut en réalité provenir d’un problème de qualité du document.
Les étiquettes peuvent aussi être erronées
L’évaluateur ne connaît que les étiquettes de pertinence qui lui ont été fournies. Un fragment peut être véritablement utile et pourtant être considéré comme non pertinent, car il ne correspond pas à l’élément de référence étiqueté. Les fragments qui se chevauchent compliquent encore davantage la situation. Lorsqu’une requête échoue, il convient d’examiner à la fois l’outil de récupération et les données de référence. L’ensemble de pertinence est-il complet ? Deux fragments pourraient-ils répondre à la question ? Une frontière entre fragments n’a-t-elle pas coupé une affirmation de son explication ? Les outils d’évaluation ne remplacent pas le jugement ; ils lui offrent simplement un cadre plus adapté pour fonctionner.
Cinq gardiens
- Perfect Recall@5 n’est pas un classement parfait. Il faut ajouter le MRR, sinon on sait seulement que la réponse existe quelque part.
- Il faut analyser la requête en profondeur, et pas seulement sa valeur moyenne. Un seul cas défavorable peut influencer l’ensemble du score.
- L’accord entre les systèmes de récupération est un indice, pas un verdict définitif. Le RRF récompense la popularité sur deux listes ; il s’agit d’une heuristique.
- Ajuster des paramètres ne signifie pas comprendre le mécanisme. La méthode k-sweep a prouvé que la régression était réelle ; seules les mathématiques de fusion peuvent l’expliquer.
- Examinez les étiquettes avec autant de soin que le modèle lui-même. Une occurrence « fausse » peut correspondre à un morceau d’or mal étiqueté.
Conclusion
Une victoire obtenue grâce à un ensemble de données restreint ne suffit que rarement à couronner un champion. C’est une défaillance comme q006 qui oblige à emprunter un parcours allant d’une métrique à une requête, en passant par les blocs de données, les calculs de fusion et une expérience contrôlée. L’évaluation trouve son utilité lorsque le résultat déclenche une enquête plutôt que de la clore. Une démonstration prouve que le pipeline fonctionne. Un bon cycle de tests prouve que l’on peut faire confiance aux prochaines modifications.
Liens
- Bench d’évaluation des systèmes RAG sur GitHub
- Démonstration en direct sur Hugging Face Spaces
- Cormack, Clarke et Buettcher sur la fusion de rangs réciproques
- Uber a également publié un article technique sur l’amélioration des systèmes RAG agents.
- L’article consacré à Genie d’Uber se trouve sur le blog technique de l’entreprise sous le titre Genie.