Évaluer la récupération RAG au-delà du taux de rappel ANN, à l’aide de Turbopuffer comme exemple.
Un index vectoriel rapide peut encore ne pas trouver la réponse. Apprenez les compromis de stockage de Turbopuffer, la recherche hybride BM25 et vecteur, ainsi que la manière dont un ensemble d’or mesure le taux de rappel réel.
Sources: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval
Les équipes qui lancent un projet RAG commencent généralement par se poser une question : quel moteur de base de données vectorielle choisir ? C’est une question légitime, mais ce n’est pas la plus importante. Une meilleure base de données peut réduire les coûts, accélérer les recherches et simplifier la gestion d’un système de grande envergure. Ce qu’elle ne peut pas indiquer, c’est si l’utilisateur a réellement obtenu les informations dont il avait besoin.
Turbopuffer est un bon exemple à examiner pour deux raisons. Son modèle de stockage et de diffusion est atypique, et il met en évidence l’étape que la plupart des équipes RAG omettent : tester correctement le processus de récupération des données.
Comment Turbopuffer stocke et diffuse les données
La copie fiable des données est stockée dans un système de stockage d’objets, tandis que la mémoire et NVMe servent de cache. Les machines de traitement des requêtes sont sans état, ce qui permet à une seule machine de gérer de nombreux espaces de noms sans avoir à conserver indéfiniment les données d’un seul client.
Cela convient à un grand corpus partagé entre de nombreux utilisateurs. Imaginez un produit B2B où chaque client possède un ensemble de documents, mais où seuls quelques clients sont actifs à un moment donné. Conserver l’index complet de chaque client en RAM serait coûteux. Les données inactives peuvent être stockées à moindre coût dans un système de stockage d’objets, tandis que les noms d’espace actifs sont chargés dans des dispositifs NVMe et en mémoire.
Cette conception présente un compromis. Pour un nom d’espace contenant un million de documents, Turbopuffer affiche un temps de réponse p50 de 14 ms pour les requêtes actives, tandis que la première requête sur un nom d’espace inactif de cette taille a un temps de réponse p50 de 874 ms. Ainsi, décrire cela comme « toujours rapide » est inexact. Il vaut mieux dire que le système est peu coûteux lorsque les données sont inactives et rapide une fois que les données deviennent actives. De nombreux grands systèmes RAG devraient accepter cet équilibre, bien que ce soit insuffisant lorsque chaque requête doit être rapide, même pour des données que personne n’a consultées récemment.
Le produit se concentre également sur la récupération en première étape, réduisant un corpus énorme à un ensemble modeste de candidats. Le reste relève de l’application : recherche hybride, réclassement et la logique qui décide ce qui parvient au modèle. Cette séparation permet de garder une chose en tête : la base de données peut rendre la récupération possible, mais c’est encore l’application qui décide si cette récupération est utile.
Pourquoi le flux de base est insuffisant
Le pipeline RAG le plus simple se présente comme suit :
User question → vector search → top 5 chunks → LLM answer
Adéquat pour une démonstration, mais insuffisant en environnement de production. Les utilisateurs réels ne se posent pas uniquement des questions sémantiques bien formulées. Ils collent des codes d’erreur, demandent des informations sur les exceptions aux politiques en vigueur, utilisent des acronymes et des noms de produits, ont besoin d’une version plus ancienne d’un document ou souhaitent une réponse qui couvre plusieurs documents.
Il est judicieux d’utiliser les deux types de recherche :
- Recherche vectorielle : elle prend en compte le sens. Elle peut relier l’expression "congé après l’accouchement" à une page intitulée "congé de paternité">.
- BM25 : elle gère les termes littéraux, de sorte qu’une requête contenant
ERR_PAYMENT_042,SKU-78291ouAuthMiddlewaremène à la bonne page.
Les deux méthodes sont disponibles dans Turbopuffer via multi_query, et les résultats peuvent être fusionnés au moyen de la Reciprocal Rank Fusion, également appelée RRF. L’application peut ensuite réclasser les 20 à 50 meilleurs résultats et ne fournir au LLM que quelques extraits pertinents. La recherche hybride n’est pas automatiquement supérieure. La récupération vectorielle et celle basée sur des mots-clés échouent de manières différentes, il convient donc que l’ensemble de test de l’application détermine si les deux méthodes méritent d’être utilisées.
Trois éléments à mesurer
Un score élevé en vector-recall amène de nombreuses équipes à penser que RAG fonctionne bien. Ce chiffre n’a cependant pas cette signification.
Il est nécessaire de mesurer trois qualités distinctes :
- Fidélité de l’index : la recherche vectorielle approximative fournit-elle les mêmes résultats que la recherche vectorielle exacte ?
- Relevance de la récupération : la recherche fournit-elle les éléments permettant de répondre à la question ?
- Qualité de la réponse : le modèle utilise-t-il ces preuves de manière correcte et sûre ?
Turbopuffer couvre bien le premier point. Il échantillonne 1 % du trafic de requêtes en temps réel, compare les résultats approximatifs basés sur le voisinage le plus proche avec une recherche vectorielle exhaustive et mesure le degré de superposition entre eux. Selon ses indications, un taux de rappel de 90 à 95 % à 10 instants constitue un équilibre raisonnable pour de nombreuses charges de travail. Cela permet de déterminer si l’index trouve ce que trouverait une recherche vectorielle exacte, sans pour autant indiquer si cette dernière était adaptée à la question.
Considérons un utilisateur qui demande :
What does ERR_PAYMENT_042 mean?
La réponse se trouve dans la base de connaissances, sur une page de code d’erreur, mais ce code n’apparaît qu’une seule fois au sein d’un tableau très volumineux. La recherche vectorielle pourrait afficher trois guides de paiement généraux car leur sens est proche de celui de la question, et une recherche vectorielle exacte donnerait également ces mêmes trois résultats. La base de données indique alors un taux de rappel ANN de 100 %, alors que la vraie réponse ne parvient jamais au modèle.
Une seule recherche BM25 pour ERR_PAYMENT_042 pourrait résoudre ce problème. Aucune mise au point de l’index vectoriel ne suffirait, car l’index vectoriel n’a jamais été défectueux. Il a rempli sa fonction à la perfection, mais on lui a simplement confié une tâche inadaptée. D’où l’idée fondamentale : le taux de rappel ANN n’est pas équivalent au taux de rappel RAG. L’un mesure dans quelle mesure l’index correspond à une recherche mathématique, tandis que l’autre évalue si l’utilisateur a reçu les preuves appropriées.
Créer un petit ensemble d’entraînement idéal
Avant de modifier la taille des blocs, les embeddings, le critère top-K ou les outils de réclassement, rassemblez un ensemble restreint de questions réelles et indiquez quels blocs doivent y répondre. Une centaine de questions suffisent pour commencer, et elles n’ont pas besoin d’être parfaites. Faites appel aux journaux de recherche, aux tickets de support et aux pannes signalées par les utilisateurs, et ajoutez quelques questions provenant d’experts du domaine. Chaque entrée nécessite très peu d’informations :
{
"query": "How much parental leave do employees get?",
"relevant_chunk_ids": ["benefits/parental-leave#3"],
"query_type": "semantic_paraphrase",
"must_contain": ["16 weeks"],
"must_abstain": false
}
Le jeu de questions doit combiner différents types de questions :
- des identifiants et des acronymes précis,
- des questions sémantiques ordinaires,
- des questions longues et complexes posées par les utilisateurs,
- des questions nécessitant deux documents,
- des questions sans réponse, et
- des questions sensibles à la permission, où la réponse existe mais que l’utilisateur ne doit pas la voir.
Le groupe des questions sans réponse est important. Un système RAG doit être capable d’indiquer qu’il n’a pas trouvé d’information dans les documents disponibles, ce qui vaut mieux qu’une invention prétentieuse.
Une règle à adopter : transformer chaque échec réel du RAG en un cas de test avant de le corriger. Sans cela, la faille est corrigée, l’exemple est oublié et le même défaut réapparaît six semaines plus tard.
Commencer par des métriques de récupération simples
Un juge basé sur un LLM ne devrait pas être utilisé en premier. Des métriques de récupération simples effectuent le travail initial :
- Recall@K vérifie si le bon fragment apparaît parmi les premiers K résultats.
- Mean Reciprocal Rank (MRR) mesure à quel point tôt le premier fragment correct apparaît. Un fragment correct à la première place n’est pas équivalent à un autre à la cinquième place, entouré de quatre fragments perturbateurs.
- Normalized Discounted Cumulative Gain (nDCG) devient utile lorsque certains fragments peuvent être classés comme « très pertinents » et d’autres comme « quelque peu pertinents ». Les recommandations de recherche hybride de Turbopuffer suggèrent de créer un ensemble de tests avec des requêtes ayant des résultats idéaux afin d’évaluer l’nDCG.
Une seule moyenne globale cache trop d’informations ; il convient donc de séparer les résultats par type de question. Une conclusion utile pourrait être : la recherche hybride a amélioré le taux de rappel global, mais presque toute l’amélioration provient des codes d’erreur et des acronymes, avec peu d’effet supplémentaire pour les questions sémantiques ordinaires. Une moyenne ne permet pas de le dire.
Comparer les configurations une modification à la fois
Conservez une expérience de petite taille et reproductible, et exécutez le même ensemble de données de référence avec plusieurs configurations :
- Exécution A : recherche uniquement vectorielle, la référence de base.
- Exécution B : recherche uniquement avec BM25, montrant où les mots exacts ont l’avantage.
- Exécution C : combinaison de vecteurs et de BM25 intégrés à RRF, pour tester si le système hybride est utile.
- Exécution D : Exécution C avec un réordonneur, afin de déterminer si l’amélioration de la qualité justifie le temps d’exécution supplémentaire et les coûts associés.
Modifiez une seule chose à chaque exécution, et enregistrez ces chiffres : le taux de rappel à 5 et à 10, le MRR (ajouté du nDCG une fois les étiquettes notées), les latences de démarrage en mode froid et en mode chaud enregistrées séparément, ainsi que le coût de 1 000 requêtes. Le support des noms d’espace de test et des branches d’un nom d’espace de production dans Turbopuffer simplifie l’exercice, car il est possible d’utiliser des données réelles sans toucher au nom d’espace en production.
Il convient également de suivre le taux de rappel de l’ANN propre à Turbopuffer, en tant que vérification de la santé de l’index. Si ce taux diminue, l’index ne parvient pas à effectuer des recherches précises de manière efficace. S’il est en bon état mais que le score du jeu de données de référence est faible, le problème réside ailleurs : dans les embeddings, le découpage des données, la recherche hybride, les filtres ou le réclassement. C’est un diagnostic très utile.
Vérifiez ensuite la réponse
Lorsque les fragments appropriés parviennent à l’LLM, examinez la réponse finale à l’aide de cinq questions. Est-elle correcte ? Chaque affirmation importante est-elle étayée par un texte récupéré ? Comprend-elle toutes les informations clés ? Les citations soutiennent-elles bien les affirmations qui les accompagnent ? A-t-elle indiqué qu’aucune réponse n’existait ?
Les faits simples méritent des vérifications simples : une réponse qui doit mentionner « 16 semaines » peut être recherchée directement avec cette expression. Réservez un juge basé sur un LLM pour les cas plus difficiles, comme déterminer si une réponse longue est fondée et complète. Des outils tels que Ragas peuvent être utiles, mais ils ne peuvent pas remplacer un bon ensemble de tests.
Le cas le plus risqué se produit lorsque la récupération d’informations échoue et que l’LLM fournit néanmoins une réponse plausible issue de sa propre formation. Une vérification bout en bout peut indiquer que la réponse semble correcte alors que le pipeline RAG a échoué. Cela devient dangereux lorsque la réponse est spécifique à une entreprise, a été récemment modifiée ou est sensible.
La leçon principale
Turbopuffer convient lorsque la récupération doit couvrir une grande quantité de données et de nombreux espaces de noms, avec un modèle de coûts qui ne rend pas chères les données inutilisées. Cependant, la leçon principale ne concerne pas le produit lui-même, mais plutôt la mesure. Turbopuffer vérifie si sa recherche approximative correspond à une recherche exhaustive sur le trafic en temps réel, ce qui constitue une bonne pratique d’ingénierie. Un système RAG devrait adopter cette habitude en s’assurant que les preuves appropriées ont été récupérées, que le modèle les a bien utilisées et qu’aucun changement nouveau n’a détérioré le flux de travail réel de l’utilisateur.
La vitesse n’est pas l’exactitude, car un outil de récupération rapide peut retourner le mauvais document en quelques millisecondes. La solution consiste à constituer un petit ensemble de référence, à modifier une variable à la fois et à transformer chaque échec en un test de régression. C’est ainsi que RAG passe d’une solution qui semble magique à un système qui peut être amélioré progressivement.