Cinquante ans de recherche en récupération d’informations cachés au sein de votre pipeline RAG
Le découpage en blocs de texte, la recherche hybride, HyDE, le réclassement et les évaluations possèdent tous des ancêtres vieux de plusieurs décennies dans le domaine de la récupération d’informations. Un aperçu de la recherche et de ses limites.
Sources: We deleted fifty years of information retrieval and called it RAG
Une spirale de segmentation qui n’a rien résolu
Imaginez que vous devez créer un pipeline de traitement de documents pour un client du secteur financier et que vous passiez plusieurs nuits blanches à déterminer les tailles des segments. La valeur de départ est de 256 tokens, elle monte à 512 puis à 1024, revient à 512 avec une superposition de 64 tokens, et s’arrête finalement à 384 parce qu’un sujet de forum le recommandait. Un carnet contient un petit outil d’évaluation, et deux assistants de chat sont ouverts dans d’autres onglets. L’un d’eux est interrogé sur la stratégie de segmentation comme s’il s’agissait d’un ingénieur senior, et ses réponses sont comparées à ce que l’internet avait publié ce mois-là. Ce travail ressemble à l’exploration d’une nouvelle frontière, et chaque round se termine par un gagnant et un graphique.
Alors le corpus grandit. Plus de documents sont stockés dans le stockage vectoriel, plus les résultats de recherche se détériorent. Ce qui semblait précis sur un petit échantillon devient flou à grande échelle, affichant des extraits proches dans l’espace vectoriel mais en réalité inutiles. La réaction naturelle est d’affiner davantage le découpage en blocs, car c’est le paramètre que tout le monde sait ajuster. Les jours passent, chaque tentative modifiant un chiffre, et chaque modification est interprétée comme un progrès. Rien de tout cela ne touche au véritable problème.
Puis un collègue jette un coup d’œil à la configuration et demande, sans la moindre ironie : « Qu’est-ce que BM25 ? » Aucune réponse claire n’est disponible. BM25 est ancien, et on pourrait le décrire vaguement comme « une simple recherche par mots-clés », ce que tout le monde prétend avoir dépassé. Ce qui ressort vraiment de cette situation, c’est que tout cet effort se déroule au sein d’une discussion vieille de cinquante ans, sans que l’on ait appris les noms des personnes déjà impliquées.
C’est la confession qui se cache derrière cet article, et elle s’applique de manière générale. Presque chaque étape de la « création de RAG » possède déjà un nom, et la plupart de ces noms remontent à des dates antérieures à celles des personnes qui revendent ces idées accompagnées d’un dossier de présentation. Ces vendeurs ne connaissent généralement pas non plus l’origine de ces termes. Les expressions « nous » et « le domaine » utilisées ci-dessous désignent les professionnels en général, et chacune de ces erreurs est courante.
D’autres ont également remarqué ce schéma. Un ingénieur en recherche expérimenté de Vespa a écrit en 2024 que les pipelines hybrides de récupération et de classement permettent de combiner des signaux provenant de méthodes non supervisées comme BM25 avec des classeurs neuronaux supervisés. La récupération de documents pour les intégrer dans une requête constitue une opération de recherche d’informations, et ce travail dépasse de loin le simple calcul d’un score de cosinus pour inclure la réécriture des requêtes, leur fusion, leur reclassement ainsi que des méthodes de récupération par étapes. Un expert en pertinence a lui aussi souligné à plusieurs reprises ce point : la recherche d’informations n’a pas disparu, elle est simplement passée dans l’ombre tout en continuant à fonctionner discrètement dans le monde.
Ces deux observations restent valables, bien que l’affirmation « RAG n’est rien d’autre que de la recherche d’informations » ne soit qu’un slogan, et que les slogans ne coûtent rien. Ce qui change les habitudes de travail, c’est l’analyse des résultats concrets. Ce qui suit est une carte de ces résultats, une carte qui ne commence pas en 2020 en omettant les cinquante années précédentes.
Chunking, embeddings et sens
Commencez par le découpage en blocs, là où tout a commencé. Diviser les documents en passages plutôt que de les traiter dans leur intégralité est une idée qui existe depuis des décennies. La récupération de passages était déjà un sujet de recherche en 1993 (Salton, Allan et Buckley), et Callan a examiné les preuves au niveau des passages l’année suivante. En 1997, Kaszkiel et Zobel ont publié « Passage Retrieval Revisited », montrant ainsi que le sujet était suffisamment ancien pour nécessiter une réexamination. Leurs expériences sur la taille et la segmentation des passages ont révélé que des passages de longueur fixe simple se comportaient de manière surprenante bien, ce qui est exactement ce que des analyses répétées de la taille des blocs permettent d’obtenir avec une méthode moins efficace.
TextTiling, développé par Marti Hearst la même année, définit les limites là où le sujet change réellement et ignore le nombre de tokens. Les fournisseurs actuels de « découpage sémantique » revendent cette notion, alors que le papier de base remonte à une époque antérieure aux premiers ordinateurs de la plupart de leurs fondateurs.
Ensuite vient l’incorporation, qui représente véritablement l’étape moderne qui distingue les utilisateurs de ceux qui se contentent de mots-clés. La représentation des documents et des requêtes sous forme de vecteurs et leur évaluation par le cosinus remonte à Salton, Wong et Yang en 1975, avec le modèle de l’espace vectoriel. L’attribution d’un poids supplémentaire aux termes rares, tâche que les modèles d’incorporation assument désormais à travers leurs paramètres, a été proposée par Karen Spärck Jones en 1972. Enfin, l’étape généralement considérée comme l’essence même de cette méthode – la correspondance sur le sens plutôt que sur les mots littéraux, ce qui permet aux incohérences de vocabulaire de perdre de leur importance – est l’analyse sémantique latente, publiée par Deerwester et ses collaborateurs en 1990, qui utilise une décomposition SVD de la matrice terme-document pour mettre en évidence des structures cachées.
Le remplacement de la SVD par un transformateur a permis à de nombreuses personnes de prétendre que l’idée leur appartenait. Le transformateur représente une véritable amélioration, et non seulement une modification esthétique, car il interprète chaque mot en fonction des mots qui l’entourent, ce que un vecteur LSA statique ne pourrait jamais faire. Le principe de base est resté le même : le sens prime sur la forme superficielle.
Fusion, réécriture des requêtes et réclassement
La recherche hybride est actuellement la méthode préférée, où les scores lexicaux et les scores densitaires sont mélangés, donnant l’impression à tous d’être intelligents. La méthode de fusion intégrée dans Elasticsearch, OpenSearch, Weaviate et Azure AI Search est la fusion de rangs réciproque, introduite par Cormack, Clarke et Büttcher lors du SIGIR 2009. Un détail de cet article mérite plus d’attention qu’il n’en reçoit : une fusion extrêmement simple utilisant une constante de 60, jamais ajustée, a surpassé les systèmes d’apprentissage automatique de classement avec lesquels elle a été comparée. Un paramètre par défaut non ajusté a battu des modèles que des gens avaient eux-mêmes entraînés. La combinaison des résultats de plusieurs moteurs était déjà une pratique courante en 1994, lorsque Fox et Shaw l’ont réalisée à l’aide de CombSUM et CombMNZ.
La réécriture des requêtes est un domaine où des solutions audacieuses peuvent être mises en œuvre. Dans HyDE, un modèle crée un document de réponse fictif que le système insère à la place de la question, en se basant sur l’idée qu’une réponse fausse plausible se rapproche davantage des documents corrects que la question elle-même. C’est une astuce ingénieuse, mais elle rappelle également la méthode de Rocchio de 1971.
Le feedback de pertinence de Rocchio déplace le vecteur de requête vers les documents qui semblent pertinents et loin de ceux qui ne le sont pas. Le pseudo-feedback de pertinence de Croft et Harper en 1979 effectue le même déplacement sans aucune intervention humaine, en supposant simplement que les résultats les mieux classés sont suffisamment bons pour servir de base à l’apprentissage. Vu sous cet angle, HyDE représente un pseudo-feedback de pertinence neuronal, la même méthode appliquée via des transformateurs des années plus tard. Leur article ne cite pas Rocchio, ce qui montre que l’oubli n’est pas limité aux tutoriels et aux threads de forum, et atteint parfois les articles eux-mêmes.
Les travaux antérieurs avaient également donné un nom à l’échec qui hante les systèmes de type HyDE en production : le dérive des requêtes. Lorsque les résultats principaux sont de mauvaise qualité, l’élargissement de la requête à partir d’eux aggrave encore la situation, c’est pourquoi les experts exécutaient le processus de retour d’informations une seule fois avant de s’arrêter. Les boucles agnitives le répètent maintenant sans cesse, et tout le monde feint la surprise lorsque la récupération des données s’écarte vers des domaines non pertinents.
Les autres méthodes suivent le même schéma. Un réordonneur à base de codeur croisé, ajouté après la phase de récupération initiale pour améliorer les résultats principaux, constitue une cascade en deux étapes. Le classement en cascade a été formalisé par Wang, Lin et Metzler en 2011, tandis que RankNet a introduit un réordonneur neuronal pour l’apprentissage du classement dès 2005. Un pipeline qui exécute d’abord BM25 puis un codeur croisé, déployé à plusieurs reprises en une année, représente une cascade en deux étapes standard sous un autre nom.
L’évaluation est là où ça fait le plus mal
L’évaluation est le domaine où la leçon est la plus douloureuse, car c’est celui qui est le moins bien géré. La méthode consistant à figer un corpus, à rédiger des requêtes de test, à recueillir des jugements de pertinence émis par des humains et à mettre en place des systèmes de notation hors ligne constitue le paradigme de Cranfield, issu des travaux de Cleverdon et ses collaborateurs en 1966. Le TREC du NIST l’a développé à partir de 1992, et Voorhees et Harman l’ont documenté dans un livre publié en 2005. Le regroupement des résultats, qui permet d’évaluer sans avoir à lire l’ensemble du corpus, est né de ces recherches il y a des décennies, tout comme des métriques significatives telles que le MAP et le nDCG.
Une « évaluation » typique de type RAG n’est qu’une version rudimentaire et non documentée de cette méthode. Il n’existe aucun jugement de pertinence, un LLM non validé agit en tant que juge, et l’ensemble de test est constitué discrètement à partir de requêtes qui fonctionnaient déjà.
Le IR classique porte un nom peu flatteur pour cette dernière habitude : l’échantillonnage sur la variable dépendante. Si l’évaluation est basée sur des requêtes connues pour fonctionner correctement, tout se passe bien, mais le système échoue ensuite avec tout ce que personne n’a pensé à tester. Ces échecs sont qualifiés de « hallucinations » car aucun outil ne permet d’identifier la cause réelle. L’ensemble préparé conserve néanmoins une certaine valeur, car il met en évidence de véritables régressions sur les requêtes qui intéressent les utilisateurs, mais il ne dit rien sur les questions que personne n’a posées, et ce sont justement celles qui échouent en production. Dans le processus financier, cela s’est produit avec la première question provenant en dehors de cet ensemble, comme par exemple une valeur supérieure à un seuil ou une plage de dates, représentant la forme typique des requêtes financières que personne n’avait testée.
Les chiffres sont plus difficiles à contester. Prenons l’hypothèse selon laquelle les gens ont ajusté la taille des blocs de données au lieu de se baser sur une mesure de référence : à savoir que la récupération dense est par défaut supérieure à la recherche lexicale. L’étude BEIR menée par Thakur et ses collaborateurs en 2021 a opposé dix systèmes à dix-huit ensembles de données, produisant des résultats dignes d’être intégrés dans chaque répertoire RAG. Les performances sur le domaine d’entraînement ne disent pas grand-chose sur les performances ailleurs. BM25 était à sept à dix-huit points derrière les modèles neuronaux sur les données du même domaine, mais surpassait la plupart d’entre eux lorsque les données provenaient d’une distribution différente. Le meilleur bi-encodeur dense n’a gagné que sur huit des dix-huit ensembles de données.
Un corpus financier de niche correspond précisément au matériel spécialisé et hors distribution au sujet duquel BEIR met en garde. L’hypothèse selon laquelle le modèle dense resterait supérieur était si ancrée que personne n’a effectué de test de référence lexical, même si l’article le recommandant était déjà publié depuis quatre ans.
Une prudence s’impose, car la frontière entre les méthodes évolue constamment. Certains classements commerciaux indiquent désormais que la méthode de récupération dense bat BM25 de quinze à vingt-cinq pour cent sur BEIR. C’est possible, mais ces chiffres proviennent de fournisseurs dans des conditions choisis par eux-mêmes, ce qui justifie le scepticisme envers tout benchmark réalisé par son créateur. Les études soumises à révision par des pairs aboutissent néanmoins à la conclusion banale mais correcte : BM25 constitue une bonne référence et le modèle hybride reste le choix sûr par défaut. Si cela change, cela devrait être démontré par quelqu’un qui n’a rien à vendre.
Une habitude plus triste et plus ancienne consiste à détruire des références de base faibles et à qualifier le résultat de progrès. L’article de Jimmy Lin de 2018, portant le titre exaspérant « The Neural Hype and Comparisons Against Weak Baselines », affirmait que de nombreuses victoires des méthodes de récupération neuronales étaient en réalité des victoires sur une configuration BM25 que personne n’avait pris la peine de paramétrer. Une étude ultérieure en 2019 a analysé des années de publications sur une même collection de tests standard et n’a constaté aucune tendance à l’amélioration de l’efficacité ; les meilleurs résultats publiés dataient de dix ans, et rien de plus récent n’approchait leurs performances. Ainsi, lorsque un benchmark RAG montre que les vecteurs éliminent la « recherche par mot-clé », la première requête à tester devrait être celle utilisant la configuration BM25. Le résultat le plus courant dans ce domaine est celui d’une méthode ancienne et efficace qui perd face à une copie négligente d’elle-même.
Biais de position, redécouvert
Le biais de position est cette découverte qui est amusante d’une manière inappropriée. Dans l’étude « Lost in the Middle » (Liu et al., 2023), les modèles utilisaient les informations de la meilleure façon lorsque celles-ci se trouvaient au début ou à la fin du contexte, et de la pire façon au milieu, suivant une courbe en forme de U. Les résultats sont clairs : dans les systèmes de réponse à des questions à partir de plusieurs documents, avec vingt ou trente documents récupérés, GPT-3.5-Turbo obtint de moins bons résultats lorsque la réponse se trouvait au milieu, par rapport à son score de 56,1 % en mode sans référence, ce qui montre que l’ajout de contexte récupéré le rendait même moins performant que la réponse mémorisée. Lors d’un test synthétique, les modèles les plus faibles atteignirent moins de 40 % de précision lorsque la cible se trouvait au milieu des données d’entrée, et cette forme en U fut observée chez GPT-4, Claude ainsi que plusieurs autres modèles ouverts. Le domaine a interprété cela comme une nouvelle concernant une machine nouvelle et exotique.
En 2005, Joachims et ses collègues ont mené une étude sur le suivi visuel pour examiner la manière dont les gens lisent les résultats de recherche classés, puis ont poursuivi leurs recherches en 2007. L’attention se concentrait en haut de la liste, et les utilisateurs continuaient à cliquer sur le premier lien, même lorsque des éléments plus bas étaient plus pertinents. La littérature spécialisée a qualifié ce phénomène de biais de confiance. L’ordre dans lequel les preuves sont présentées influence la façon dont elles sont utilisées, indépendamment de leur qualité réelle, et ce fait était déjà connu chez les humains dix-huit ans avant que quiconque ne le « découvre » dans des modèles.
La comparaison n’est pas parfaite, et prétendre qu’elle est exacte reviendrait à commettre le même péché que celui que l’on critique. Le biais de position classique est monotone : il est le plus fort en haut de la liste et diminue progressivement vers le bas, tandis que l’effet du modèle a une forme en U, avec une zone morte au milieu et une hausse tardive due à la proximité dans le temps. Les formes diffèrent malgré le fait que la famille de problèmes soit identique. La version du modèle est également instable : des travaux plus récents, certains datant de 2025, montrent que la pénalité centrale change lorsque les entrées approchent de la limite de contexte, au lieu de disparaître. C’est une autre raison de ne pas considérer « Lost in the Middle » comme une vérité absolue. Ce qui reste vrai, c’est que l’ordre déforme l’utilisation, et que la courbe précise est un objectif en mouvement, ce qui justifie la mesure plutôt que la mémorisation.
Où s’arrêtent les anciennes cartes
Céder du terrain rend la réfutation moins satisfaisante, mais s’arrêter aux seuls éléments factuels produirait une réfutation habile, ce qui revient à se tromper de manière prolongée. Les anciennes cartes finissent bien par s’épuiser, et c’est là que leurs limites ont le plus d’importance.
La rupture la plus profonde concerne celui ou celle qui effectue la lecture. Pendant une demi-décennie, c’était un être humain qui parcourait une liste classée, de sorte que la pertinence dépendait de ce qu’un humain pouvait juger d’un coup d’œil. Aujourd’hui, c’est un générateur qui effectue la lecture, et des recherches récentes le soulignent clairement : il s’agit d’une recherche destinée à une IA, et non à un être humain. La pertinence dépend donc de son environnement et est difficile à définir à l’avance.
Ce changement renverse complètement les anciennes hypothèses. Une étude publiée en 2024 dans SIGIR par Cuconasu et ses collaborateurs, intitulée « The Power of Noise », a mené cette expérience. Un résultat était attendu : les documents ayant obtenu la meilleure note par le système de récupération donnaient des résultats de moindre qualité lorsqu’ils abordaient un sujet similaire mais ne contenaient pas la réponse. Un autre résultat a été surprenant : des documents aléatoires et sans rapport amélioraient la précision de jusqu’à trente-cinq pour cent. Cranfield considérait la pertinence d’un document comme une propriété indépendante et additive en soi. Dans RAG, l’utilité d’un passage dépend de tout le reste dans le contexte ainsi que de la manière dont le générateur le combine. L’unité de base de la pertinence a changé, et la plupart des métriques continuent de prendre en compte l’ancienne unité.
Un autre mode de défaillance n’a pas d’ancêtre classique, car les systèmes anciens ne pouvaient pas le provoquer. Les systèmes d’information classiques pouvaient obtenir de mauvais résultats, mais ils ne pouvaient pas mentir. Ils retournaient des documents qui existaient réellement, et ils ne produisaient jamais de paragraphe fluide et convaincant qui contredirait catégoriquement ces documents. La fidélité, c’est-à-dire la question de savoir si le texte généré est réellement étayé par ce qui a été récupéré, constitue un nouvel axe d’évaluation. Des outils comme RAGAS, apparus en 2023, mesurent quelque chose que tout le domaine précédent n’a jamais eu besoin de nommer.
La récupération agente n’est que partiellement nouvelle. Une requête de recherche existe depuis longtemps. Ce qui diffère, c’est un modèle qui décompose une question, envoie ses propres sous-requêtes, lit les résultats et ajuste son plan, ce qui constitue un cycle de contrôle autonome autour de la récupération classique. C’est ce cycle qui représente l’innovation. Les projets DSP et DSPy de Khattab constituent une approche sérieuse, d’autant plus qu’ils proviennent de quelqu’un familier avec la littérature existante.
La méthode de notation doit également être repensée. nDCG, MAP et MRR évaluent une liste classée pour une personne qui la parcourt, sans prendre en compte si la réponse générée est correcte, complète et fondée. Importer les anciennes métriques telles quelles ne suffit pas.
Les chercheurs sont toujours là
Les personnes qui ont construit tout cela ne se sont pas retirées sur une plage. Plusieurs d’entre elles continuent tranquillement à intégrer RAG dans la tradition d’évaluation que ce dernier avait ignorée pendant deux ans.
Jimmy Lin entretient Anserini et Pyserini, des outils qui réduisent un BM25 bien ajusté à une seule commande, éliminant ainsi l’excuse du niveau de référence faible. Après les articles agacés sur le « hype neuronal », il a publié en 2019 « The Neural Hype, Justified! A Recantation », admettant que, face à de solides niveaux de référence, les méthodes neuronales de l’époque BERT apportaient bien des améliorations dans les environnements à faibles ressources. Il avait affirmé que ce domaine était surestimé, a examiné des preuves plus solides et a révisé son opinion par écrit, tout en ayant encore partiellement raison concernant ce hype. Cette attitude mérite d’être adoptée des deux côtés : les vétérans doivent s’ouvrir aux nouvelles recherches, tandis que les nouveaux venus doivent se renseigner suffisamment pour comprendre ce qu’ils viennent compléter.
Bhaskar Mitra et Nick Craswell ont écrit en 2018 un guide de base sur l’IR neuronale qui a inscrit fermement les modèles neuronaux dans la tradition classique, considérant BM25 comme une référence digne de respect. À partir de 2019, ils ont dirigé la session d’apprentissage profond de TREC, évaluant toute l’époque neuronale à l’aide des collections agrégées et réutilisables que Cranfield et TREC avaient affinées depuis des décennies. La révolution a été évaluée à l’aide des outils de l’ancienne discipline, par ceux qui les avaient créés, et elle a réussi son examen. La rigueur requise était portable dès le début, pour qui le souhaitait.
Ellen Voorhees et Donna Harman ont édité l’ouvrage de référence sur l’évaluation TREC. Voorhees a passé des années à examiner un fait délicat : les jugements de pertinence effectués par des humains entrent en conflit les uns avec les autres, ce qui constitue précisément la difficulté majeure pour quiconque souhaite remplacer les évaluateurs humains par un LLM. Lorsque la communauté de l’indexation s’est penchée sur cette possibilité, elle a présenté ses arguments par écrit et a mis en garde les chercheurs contre le risque que cela corrompe silencieusement la science. Les données pilotes ont montré que les jugements des modèles suivaient ceux des humains, avec un taux de Kendall’s tau proche de 0,86. Cela semble rassurant, mais une simple corrélation ne révèle rien sur les points de désaccord entre les deux, et ce sont justement les documents borderline qui décident du système gagnant.
Une catégorie a été créée à cette fin. En 2024, le NIST a lancé une catégorie TREC RAG comprenant 301 sujets sur une collection MS MARCO dédoublée de 113 millions de passages. Ceux qui considèrent l’évaluation comme l’exécution de pytest devraient examiner le travail fastidieux nécessaire pour obtenir un ensemble de tests fiable. Cette catégorie évalue le taux de rappel des informations pertinentes, ce qui introduit l’ancienne méthode de Voorhees dans l’ère des LLM, ainsi que le niveau de soutien par citation, qui vérifie que les affirmations générées sont étayées par des passages retrouvés. En 2025, les requêtes sont passées de courtes séquences de mots-clés à des récits longs, complexes et multi-phrases, plus proches de la forme des vraies questions. Ce système n’a pas disparu ; il a simplement créé une nouvelle catégorie et intégré la technologie RAG, ce qui est une démarche typique de TREC.
Quels changements lors de la lecture de l’historique
La récupération de données n’est pas morte, et RAG n’a pas tout changé. Quiconque prône l’une ou l’autre de ces idées mérite la méfiance, car toutes deux permettent à une personne d’éviter le travail nécessaire. La vérité est plus concise et plus utile. Ce domaine a acquis un moyen remarquable de traiter les textes récupérés, mais dans la précipitation, il a abandonné cinquante ans de connaissances acquises sur la manière de les récupérer efficacement.
Ces connaissances peuvent être retrouvées à tout moment. Le graphe des citations est public, les benchmarks sont publics, et les chercheurs, par réputation, sont agréablement surpris lorsque quelqu’un de plus jeune leur pose une question bien informée.
Les changements pratiques sont intentionnellement ennuyeux :
- Adapter la référence BM25 avant de modifier les embeddings.
- Créer des ensembles d’évaluation à partir des requêtes qui posent problème, et ignorer celles qui fonctionnent déjà.
Rien de tout cela ne procure l’excitation liée à l’ajustement de la taille des blocs. Une référence de base censée l’emporter manque de l’enthousiasme que procure la redéfinition d’une frontière, et ce manque d’enthousiasme a un coût réel. Cela sépare également un pipeline qui fonctionne bien lors des démonstrations d’un autre qui échoue sur un corpus que personne n’a extrait.
Le collègue qui a demandé des informations sur BM25 n’était pas en retard. Il avait reçu la même version que tout le monde, une version qui commence en 2020 avec les cinquante premières années supprimées. La solution consiste à localiser les pages manquantes, et le bon côté des choses, c’est qu’elles n’ont jamais été perdues : les gens ont simplement cessé de les lire.
Les articles originaux, regroupés
Lire au moins l’un d’entre eux vaut mieux que de se fier aux dires des autres.
Extraits, segmentation en blocs et embeddings :
- Salton, Allan et Buckley (1993), sur la récupération de passages dans les systèmes de texte intégral, des années avant que le Web ne dispose d’un moteur de recherche.
- Callan (1994), « Passage-Level Evidence in Document Retrieval », qui a comparé les paragraphes et les passages à fenêtre fixe au sein d’un véritable système de récupération. La « stratégie de segmentation » a un précurseur.
- Kaszkiel et Zobel (1997), « Passage Retrieval Revisited », dont les expériences sur la taille des passages ont montré que les passages de longueur fixe étaient efficaces, un résultat que tout outil d’évaluation révélera s’il en a la possibilité.
- Hearst (1997), « TextTiling », sur la segmentation du texte lorsque le sous-thème change. Chaque méthode de segmentation sémantique possède une référence antérieure.
- Salton, Wong et Yang (1975), le modèle de l’espace vectoriel, qui a décrit en 1975 l’opération effectuée par une base de données vectorielle au moment de la requête.
Fusion, retour d’information et réclassement :
- Cormack, Clarke et Büttcher (2009), fusion par rang réciproque, la méthode de recherche hybride utilisée dans plusieurs moteurs majeurs, avec une constante non ajustée de 60 qui surpassait les méthodes entraînées.
- Fox et Shaw (1994), combinaison de plusieurs recherches, où CombSUM et CombMNZ étaient déjà couramment utilisés.
- Gao, Ma, Lin et Callan (2022), le papier HyDE, un subtil stratagème de réponse fictive qui, en esprit, correspond à un retour d’information pseudo-relatif de type neuronal.
- Rocchio (1971), la première approche de retour d’information basée sur la pertinence, visant à orienter la requête vers ce qui semble pertinent.
- Croft et Harper (1979), le feedback de pseudo-relevance, également appelé dérive des requêtes.
- Wang, Lin et Metzler (2011), le modèle formel de classement en cascade à l’origine des pipelines BM25-then-cross-encoder.
- Burges et ses collaborateurs (2005), RankNet, une démonstration que le learning-to-rank disposait déjà en 2005 d’un classeur neuronal fonctionnel.
Évaluation :
- Cleverdon, Mills et Keen (1966), Cranfield II, le modèle de référence vieux de soixante ans pour les corpus, les requêtes, les jugements et l’évaluation hors ligne.
- Voorhees et Harman (2005), le livre d’évaluation TREC, consacré au test du système de récupération sans se tromper soi-même.
- Järvelin et Kekäläinen (2002), l’origine du nDCG et sa justification.
- Voorhees (2000), sur le degré de désaccord entre les juges humains, le problème exact qui sous-tend l’intégration d’un juge basé sur un LLM.
- Faggioli, Dietz, Clarke et leurs collaborateurs (2023), perspectives sur les LLM pour l’évaluation de la pertinence, d’où provient l’avertissement concernant la corruption de la science.
- Mitra et Craswell (2018), l’introduction à l’IR neuronale qui insère les modèles neuronaux au sein de la tradition classique.
- Craswell et ses collaborateurs (2019), aperçu de la session d’apprentissage profond de TREC 2019.
Résultats empiriques :
- Thakur et ses collaborateurs (2021), BEIR, étude montrant que BM25 surpasse la plupart des modèles denses en situation de distribution différente.
- Lin (2018) ainsi que Yang, Lu, Yang et Lin (2019), sur les bases de référence faibles et l’absence de tendance à l’amélioration de l’efficacité.
- Lin (2019), le retrait d’une affirmation, un critique changeant d’avis dans une publication.
- Liu et ses collaborateurs (2023, publié en 2024), « Lost in the Middle ».
- Joachims et ses collaborateurs (2005, avec une étude de suivi en 2007), sur le clic comme feedback implicite et le biais de confiance qu’il révèle.
- Veseli, Chibane, Toneva et Koller (2025), sur les biais positionnels qui changent à mesure que les entrées approchent de la limite de la fenêtre de contexte.
Qu’y a-t-il de vraiment nouveau :
- Cuconasu et ses collaborateurs (2024), « The Power of Noise », où des documents aléatoires et non liés amélioraient la précision.
- Es, James, Espinosa-Anke et Schockaert (2023), RAGAS, outil permettant de mesurer la fidélité.
- Khattab et ses collaborateurs (2022 et 2023), Demonstrate-Search-Predict et DSPy, la version avancée du récupération agente.
- La compétition RAG de TREC 2024 au NIST, avec 301 sujets, 113 millions de passages, ainsi que des fonctionnalités de rappel de fragments et de soutien aux citations.
Lectures complémentaires
- Notes pratiques : Qu’est-ce que la génération augmentée par la récupération d’informations (RAG) ? Une approche pratique — Guide pas à pas des Notes pratiques : Qu’est-ce que la génération augmentée par la récupération d’informations (RAG) ? Une approche pratique : contrats, vérifications et emplacements de code prêts à l’emploi pour les équipes qui utilisent ce modèle.
- De la prédiction du token suivant au code fonctionnel : comment les LLM génèrent du Python — Explication progressive des tokens, de la fonction softmax, de la température, de l’auto-attention et des couches feed-forward, accompagnée d’un exemple de tri étape par étape ainsi que des limites inhérentes à la prédiction.