Pourquoi RAG existe : la mémoire paramétrique, la récupération dense et l’article de 2020
Pourquoi RAG existe : les limites de la mémoire paramétrique, comment BM25 et les embeddings ont conduit à une récupération dense, et quels compromis RAG-Sequence et RAG-Token présentent dans l’article.
Sources: What Is RAG? The Story Behind Retrieval-Augmented Generation and Why It Changed AI Forever
Il n’existe pas de méthode unique pour concevoir un système RAG. Chaque problème commercial nécessite une architecture adaptée à son échelle, et chaque stratégie de récupération présente des compromis ; ainsi, un design qui convient à un bot d’assistance peut échouer dans la recherche juridique. Ce domaine évolue également très rapidement. En 2020, lorsque la génération augmentée par la récupération d’informations est apparue pour la première fois, les modèles de langage étaient bien plus faibles qu’aujourd’hui. Depuis, la capacité de raisonnement, le suivi d’instructions, la compréhension multimodale, les fenêtres de contexte ainsi que l’utilisation d’outils se sont considérablement améliorés. Le RAG reste une technique fondamentale pour des applications d’IA fiables, car même le modèle le plus puissant ne peut pas tout savoir ni toujours disposer des informations les plus récentes. La récupération de connaissances pertinentes à partir de sources externes réduit les hallucinations et garantit que les réponses s’appuient sur des matériaux fiables.
Aujourd’hui, cette technologie est au cœur des plateformes de support et des chatbots d’entreprise, des assistants de codage, des outils de recherche juridique, des applications cliniques, des systèmes financiers et des aides à la connaissance interne. Pourtant, de nombreux tutoriels se concentrent immédiatement sur les bases de données vectorielles, les embeddings ou le code LangChain, sans jamais se demander pourquoi RAG a été inventé en premier lieu. Répondre à cette question commence par la recherche originale pour ensuite aborder les idées d’ingénierie à l’origine des systèmes de production modernes, y compris les raisons des choix de conception, leur coût et la manière dont ils ont évolué.
Les limites des connaissances d’un modèle
Lorsque les modèles de type GPT ont d’abord démontré une compréhension linguistique remarquable, beaucoup ont pensé qu’ils pouvaient répondre à presque n’importe quelle question. Dans une certaine mesure, c’était le cas. Leur entraînement sur d’immenses ensembles de données leur a appris des faits sur l’histoire, la science, la programmation, les mathématiques et la littérature. Mais tout ce que le modèle « savait » était compressé dans ses paramètres pendant l’entraînement, et une fois celui-ci terminé, ces connaissances se sont figées.
Les gens travaillent de manière assez similaire. Les experts ne se fient pas uniquement à leur mémoire. Un cardiologue confronté à une maladie rare ou à un traitement nouvellement approuvé vérifie d’abord les directives cliniques actuelles ou la littérature médicale. Un développeur Python expérimenté à qui l’on demande de transférer une grande application en Java ne connaît pas automatiquement tous les frameworks Java ni les meilleures pratiques pour le faire sans nuire aux performances ou à l’expérience utilisateur. Il consulte la documentation Java, choisit un framework comme Spring en fonction de l’ampleur de l’application, et continue de se référer aux guides de migration ainsi qu’à la documentation du projet tout au long du processus. Les compétences nécessaires existent déjà, mais des ressources externes fournissent le contexte nécessaire pour résoudre le problème avec précision.
Les modèles de langage rencontrent le même problème. Leurs connaissances générales sont solides, mais si l’on leur pose des questions concernant des événements survenus après la date de fin de leur entraînement, comme un document interne à l’entreprise ou la dernière politique d’une organisation, ils n’ont rien sur quoi s’appuyer. Pire encore, là où une personne admettrait son incertitude, un modèle produit souvent une réponse fluide, assurée et factuellement erronée, phénomène aujourd’hui largement désigné sous le nom de hallucination.
Le réentraînement à chaque apparition de nouvelles informations n’était pas non plus réaliste, car les modèles de pointe exigent d’énormes ressources informatiques, de l’argent et du temps. Les chercheurs avaient besoin d’un moyen permettant à un modèle de consulter des informations externes pertinentes au moment de répondre, sans avoir à être réentraîné. Ce besoin a donné naissance à la génération augmentée par la récupération d’informations, jetant les bases de nombreuses techniques d’ingénierie de contexte actuelles dont l’objectif est de fournir au modèle les bonnes informations au bon moment.
Deux types de mémoire
Pour comprendre pourquoi RAG était important, il est utile de distinguer deux types de mémoire. La mémoire paramétrique correspond aux connaissances stockées dans les paramètres appris par un modèle : motifs, concepts, capacités linguistiques et faits acquis lors de l’entraînement. Elle présente des limites réelles :
- Elle ne peut pas être mise à jour facilement.
- Elle peut devenir obsolète.
- Les faits rares risquent d’être oubliés.
- Aucun modèle ne peut mémoriser tous les documents jamais écrits.
RAG a introduit la mémoire non paramétrique : des connaissances conservées en dehors du modèle, dans des documents, des bases de données ou un corpus indexé que l’on consulte pendant que le modèle répond. Au lieu de s’appuyer uniquement sur ce qui a été mémorisé des mois auparavant, le modèle récupère le matériel pertinent sur demande avant d’écrire une réponse. Cette idée simple a changé la façon dont les systèmes d’IA peuvent gérer des connaissances en perpétuelle évolution.
Récupération avant les modèles de langage
La récupération d’informations existe depuis avant l’apparition des grands modèles de langage. Les moteurs de recherche ont longtemps été confrontés au même problème : parmi des millions de documents, quels sont ceux qui sont les plus pertinents pour la requête d’un utilisateur ? Les premiers systèmes comparaient les mots, en comptant la fréquence à laquelle les termes de la requête apparaissaient dans un document. TF-IDF (Fréquence du terme – Fréquence inverse du document) a amélioré cette méthode en donnant plus de poids aux mots informatifs et moins de poids à ceux qui sont courants. BM25 est ensuite devenu la norme du secteur pour le classement, grâce à une fonction de notation plus affinée qui prend en compte à la fois la fréquence des termes et la longueur du document ; il reste encore une composante essentielle de nombreux systèmes de recherche en production.
Ces approches fonctionnent bien lorsque les mots-clés exacts apparaissent dans un document. Elles ont du mal lorsque deux passages expriment la même idée avec des mots différents, et c’est ce manque qui a ouvert la voie à la récupération sémantique.
Au fur et à mesure que les réseaux neuronaux se sont améliorés, les chercheurs ont commencé à représenter le texte sous forme de vecteurs denses, appelés embeddings. Un embedding est une représentation numérique d’un mot, d’une phrase ou d’un document dans un espace à haute dimension, souvent désigné comme l’espace d’embedding ou espace latent. Chaque nombre pris isolément n’a que peu de signification. Ensemble, ils permettent de capturer le sens : ainsi, les textes ayant un sens similaire se trouvent proches les uns des autres, tandis que les concepts non liés sont éloignés. Grâce à ce regroupement, la récupération d’informations peut se baser sur le sens plutôt que sur des correspondances exactes de mots-clés.
Prenons un utilisateur qui demande comment améliorer les performances d’un réseau neuronal. Grâce aux embeddings, cette requête peut néanmoins trouver un document intitulé « Techniques pour optimiser les modèles d’apprentissage profond », même si ni « réseau neuronal » ni « performances » n’y figurent. Une fois les requêtes et les documents embeddés, la récupération devient une recherche des vecteurs de document les plus proches du vecteur de requête. C’est cette idée qui a servi de base au Dense Passage Retrieval (DPR), introduit en 2020. Le DPR a montré que la récupération sémantique dense surpassait la récupération par mots-clés traditionnelle sur de nombreux benchmarks de réponse à des questions dans des domaines ouverts, et il est devenu l’un des éléments constitutifs qui ont rendu possible le RAG.
De la recherche de documents à la réponse aux questions
La récupération sémantique ne couvrait qu’une partie de la tâche. Les gens ne veulent pas une liste de documents, ils veulent des réponses, ce qui amène l’idée de la réponse à des questions dans un domaine ouvert. Un système à domaine fermé tire ses réponses d’une base de connaissances ou d’un ensemble de données fixes. La réponse à des questions dans un domaine ouvert doit rechercher parmi des millions de documents des éléments utiles avant de répondre. Face à une question comme « Qui a remporté le prix Nobel de physique en 2024 ? », le système examine d’abord une vaste collection à la recherche des meilleures preuves, puis rédige sa réponse à partir de celles-ci.
Cela donne un processus en deux étapes :
- Récupérer les documents les plus pertinents.
- Générer une réponse à partir de ces documents.
Cette approche de récupération puis de génération constitue la base conceptuelle du RAG moderne. L’article de 2020 intitulé Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks l’a formalisée en combinant un moteur de récupération dense et un modèle de génération de séquences au sein d’une architecture bout en bout. Son idée centrale était simple : ne pas demander à un modèle de langage de répondre uniquement à partir de ses paramètres internes. Il fallait d’abord obtenir les documents externes les plus pertinents, puis utiliser ces extraits comme condition pour la génération. La récupération n’a pas remplacé les modèles de langage ; elle les a renforcés, améliorant la précision factuelle, les résultats sur les tâches à forte intensité cognitive, et permettant d’actualiser les connaissances en changeant simplement la collection de documents sans devoir retraiter le modèle.
RAG-Sequence versus RAG-Token
La publication propose deux stratégies de récupération. RAG-Sequence récupère une fois un ensemble fixe de documents pertinents avant le début de la génération, et ces documents restent les mêmes tout au long de la réponse. Elle est efficace sur le plan computationnel et facile à mettre en œuvre, et elle constitue encore la base de la plupart des systèmes RAG en production.
RAG-Token est plus dynamique. Le modèle peut récupérer des documents différents au fur et à mesure qu’il génère différentes parties de la réponse, ce qui lui permet en théorie de collecter des informations fraîches chaque fois qu’il a besoin de plus de contexte, ce qui pourrait donner des réponses plus éclairées.
Image montrant la rédaction d’un rapport de recherche. Avec RAG-Sequence, tout le matériel de référence est rassemblé avant la première phrase. Avec RAG-Token, l’auteur s’arrête au milieu du rapport pour rechercher des informations chaque fois qu’une nouvelle question se pose. La deuxième approche est plus flexible, mais elle nécessite beaucoup plus d’opérations de récupération, consomme davantage de ressources informatiques et entraîne des retards. C’est pourquoi la plupart des systèmes en production choisissent la conception plus simple de RAG-Sequence et concentrent leurs efforts sur le pipeline de récupération lui-même, en utilisant des recherches hybrides, un réclassement des résultats, une réécriture des requêtes et un filtrage des métadonnées.
Où la conception originale a échoué
Malgré son caractère révolutionnaire, l’architecture originale présentait des défauts qui sont apparus une fois que les professionnels l’ont mise en œuvre dans des environnements réels :
- La qualité de la génération était limitée par la qualité de la récupération des informations.
- Une mauvaise segmentation des données nuisait à la précision de la récupération.
- Les fenêtres de contexte limitaient la quantité d’informations qui pouvaient être fournies.
- La récupération dense manquait parfois de correspondances exactes importantes.
- La récupération avait lieu avant la génération, ce qui ajoutait un délai.
- Le support des données structurées, tabulaires et multimodales était limité.
Ces problèmes ont donné naissance à des années de recherches ultérieures, et les cinq dernières années ont profondément transformé RAG. Les modèles de langage sont bien plus performants, les modèles d’incorporation se sont améliorés et les bases de données vectorielles ont mûri. La recherche hybride combine la récupération lexicale et sémantique, tandis que les outils de réclassification par encodage croisé affinent le choix des documents. Les systèmes plus récents intègrent un filtrage des métadonnées, une réécriture des requêtes, une compression du contexte, une récupération adaptative ainsi que des workflows agnostiques ; par ailleurs, des chercheurs ont proposé des approches telles que GraphRAG, Self-RAG, Corrective RAG (CRAG), RAPTOR et la récupération multimodale. Ces ajouts corrigent en grande partie les erreurs du pipeline initial, mais aucun ne remplace l’étape fondamentale de récupération en premier lieu.
Les architectures de production actuelles diffèrent beaucoup du pipeline simple de 2020, mais elles partagent son principe de base : récupérer les connaissances pertinentes avant de générer une réponse.
Le changement de mentalité
Ce qui est le plus frappant, c’est que RAG n’a pas principalement rendu les modèles de langage plus intelligents. Il a plutôt changé la manière dont les gens les utilisent. Au lieu d’attendre d’un modèle qu’il mémorise une quantité de connaissances en constante augmentation, RAG considère les informations externes comme quelque chose à récupérer chaque fois qu’elles sont nécessaires. Ce changement a permis de créer des systèmes plus précis, plus fiables et capables de faire face à des informations en perpétuel changement.
Connaître les origines de RAG va au-delà d’une simple leçon d’histoire. Cela explique pourquoi les systèmes modernes ont l’aspect qu’ils ont, et pourquoi certaines décisions architecturales sont importantes une fois qu’ils sont mis en production. Une équipe qui comprend la motivation initiale peut déterminer quelles nouvelles techniques combattent réellement une faiblesse et lesquelles ne font qu’ajouter de la complexité.
Lectures complémentaires
- RAG des premiers principes : comment fonctionne réellement la génération améliorée par la recherche — Une présentation basée sur les principes fondamentaux de la génération améliorée par la recherche : pourquoi elle existe, comment elle se compare au fine-tuning, son évolution, les pipelines en ligne et hors ligne, ainsi que les modes de défaillance.
- Notes pratiques : qu’est-ce que la génération améliorée par la recherche (RAG) ? Une approche pratique — Guide opérationnel des Notes pratiques : qu’est-ce que la génération améliorée par la recherche (RAG) ? Une approche pratique : contrats, vérifications et emplacements de code prêts à l’emploi pour les équipes qui mettent en œuvre ce modèle.