Du prototype au RAG en production : recherche hybride, agents et évaluation
Une architecture de référence pour le RAG en production dans .NET : segmentation en blocs, récupération hybride et par graphe, réclassement, planification des requêtes, sortie typée et évaluation continue.
De nombreux prototypes de RAG semblent prêts après cinq étapes : charger les documents, calculer les embeddings, enregistrer les vecteurs, récupérer quelques extraits, et formuler une demande au modèle. Prouver le concept ne nécessite pas plus que cela. Les problèmes commencent ensuite, lorsque le corpus s’agrandit, que les requêtes deviennent imprévisibles, qu’une réponse nécessite plusieurs sources, ou lorsque quelqu’un demande des chiffres montrant que la qualité de la récupération s’améliore. Cette architecture de référence, présentée à travers une application .NET et Blazor, couvre ce que l’environnement de production ajoute. Elle commence par l’ingestion et le découpage en extraits, puis passe à la récupération qui combine des signaux de mots-clés, de vecteurs et de graphes, au réclassement, à un agent qui planifie les requêtes, à une sortie structurée, ainsi qu’à une évaluation qui ne s’arrête jamais.
Le premier diagramme met en contraste un prototype avec les étapes de récupération, de classement, de contextualisation et d’évaluation nécessaires en environnement de production.
Trois façons de fournir des données à un modèle
Un modèle répond en s’appuyant sur ses données d’entraînement ainsi que sur les informations fournies au moment de la requête. Les rapports internes, les contrats, les tickets de support, les politiques et les documents de projet ne sont utiles que si l’application parvient à localiser les parties pertinentes et à les intégrer dans le contexte du modèle. Cela reste simple tant que les données ne dépassent pas la capacité d’une seule requête, et il existe trois approches courantes.
La plus simple est l’utilisation de la fenêtre de contexte : on extrait le texte d’un fichier, on le colle dans la requête et on pose la question. Cette méthode convient aux petites quantités de contenu et aux tâches de courte durée, mais elle devient inefficace lorsque le même grand volume de contenu est envoyé à plusieurs reprises ou lorsque l’application doit rechercher dans de nombreux documents.
La deuxième approche consiste à récupérer des données liées à un projet ou à une session. L’application conserve un ensemble de données plus restreint destiné à des recherches sémantiques répétées, ce qui convient à un assistant associé à un projet, à un espace de travail ou à une session active.
En troisième position vient la génération augmentée par la récupération d’informations, abrégée RAG. L’application crée un index à l’avance, puis chaque question ne récupère que les passages pertinents au lieu d’envoyer l’ensemble du corpus au modèle. La présentation de RAG par Microsoft le décrit de la même manière : une couche de récupération fournit des données de référence lorsqu’une requête arrive, et le modèle n’a jamais besoin d’être réentraîné.
Le diagramme suivant compare les trois approches en fonction de leur portée, de leur durée de vie et de la quantité de données recherchables qu’elles peuvent gérer.
Ce que comprend réellement la récupération d’informations
La majeure partie du travail d’ingénierie se cache derrière le terme « récupération ». La recherche lexicale est efficace lorsque l’utilisateur connaît le terme exact : les codes de produit, les noms de clients et les numéros de polices répondent bien à une recherche par mots-clés. La recherche vectorielle répond à un besoin différent, à savoir trouver des passages qui expriment la même idée sous d’autres mots. Le mécanisme est simple à expliquer : un modèle d’incorporation convertit le texte en vecteurs numériques, la question est traitée par le même modèle, et la couche de recherche renvoie les voisins les plus proches.
Décider de ce qui doit être transformé en vecteur est plus complexe. Un seul vecteur pour un document long est généralement trop grossier pour des recherches précises. Les pipelines de production divisent les documents en blocs plus petits et autonomes, ajoutent une certaine superposition afin que le contexte ne soit pas perdu aux jonctions, et conservent les métadonnées sources afin que chaque bloc récupéré puisse être retracé jusqu’à son origine.
L’ingestion s’effectue donc via un pipeline plutôt que par une seule appel API. Chaque fichier est analysé, normalisé, divisé, intégré et indexé ; selon la conception, ce processus peut également extraire des métadonnées, des champs, des entités et des relations.
Le diagramme ci-dessous montre le parcours des fichiers sources, depuis l’extraction de texte, en passant par le découpage, les embeddings, l’extraction des métadonnées, jusqu’à la création d’index consultables.
Un choix paye plus tard : conserver suffisamment de métadonnées afin que chaque réponse puisse indiquer sa source. Une expérience RAG de production doit permettre à un lecteur de suivre n’importe quelle affirmation jusqu’au document correspondant et de consulter les parties associées.
Mélanger les stratégies de récupération
La recherche vectorielle est utile, mais elle n’est pas tout à fait aussi efficace pour chaque requête. La similarité sémantique est précieuse lorsque le formulation change. La correspondance exacte des mots-clés reste importante pour les noms, les dates, les codes, les acronymes et le jargon sectoriel. La récupération par graphes offre un autre indicateur lorsque la réponse dépend des relations entre entités plutôt que de la similarité entre passages. La récupération doit donc être considérée comme une combinaison de stratégies et non comme une seule requête de recherche.
La recherche par mots-clés apporte une précision lexicale, tandis que la recherche vectorielle contribue à la récupération sémantique. La recherche hybride exécute des méthodes classées ensemble et fusionne leurs listes de résultats. Azure AI Search effectue cette fusion à l’aide de la Reciprocal Rank Fusion (RRF), en combinant les résultats classés des recherches parallèles. La récupération graphique va encore plus loin : le système utilise des entités et des relations extraites pour suivre des liens au sein du contenu, ce qui est utile pour les questions dont la réponse est répartie sur plusieurs documents.
Par la suite, un réclassificateur sémantique peut réévaluer les candidats par rapport à la requête et placer les meilleurs en tête de liste. Cette deuxième étape est importante, car la fusion des listes classées ne permet pas de déterminer quel résultat répond le mieux à la demande.
Le diagramme suivant montre comment les recherches par mots-clés, vectorielles et graphiques sont fusionnées via RRF et réclassées avant que les fragments sélectionnés n’atteignent le modèle.
Planification de la requête
Un pipeline fixe part du principe qu’une seule recherche suffit, ce qui est contredit par de nombreuses questions réelles. Imaginez un utilisateur qui demande en quoi la vieille politique diffère de la nouvelle et quelles en sont les conséquences pour les entrepreneurs. Plusieurs tâches sont nécessaires : localiser deux documents, extraire les sections pertinentes de chacun, évaluer les preuves, puis rédiger une synthèse.
La récupération par agents intègre cette planification dans le flux de travail de récupération. Un agent examine la demande, la divise en sous-recherches ciblées, utilise l’historique de conversation pour obtenir du contexte, effectue les recherches en parallèle, réordonne les résultats et fusionne les preuves en une réponse cohérente. La différence architecturale réside dans le fait que la récupération n’est plus une seule recherche dont le comportement est toujours identique. L’application décide du nombre de recherches nécessaires et des preuves à collecter avant de commencer la génération.
Le planier est illustré ci-dessous : il divise une question complexe en tâches de récupération parallèles et fusionne les éléments de preuve en une réponse citée.
Évaluation
Un système RAG peut produire une réponse soignée même lorsque la récupération des informations est insuffisante, de sorte que des vérifications manuelles occasionnelles ne peuvent pas constituer le seul processus de contrôle de qualité. Trois questions distinctes aident à cela :
- Qualité de la récupération : les résultats de la recherche contiennent-ils des éléments pertinents pour la requête ?
- Fondement : ces éléments étayent-ils la réponse générée ?
- Relevance : la réponse finale répond-elle à ce qui a été demandé ?
Ces questions permettent d’identifier différents types d’échecs. Une récupération insuffisante ne peut pas être corrigée en réécrivant la réponse finale, une réponse bien fondée peut néanmoins manquer le point essentiel, et une réponse pertinente peut contenir des affirmations non étayées. Microsoft Foundry propose des outils d’évaluation pour ces dimensions de qualité des systèmes RAG.
Le diagramme suivant montre comment les trois métriques évaluent différents points de défaillance au sein d’une réponse RAG.
En production, l’évaluation s’effectue en continu : les scores sont collectés et une alerte est déclenchée lorsque ceux-ci descendent en dessous du niveau attendu. La qualité n’est alors plus une simple vérification ponctuelle, mais fait partie intégrante de l’observabilité de l’application.
Assemblage des éléments
Avec les responsabilités séparées, il est plus facile de comprendre le fonctionnement du système. Trois flux se distinguent :
- Flux hors ligne : prépare le corpus en analysant les sources, en les fragmentant et en les incorporant, en y ajoutant des métadonnées ou des relations entre entités, puis en enregistrant tout dans les index de recherche
- Flux en ligne : répond à une demande, avec un planificateur qui choisit ce à rechercher, une recherche effectuée selon les stratégies pertinentes, une fusion et un ré classement des candidats, puis les preuves sélectionnées sont transmises au modèle
Le guide de conception et d’évaluation de la solution RAG de Microsoft sépare ces éléments en problèmes de conception distincts, ce qui constitue un moyen pratique d’organiser le développement.
Viennent ensuite une vision globale du processus, incluant l’ingestion hors ligne, la récupération et la génération en ligne, ainsi qu’une évaluation continue.
Cette séparation explique également pourquoi le travail en production dépasse ce qu’un prototype peut laisser supposer. Le système comprend entre autres le parsing des documents, les index, les recherches vectorielles et lexicales, les liens entre graphes, le classement, les appels aux modèles, les citations, l’évaluation et une interface utilisateur. Les services gérés ou une plateforme peuvent fournir plusieurs de ces composants, mais chaque responsabilité existe toujours, simplement sous la responsabilité d’un autre acteur.
Exemple concret avec des états financiers
Pour mettre en pratique cette architecture dans une application, les états financiers constituent un excellent matériau de référence. Ils combinent des documents longs, des chiffres précis et une terminologie répétée, de sorte qu’une erreur de chiffre est immédiatement visible.
L’application est composée de quatre couches. Une interface utilisateur Blazor Server utilise Telerik UI for Blazor pour les fonctionnalités de chat, les graphiques, les grilles et l’agencement. Elle fait appel au Nuclia .NET SDK pour la récupération des données, tandis qu’un service RAG gère l’ingestion, la récupération hybride et par graphe, ainsi que le réclassement et l’évaluation.
Ces couches sont représentées dans ce diagramme : Blazor Server, Telerik UI, le Nuclia SDK et le service RAG.
Les PDF financiers ont été traités afin que du contenu indexable et des champs structurés puissent être extraits. Cela a permis de vérifier les données de deux manières : une recherche standard pour les questions en langage naturel, et une sortie structurée pour les valeurs destinées à l’interface utilisateur. Un test demandant les ventes nettes de l’exercice fiscal a renvoyé le chiffre accompagné de sa source. Les réponses financières ont besoin de cette citation tout autant que de la phrase elle-même, car elle oriente directement l’utilisateur vers le document correspondant.
L’application s’appuie sur le flux AskAsync du SDK, et ce qui le rend pratique, c’est que la réponse peut être plus que du texte. Un type C# nommé ChartAugmentedAnswer est inclus dans la demande. Le SDK le convertit en un schéma JSON ; l’agent de recherche suit ce schéma pour répondre, et le JSON retourné est déserialisé en un objet C# typé.
Ce diagramme montre le parcours allant d’un type C# vers un schéma, puis vers les éléments récupérés, et enfin vers les données du graphique structurées.
Cela élimine une étape fragile : il n’est plus nécessaire d’analyser du texte pour deviner quels graphiques doivent être affichés. Le texte et les valeurs structurées reviennent dans un seul objet, que le composant du graphique peut directement utiliser.
Choisir le bon niveau
Une source de petite taille et à courte durée de vie peut être gérée uniquement par la fenêtre de contexte. Un corpus plus important, contenant des questions factuelles directes, fait appel au RAG classique comme référence de base : segmentation efficace, recherche vectorielle et par mots-clés, citations et évaluation. Les questions complexes ou conversationnelles, ou celles qui dépendent de liens entre sources, justifient une planification des requêtes et une récupération automatisée. La récupération via des graphes s’avère utile lorsque les relations entre entités font partie de la question, mais elle ajoute de la complexité ; par conséquent, sa disponibilité seule ne constitue pas une raison suffisante pour l’adopter.
Il en va de même pour les plateformes gérées. Elles réduisent la complexité des mécanismes de récupération que l’équipe doit entretenir, tandis que la création de services soi-même offre un contrôle accru sur l’indexation, l’orchestration, le classement et l’intégration. Le choix dépend du niveau que l’équipe souhaite maîtriser.
Un élément ne peut pas attendre : l’évaluation. Une fois que les utilisateurs comptent sur les réponses, il est indispensable d’avoir une méthode fiable pour vérifier que la récupération et la génération fonctionnent toujours comme prévu.
Un prototype montre que la récupération des informations peut fonctionner. La production doit prouver quelque chose de plus difficile : les preuves pertinentes continuent d’apparaître au fur et à mesure que les données, les questions et les utilisateurs évoluent. Cela est possible une fois que les responsabilités ont été réparties. Il convient de créer un pipeline d’ingestion bien organisé, de conserver les citations et les métadonnées sources, de combiner différentes méthodes de récupération lorsque un seul signal n’est pas suffisant, de réclasser les résultats avant leur génération, de planifier les requêtes lorsque une question nécessite plusieurs recherches, et de suivre la qualité, la fiabilité et la pertinence des résultats afin que les changements se manifestent sous forme de mesures et non de suppositions. Un ordre de développement logique consiste à commencer par le modèle de récupération le plus simple permettant de résoudre le problème actuel, et d’ajouter une couche supplémentaire uniquement lorsque l’application démontre son besoin. Ainsi, les résultats sont plus faciles à expliquer, à tester et à améliorer.
Lectures complémentaires
- Déboguez le pipeline, pas le LLM : un modèle mental pour les pannes RAG — Lorsqu’un bot RAG fournit des réponses incorrectes, le modèle est rarement en cause. Suivez les échecs à travers les étapes d’ingestion, de récupération, de génération, d’évaluation et des boucles d’agent pour identifier le niveau défaillant.
- Notes pratiques : Les limites de la recherche vectorielle dans RAG — Similarité cosinus et autres aspects — Guide opérationnel des Notes pratiques : Les limites de la recherche vectorielle dans RAG — Similarité cosinus et autres aspects : contrats, vérifications et blocs de code prêts à l’emploi pour les équipes utilisant ce modèle.