30 questions d’entretien sur le RAG et les bases de données vectorielles avec des réponses concises.

Ces trente questions reviennent fréquemment lors des entretiens des équipes pour des postes liés à la génération augmentée par la récupération d’informations et à la recherche vectorielle. Les réponses sont formulées comme un bon candidat pourrait les donner : courtes, avec l’équilibre entre avantages et inconvénients indiqué ainsi que la mesure concernée mentionnée.

Les bases

1. Qu’est-ce que le RAG en une phrase ?

C’est un modèle dans lequel le système récupère des éléments de preuve à partir d’une source de connaissances externe au moment de la question et les présente au modèle avant même qu’il ne produise quoi que ce soit. Le processus typique va de l’analyse de la requête à la récupération des données, au réclassement et à la construction du contexte, en passant par la génération et une étape de vérification finale. Cela permet à une organisation d’utiliser des matériaux privés, à jour et citables sans avoir à réentraîner un modèle. Cependant, la récupération d’informations ne garantit pas la vérité, il reste donc nécessaire de vérifier les références, les autorisations et la qualité des réponses.

2. Dans quels cas le RAG est-il pertinent ?

Préférez-le lorsque les réponses dépendent de documents privés, d’informations qui changent fréquemment, de grandes collections, de preuves traçables ou de règles d’accès par utilisateur et par locataire. Il est généralement inutile pour résumer du texte déjà collé par l’utilisateur, pour effectuer des calculs précis, pour modifier le style d’écriture, ou pour des données structurées en temps réel que une API ou une base de données peut renvoyer directement.

3. En quoi RAG, le fine-tuning et l’incitation au contexte long diffèrent-ils ?

RAG fournit des connaissances au moment de l’inférence. Le fine-tuning modifie le comportement appris par le modèle. L’incitation au contexte long inclut davantage de texte source dans la propre instruction.

• Choisissez RAG pour les connaissances qui changent, qui sont privées ou qui doivent être citées.
• Choisissez le fine-tuning pour le comportement, le ton, le format ou une tâche spécialisée.
• Choisissez l’incitation au contexte long lorsque le corpus convient et que la tâche nécessite une comparaison à l’échelle de l’ensemble du corpus.

Sélectionnez des outils ou des API pour des données transactionnelles en temps réel.

Ils se combinent bien : un modèle optimisé peut récupérer des documents de politique via RAG et consulter les chiffres des comptes en temps réel grâce à une appel API.

4. Une base de données vectorielle, c’est la même chose qu’un système RAG ?

Non, c’est juste un élément constitutif. Elle stocke des embeddings, répond aux requêtes de similarité, filtre sur les métadonnées et gère l’entretien de l’index. Un système de production fonctionnel nécessite bien plus : analyse des documents, segmentation, contrôle d’accès, recherche hybride, réclassement, assemblage de prompts, génération, citations, évaluation, surveillance et gestion des suppressions. Lorsqu’un système RAG déçoit, la cause est le plus souvent une préparation négligente du corpus ou l’absence d’évaluation, plutôt que le choix de la base de données.

5. En quoi la recherche dense, lexicale et sparsa diffèrent-elles ?

La récupération dense compare les embeddings et gère bien les paraphrases ainsi que les concepts, mais elle peut manquer des identifiants exacts. La récupération lexicale comme BM25 évalue les termes en fonction de leur fréquence et de leur rareté, et elle est particulièrement efficace pour les noms, les codes de produits, les messages d’erreur et le jargon. La récupération neuronale sparse comme SPLADE apprend l’expansion des termes tout en conservant un index inversé. Une base de référence solide en environnement de production mélange généralement les résultats lexicaux et ceux de la récupération dense.

6. Pourquoi conserver BM25 dans une pile de recherche sémantique ?

Elle est excellente pour les mots exacts, les termes rares, les acronymes, les codes d’erreur, les citations juridiques et les identifiants de produits, que les embeddings peuvent représenter de manière insuffisante. De plus, elle est peu coûteuse et transparente. Comme les deux méthodes ont tendance à échouer sur des requêtes différentes, les combiner améliore généralement le taux de rappel.

7. Encodage binaire versus encodage croisé ?

Un bi-encodeur incorpore séparément la requête et chaque document, ce qui permet de calculer à l’avance des vecteurs de documents et de les rechercher parmi des millions d’enregistrements. Un cross-encodeur lit simultanément la requête et un document, ce qui permet d’évaluer plus précisément le degré de pertinence, mais nécessite un traitement distinct pour chaque candidat. La conception standard utilise un bi-encodeur pour assurer une large couverture des résultats et un cross-encodeur pour améliorer la précision en réordonnant les résultats.

8. Cosinus, produit scalaire ou distance euclidienne ?

Le cosinus compare l’angle entre les vecteurs, le produit scalaire tient compte de l’alignement et de l’amplitude, tandis que la distance euclidienne mesure la distance en ligne droite. Lorsque les embeddings sont normalisés selon la norme L2, le cosinus et le produit scalaire donnent des classements identiques. Suivez l’objectif d’entraînement du modèle d’embeddings ainsi que sa fiche descriptive, car l’utilisation d’une métrique inadaptée peut considérablement nuire aux résultats de recherche.

Recherche et récupération vectorielle

9. Qu’est-ce que la recherche par voisin le plus proche approximative ?

ANN trouve les vecteurs les plus proches de la requête sans comparer avec chaque vecteur stocké. Cela réduit la latence et les coûts à grande échelle, mais peut manquer certains voisins réels, il convient donc d’évaluer le taux de rappel par rapport à une recherche exacte. L’équilibre principal réside entre vitesse et coûts d’une part, et risque de perte de rappel d’autre part.

10. Comment se comparent les méthodes flat, HNSW, IVF et la quantification ?

• Flat : compare tout et offre des résultats exacts, mais est coûteux à grande échelle.
• HNSW : parcourt un graphe navigable pour un taux de rappel élevé et une faible latence, au prix d’une consommation mémoire supplémentaire.
• IVF : regroupe les vecteurs en partitions de centres de masse et ne recherche que quelques-unes d’entre elles ; augmenter la valeur de nprobe améliore le taux de rappel mais augmente également la latence.
• Quantification produit ou scalaire : compresse les vecteurs pour économiser de la mémoire et de l’espace de stockage, au détriment d’une précision moindre.

Choisissez en fonction de la taille du corpus, des filtres, de la mémoire, du mode de mise à jour, de la concurrence et du taux de rappel dont vous avez besoin.

11. Qu’est-ce que la recherche hybride et pourquoi l’utiliser ?

Elle combine des résultats denses avec des résultats lexicaux ou spars. Les correspondances sémantiques proviennent de la partie des embeddings, tandis que les termes exacts proviennent de la partie des mots-clés ; les listes sont ensuite fusionnées par fusion du rang réciproque, par des scores pondérés ou par fusion des scores normalisés. L’avantage est maximal pour les données d’entreprise qui mêlent des concepts en langage courant à des numéros de dossier, des codes de politique, des identifiants de pièces et des messages d’erreur.

12. Qu’est-ce que la fusion du rang réciproque ?

RRF fusionne les listes classées en se basant sur les positions et non sur les scores bruts. Chaque document reçoit, pour chaque liste, la valeur 1 divisée par (k plus son rang), et ces valeurs sont additionnées. Comme les scores denses et lexicaux relèvent de différentes échelles, leur addition directe est peu fiable. RRF évite la calibration et récompense les documents classés haut par plusieurs outils de récupération.

13. Pourquoi réclasser ?

Les outils de récupération en première étape optimisent pour la vitesse et le taux de rappel, de sorte que leurs listes de candidats contiennent des correspondances faibles. Un réclasseur applique un modèle plus précis à un ensemble restreint et place les meilleures preuves en tête, ce qui améliore la précision contextuelle et évite au générateur de traiter du texte irrelevant. Ajustez le nombre de candidats en fonction du Recall@k, de la latence du réclasseur, du coût et des performances sur les types de requêtes clés.

14. Quel est l’effet de la pertinence marginale maximale ?

Le MMR équilibre la pertinence et la redondance lors du choix des passages : en gros, un score de pertinence pondéré par lambda moins le complément de lambda multiplié par la similarité avec ce qui a déjà été sélectionné. Sans cela, le système pourrait retourner plusieurs extraits presque identiques provenant d’une même section. Il améliore la couverture lorsque les résultats sont répétitifs, mais une trop grande diversité entraîne moins de passages pertinents.

15. Pourquoi les filtres de métadonnées peuvent-ils nuire à la qualité de l’ANN ?

Si la recherche ANN est effectuée en premier et que des filtres sont appliqués par la suite, de nombreux candidats de premier plan peuvent être éliminés car ils appartiennent au mauvais locataire, produit, plage de dates ou version de document, ce qui entraîne moins de résultats que demandé. Les solutions incluent une recherche intégrée ou préfiltrée, des index de métadonnées, un suréchantillonnage des candidats, des partitions par locataire, une recherche itérative, ainsi qu’une recherche exacte pour des filtres très sélectifs. Les filtres d’autorisation doivent être appliqués en tant que contraintes de récupération fiables et non laissés en tant qu’instructions temporaires.

Préparation des données

16. Comment choisir une stratégie de segmentation ?

Décidez par essai, en vous guidant par la structure du document et par la manière dont les gens effectuent leurs recherches. De petits fragments permettent une correspondance précise mais perdent le contexte, tandis que de grands fragments conservent le contexte tout en affaiblissant les embeddings, en augmentant les coûts et en masquant les preuves. Le menu propose des méthodes de segmentation en tokens fixes, récursives, conscientes de la structure, sémantiques, basées sur des fenêtres de phrases, ainsi que par groupes parents-enfants. Comparez-les pour chaque type de document en ce qui concerne le taux de rappel, le fait que les limites coupent les idées en deux, les doublons, la taille du contexte et la qualité des réponses finales.

17. Qu’est-ce que la récupération parents-enfants ?

De petits fragments enfants sont indexés pour une correspondance précise, mais le modèle reçoit la section parente plus grande. Si un paragraphe d’une politique correspond, le système renvoie la section environnante avec ses définitions, exceptions et conditions. Cela équilibre précision et exhaustivité, à condition que l’expansion soit limitée afin de ne pas submerger la fenêtre de contexte.

18. Qu’est-ce que la récupération contextuelle et le chunking tardif ?

La récupération contextuelle enrichit chaque chunk de contexte spécifique au document, tel que le titre, le chemin de la section ou une brève explication, avant son intégration. Le chunking tardif encode d’abord une plus longue portion du document, puis regroupe les représentations des tokens en embeddings de chunk, de sorte que les chunks locaux conservent des informations provenant du texte plus large. Ces deux méthodes aident à gérer les chunks ambigus, mais augmentent la complexité de l’ingestion ; il convient donc de les valider à l’aide de références plus simples.

19. Qu’est-ce qu’un pipeline d’ingestion solide ?

1. Collecter les documents et enregistrer leur propriétaire, leur classification, leurs ACL et leur durée de conservation.
2. Parser le texte, les titres, les tableaux, les pages et la mise en page.
3. Supprimer le bruit généré par l’OCR ainsi que les éléments répétitifs standard.
4. Créer des chunks en tenant compte de la structure.
5. Attacher des métadonnées, des informations sur l’origine et des liens entre éléments hiérarchiques.
6. Générer des embeddings denses et des représentations sparses.
7. Effectuer des opérations upsert avec des identifiants déterministes.
8. Vérifier les comptages, les checksums, les ACL, les suppressions ainsi que les canaris de récupération.
9. Versionner le parseur, le chunker, le modèle d’embedding et la génération de l’index.

Il doit également gérer les mises à jour, le retraitement, le rollback et la suppression vérifiée.

20. Comment gérer les PDF et les tableaux complexes ?

Parser les PDF numériques natifs à l’aide d’un outil conscient du layout, afin que les titres, les colonnes, l’ordre de lecture, les légendes, les tableaux et les numéros de page restent liés. Les scans nécessitent un OCR avec des scores de confiance, et parfois des boîtes délimitantes ou des images de page. Conserver les en-têtes de chaque tableau, les unités, son identité, ainsi que les coordonnées de page et de cellule. Pour les questions numériques, récupérer la structure du tableau et calculer le résultat de manière déterministe. Améliorer le parseur rapporte souvent plus que de simplement changer le modèle d’embedding.

Modèles avancés

21. Qu’est-ce que la réécriture de requête, la récupération multi-requête et HyDE ?

La réécriture transforme une question vague ou conversationnelle en une question adaptée à la recherche. La récupération multi-requête génère plusieurs variantes et fusionne les résultats afin d’améliorer le taux de rappel. HyDE écrit une réponse hypothétique et l’intègre pour combler le fossé entre la question et les preuves. Ces trois méthodes ajoutent du délai, des coûts, de la duplication ainsi que des hypothèses générées, ce qui signifie que la requête originale devrait généralement rester utilisée.

22. En quoi Self-RAG, CRAG, RAPTOR et GraphRAG diffèrent-ils ?

• Self-RAG : le modèle décide s’il faut récupérer des informations et analyse ce qu’il a obtenu.
• CRAG : évalue la qualité de la récupération et déclenche des corrections telles que la réécriture ou le changement de source.
• RAPTOR : regroupe les fragments en une hiérarchie de résumés afin que la récupération puisse se faire à différents niveaux de détail.

GraphRAG : extrait les entités et leurs relations pour les représenter sous forme de graphe, destiné aux questions qui nécessitent de consulter plusieurs documents ou l’ensemble du corpus.

Il ne faut les adopter que lorsque l’évaluation révèle un échec spécifique par rapport à une référence de base. GraphRAG s’avère utile lorsque les questions relatives aux relations ou à l’ensemble du corpus ne peuvent pas être résolues de manière fiable par une recherche hybride associée à une décomposition de la requête.

23. Qu’est-ce que l’agentic RAG ?

Le modèle choisit parmi un ensemble d’outils contrôlés pour la recherche et le raisonnement : recherche de documents, lecture d’un fichier précis, SQL, API ou un graphe de connaissances. Une version destinée à la production nécessite des outils typés et autorisés, des budgets de recherche et de tokens, des limites de pas, des règles d’arrêt et de refus, une autorisation à chaque limite d’outil, des journaux complets de trajectoire, des tests reproductibles et l’approbation humaine pour les actions ayant des conséquences. L’évaluation doit évaluer à la fois la réponse finale et le parcours des choix d’outils.

Évaluation et diagnostic

24. Quelle métrique vient en premier ?

Recall@k du candidat : proportion de requêtes pour lesquelles les preuves requises apparaissent dans l’ensemble récupéré, calculée comme le nombre d’éléments pertinents trouvés parmi les k premiers divisé par le nombre total d’éléments pertinents. Si les preuves manquent, ni le réordonneur ni le générateur ne peuvent les récupérer. Ensuite, évaluez le classement avec MRR ou nDCG, puis la précision contextuelle, la correction, la fidélité, la qualité des citations, la latence et le coût.

25. MRR contre nDCG ?

La moyenne des rangs réciproques vaut 1 pour le rang du premier résultat pertinent, ce qui la rend adaptée aux cas où un seul passage de qualité suffit. nDCG évalue l’ensemble du classement et prend en compte un degré de pertinence graduel, ce qui convient aux situations où plusieurs passages ont un niveau d’utilité différent. Utilisez MRR pour évaluer les performances en cas de premier résultat pertinent, et nDCG lorsque l’ordre parmi plusieurs résultats est important.

26. Comment évaluez-vous la qualité des réponses ?

Évaluez séparément la récupération et la génération. Pour la récupération, suivez Recall@k, Precision@k, MRR ou nDCG, ainsi que la correction et la fraîcheur de la version. Pour la génération, surveillez la correction, le respect des preuves fournies, la complétude, le soutien des citations, les refus appropriés et le respect des politiques. Ajoutez également la latence globale, le coût, l’acceptation par l’utilisateur et les résultats pour les cas à haut risque.

27. Qu’est-ce que le test oracle-context ?

Omettez la phase de récupération et fournissez au générateur des preuves connues comme correctes. S’il répond bien avec ces preuves mais échoue dans le processus complet, suspectez des problèmes de récupération, de filtrage, de réclassement ou de construction du contexte. S’il échoue encore, examinez le prompt, le raisonnement, la génération ou la vérification. C’est l’un des moyens les plus rapides de distinguer les défauts de récupération des défauts du générateur.

28. Comment diagnostiquer une grande fidélité associée à une faible correction ?

« Fidèle » signifie que la réponse correspond au contexte fourni, tandis que « incorrect » indique que ce contexte était incomplet, irrelevant, obsolète ou insuffisant. Comparez, dans l’ordre : les preuves solides par rapport aux candidats obtenus, les candidats par rapport aux résultats réordonnés, les résultats réordonnés par rapport au contexte final, la génération finale par rapport à une exécution avec contexte oracle, et enfin les versions sources, les filtres et les documents en conflit. Les causes typiques sont un faible taux de rappel, un classement déficient, des preuves obsolètes, l’absence d’exceptions, une compression excessive du contexte ou une réponse de référence erronée.

Le faire en toute sécurité à grande échelle

29. Comment maintenir la sécurité d’un système RAG multi-locataires ?

Obtenez l’identité du locataire et de l’utilisateur à partir d’une authentification fiable et jamais à partir de la demande utilisateur. Parmi les contrôles utiles figurent les filtres ACL appliqués par le stockage de données, les index ou partitions par locataire, les caches conscients des ACL, les rôles de service au minimum de privilèges, le chiffrement et les journaux d’audit, les tests d’isolation entre locataires, la détection des injections de commandes, les listes d’autorisation sources avec vérification de l’origine, ainsi qu’une suppression vérifiée de bout en bout. Traitez le contenu récupéré comme non fiable, car les documents peuvent contenir des instructions malveillantes.

30. Comment concevriez-vous une plateforme à grande échelle ?

Commencez par clarifier le volume de documents, le taux de requêtes, les locataires, la fréquence des mises à jour, les délais d’exécution pour la suppression, la latence, les besoins en citations, ainsi que les objectifs en matière de sécurité et de qualité. Ensuite, divisez la conception en différentes phases :

• Ingestion : connecteurs, analyse, segmentation, enrichissement, intégration, indexation, conciliation et suppression.
• Requête : authentification, routage, récupération hybride, filtrage par ACL, fusion, réclassement, assemblage de contexte, génération, vérification et refus.
• Évaluation : ensembles de données étiquetées, expériences hors ligne, tests de régression, revue par des humains et mécanismes de mise en production.
• Observabilité : traces de chaque requête, informations sur ce qui a été récupéré, versions du modèle et de l’index utilisées, ainsi que des indicateurs de latence, d’utilisation des tokens, de coûts, de fraîcheur, de qualité et de sécurité.
• Contrôle : intégration des utilisateurs, configuration, quotas, mises en production, sélection des modèles et politiques définies.

Pour assurer la résilience, ajoutez des IDs déterministes, des index versionnés derrière des alias, des migrations permettant d’exécuter deux index en parallèle, des disjoncteurs de circuit, des charges de travail limitées, du cache, des déploiements en mode canari, des fonctionnalités de rollback ainsi que des SLO explicites. GraphRAG ou la récupération agente devraient être utilisés uniquement lorsque des échecs mesurables justifient leur emploi.