Le découpage : la décision sous-estimée du RAG à l’origine de réponses erronées
Pourquoi la segmentation incorrecte des documents nuit gravement à la qualité de la récupération, comment une segmentation tenant compte de la structure et un découpage en éléments parent-enfant aident, et comment évaluer l’efficacité de ces éléments.
Sources: Chunking: The RAG Decision Everyone Skips, and Shouldn’t
Lorsqu’un chatbot RAG donne avec assurance une réponse fausse, la réaction habituelle est de blâmer le modèle. Les gens remplacent alors le modèle par un LLM plus puissant, modifient la requête ou tentent d’utiliser un autre modèle d’incorporation. Souvent, rien de tout cela ne touche la véritable cause, qui se situe plus tôt dans le processus, au moment où le document a été divisé en fragments. Cette étape s’appelle le chunking. Elle a un impact considérable sur la qualité de la récupération des informations et il est facile de l’ignorer car elle précède les éléments que les gens ajustent habituellement.
Un cas concret rend cela évident. Un client demande à un bot de support si un article endommagé peut faire l’objet d’un remboursement. Le bot indique que les remboursements sont acceptés dans un délai de 30 jours. Cela semble correct, mais la politique précise également que cette règle ne s’applique pas aux articles marqués comme vente définitive. Le bot n’a jamais vu cette clause. Ce n’est pas la faute du modèle ; la phrase se trouvait simplement dans un fragment différent de celui qui a été récupéré.
Ce qui suit explique ce qu’est le chunking, pourquoi la version naïve échoue de cette manière précise et ce que font les systèmes en production pour y remédier. Il s’appuie sur la documentation des fournisseurs et celle des frameworks, en évitant autant que possible les suppositions.
Qu’est-ce que le chunking ?
Un système d’IA qui cherche dans vos documents doit d’abord les diviser en unités plus petites. Deux facteurs pratiques poussent dans ce sens.
Le premier est la précision de la récupération. Si l’on enregistre un document entier comme une seule entrée, une recherche pour "politique de remboursement" renverra tout le fichier, dont la majeure partie est irrelevante. On souhaite obtenir le passage spécifique qui répond à la question. La documentation d’Azure AI Search de Microsoft souligne ce point directement : même lorsque un document respecte la limite d’entrée du modèle, le diviser en parties plus fines permet souvent de meilleures résultats, car un vecteur ne peut pas représenter efficacement de nombreux sous-sujets différents.
Le deuxième problème est la limite stricte de taille des entrées pour les modèles d’incorporation. Le découpage en fragments empêche que le contenu dépassant cette limite ne soit coupé silencieusement.
Le processus s’effectue ensuite de la manière suivante : un document est divisé en fragments. Chaque fragment devient un vecteur, une représentation d’incorporation, et ces vecteurs sont stockés dans une base de données vectorielle. La question d’un utilisateur est également incorporée, et le système récupère les fragments qui obtiennent la meilleure note selon la méthode de recherche utilisée : similitude vectorielle pure, recherche hybride combinant vecteurs et mots-clés, ou une nouvelle phase de réclassification.
C’est à cette étape finale que le choix du découpage peut poser problème. Le système ne peut récupérer que ce qui lui a été fourni. Si les éléments justifiant une réponse sont répartis sur deux fragments et qu’un seul est récupéré, le modèle répond en se basant sur un contexte incomplet et n’a aucun moyen de savoir que l’élément manquant existe ailleurs.
Pourquoi l’approche naïve échoue
La méthode la plus simple consiste en la segmentation en blocs de taille fixe. On divise le texte tous les N tokens ou caractères, quel que soit son contenu. Elle est populaire car elle est simple, prévisible et nécessite très peu de traitement supplémentaire.
Même Azure, dont les directives qualifient la segmentation en blocs de taille fixe de point de départ judicieux, indique clairement que la taille et le degré de chevauchement appropriés dépendent de la structure du contenu et du type de requêtes envoyées par les utilisateurs, et que les données fortement structurées peuvent nécessiter un traitement différent de celui du texte en prose. Le point clé est que plus c’est petit, ce n’est pas automatiquement mieux. Une segmentation trop fine peut séparer des éléments qui doivent être lus ensemble, ce qui est précisément ce qui s’est produit avec la politique de remboursement.
Replayons cet exemple. Supposons que la phrase concernant 30 jours apparaisse dans un bloc et que l’exception liée aux ventes finales apparaisse dans un autre bloc. Une requête concernant les remboursements correspond fortement au premier bloc en raison du mot « refund ». Le bloc contenant l’exception n’est jamais pris en compte. Le modèle raisonne correctement sur ce qu’il a reçu, mais ce qu’il a reçu était incomplet.
C’est là l’échec principal du découpage en blocs : la qualité des résultats dépend de la qualité des blocs, quel que soit le niveau de performance du modèle d’embedding ou du LLM qui suit. Les équipes passent des semaines à ajuster les embeddings et à réordonner les résultats, alors que le véritable goulot d’étranglement se situe à un étape précédente, dans la manière dont les sources ont été divisées.
Ce que font les systèmes de production
Deux schémas se répètent fréquemment.
Découpage tenant compte de la structure
Cette approche cesse de traiter un document comme une chaîne non différenciée. Au lieu de le diviser tous les N tokens, elle commence par le scinder selon des limites naturelles telles que les titres, les sections et les paragraphes, et n’applique une limite de taille que lorsque une section devient trop longue. Azure AI Search propose cette fonctionnalité sous le nom de compétence Document Layout, où un modèle d’intelligence documentaire identifie la structure et génère des sections cohérentes pour une segmentation ultérieure.
En tant que référence avant d’ajouter une prise en compte de la structure, les directives actuelles de Microsoft suggèrent de partir d’environ 512 tokens avec une superposition d’environ 25 pour cent, tout en soulignant que les meilleures paramétrisations dépendent du contenu et de l’usage.
Segmentation parent-enfant
Cette approche, également appelée récupération hiérarchique ou de petit à grand, aborde le même problème sous un autre angle. Au lieu de récupérer un bloc plat en espérant qu’il contienne tout ce qui est pertinent, le système trouve un petit bloc enfant précis pour une correspondance exacte, puis élargit les résultats pour inclure la section parente plus grande afin d’obtenir un contexte complet.
Divers outils populaires l’implémentent :
- LlamaIndex crée une hiérarchie de nodules allant du grossier au détaillé à l’aide d’un
HierarchicalNodeParser. Seuls les petits blocs feuilles sont indexés pour la recherche vectorielle, tandis que leurs sections parentes plus grandes sont stockées dans un entrepôt de documents distinct. UnAutoMergingRetrieverremplace ensuite le bloc parent une fois que suffisamment de ses blocs enfants ont été récupérés ensemble.
ParentDocumentRetriever de LangChain suit la même logique. Il incorpore de petits fragments enfants pour des recherches ciblées, et au moment de la requête, il retrouve le document parent d’où provient chaque résultat pour restituer ce texte plus long, dans le but d’équilibrer une récupération précise et une longueur suffisante pour conserver le contexte.Cette approche fonctionne parce que les blocs petits et grands possèdent des forces différentes. Les petits fournissent des embeddings nets et ciblés, ce qui permet une récupération de haute précision. Les grands donnent au modèle suffisamment de texte environnant pour éviter de répondre à partir d’un fragment incomplet. La segmentation en blocs parent-enfant permet à chaque taille de faire ce pour quoi elle est optimisée, au lieu de forcer une seule taille à assumer à la fois les tâches de récupération et de génération.
Cependant, cela n’est pas universel. Pour des corpus composés d’unités déjà autonomes, comme les entrées FAQ ou les listes de produits, ou pour des données strictement tabulaires et basées sur des schémas, l’étape d’expansion parentale a tendance à ajouter des coûts supplémentaires sans apporter d’avantages équivalents.
Aucune configuration idéale unique
Aucune taille de bloc ni stratégie ne fonctionne partout. Ce qui convient dépend de la structure de vos documents, des questions réellement posées par les utilisateurs, de votre système de récupération et de reclassement, ainsi que de la manière dont vous évaluez l’ensemble du système.
Le chunking sémantique, qui regroupe le texte en fonction de son sens et non de sa structure ou de sa taille, est souvent considéré comme la solution la plus avancée. AWS le présente comme une stratégie prise en charge, aux côtés du chunking à taille fixe et hiérarchique, mais elle implique des paramètres supplémentaires et des compromis ; il convient donc de l’essayer sur ses propres documents et requêtes plutôt que de supposer qu’elle est toujours la meilleure option. Une stratégie plus complexe n’est utile que si elle permet de résoudre un problème réel que l’on rencontre.
Vérifier que le chunking fonctionne
Le choix d’une stratégie n’est pas une décision ponctuelle. Il s’agit de quelque chose à mesurer et à reconsidérer régulièrement. Trois indicateurs méritent d’être suivis une fois que le système est en service.
- Rappel de la récupération. Pour n’importe quelle question : l’ensemble des chunks récupérés comprend-il les éléments nécessaires pour obtenir une réponse correcte ? Si ce n’est pas le cas, aucune manipulation ultérieure ne pourra corriger cette réponse.
En suivant ces trois critères séparément, au lieu de se demander simplement si la réponse finale semble correcte, on transforme le découpage en un processus sur lequel on peut itérer.
Un petit moyen de commencer
Un premier essai peu coûteux est utile. Rassemblez vingt ou trente questions réelles accompagnées des passages qui devraient y répondre. Appliquez ce même ensemble à deux ou trois configurations de segmentation, telles que la taille fixe avec chevauchement, la segmentation tenant compte de la structure et l’expansion parent-enfant. Pour chacune d’elles, comptez la fréquence à laquelle les éléments de preuve nécessaires apparaissent dans l’ensemble récupéré. La configuration qui fonctionne le mieux sur vos propres documents vaut plus que toute recommandation générale.
À retenir
La segmentation n’est pas une étape de prétraitement à configurer une fois pour toutes. C’est la première décision de récupération que prend un système, et tout ce qui suit, des embeddings au reranking en passant par la génération, subit les conséquences de toute erreur commise à ce stade.
Un modèle d’embeddings performant ne peut pas corriger un document mal segmenté. Si les réponses d’un système RAG semblent aléatoires, incomplètes ou clairement fausses, examinez les segments avant d’intervenir sur le modèle.
Sources
Les informations ci-dessus proviennent de la documentation publique de Microsoft Azure AI Search, y compris ses directives concernant le découpage des documents et la compétence Document Layout, du répertoire Azure-Samples sur la conception et l’évaluation de solutions RAG, des pages LlamaIndex relatives aux outils d’agrégation automatique et aux analyseurs de nœuds, du référentiel LangChain pour ParentDocumentRetriever, ainsi que de la page Amazon Bedrock expliquant le fonctionnement du découpage du contenu pour les bases de connaissances. Les paramètres changent d’une version à l’autre, il convient donc de les vérifier dans la documentation actuelle.