Accueil / Articles

MultiDocFusion : segmentation hiérarchisée pour RAG sur de longs PDFs

MultiDocFusion conserve le contexte des sections dans chaque partie d’un PDF long : détection du layout, OCR, agrégation via un arbre de en-têtes et des parcours en profondeur, pour une récupération RAG 8-15% plus efficace.

Éditeur : REACTAPP.TOP7 min de lecture1503 mots

Sources: MultiDocFusion: From Flat Chunks to Hierarchy-Aware RAG

La plupart des configurations RAG partent de la même hypothèse peu remarquée : diviser le document en fragments, les intégrer, récupérer les résultats les plus pertinents et compter sur le reste pour fonctionner correctement. Cela fonctionne tant qu’un PDF industriel long n’arrive pas, montrant clairement que les documents n’étaient jamais conçus pour être lus comme de simples éléments isolés.

Un système typique récupère les fragments pertinents et demande à un LLM de répondre à partir d’eux. Pour rendre les documents plus longs recherchables, il faut les diviser en parties plus petites, et les méthodes de découpage habituelles sont rudimentaires : un nombre fixe de mots, ou un découpage basé uniquement sur la similarité sémantique. Les documents réels sont bien plus que du simple texte. Ils contiennent :

  • Des titres et sous-titres imbriqués, à plusieurs niveaux de profondeur
  • Des tableaux, des figures et d’autres éléments dépendant du layout de la page
  • Des passages qui se poursuivent d’une page à l’autre
  • Des PDF scannés qui nécessitent du OCR

La segmentation par longueur revient un peu à découper un manuel au hasard. Les titres sont séparés de leurs sections, les paragraphes perdent les tableaux qui les expliquent et le contexte essentiel disparaît. La récupération des informations donne alors des éléments désordonnés et la qualité des réponses diminue. Les dommages sont les plus graves pour les documents industriels, les rapports financiers, les contrats juridiques et les scans.

Trois signaux fusionnés

Un RAG fiable pour de longs documents nécessite la modélisation conjointe de trois types de signaux :

  • Le layout visuel, c’est-à-dire l’aspect de la page
  • Le contenu textuel, c’est-à-dire ce qu’il dit
  • La hiérarchie structurelle, c’est-à-dire sa manière d’être organisé

MultiDocFusion est conçu précisément autour de cette combinaison. Le terme « Fusion » désigne l’intégration du layout, du texte et de la hiérarchie, tandis que « MultiDoc » indique le soutien aux différents formats de documents ainsi qu’au RAG multi-document au niveau du corpus.

Le pipeline représenté dans la figure fonctionne comme suit : extraction du layout par un analyseur de documents, reconnaissance optique de caractères pour lire et annoter le texte, construction d’un arbre hiérarchique à partir des en-têtes de section détectés et des nœuds généraux grâce à DSHP-LLM, puis une étape de regroupement basée sur DFS qui forme des blocs hiérarchiques cohérents. La codification par couleur permet de distinguer la racine et le titre, les en-têtes de section, ainsi que les nœuds généraux tels que les tableaux, les figures et les blocs de texte.

Un séparateur à longueur fixe coupe le livre aux frontières des tokens. MultiDocFusion fonctionne comme une personne réfléchie : il reconstruit l’arbre structurel du document en temps réel, un peu comme s’il générait un sommaire, et regroupe les éléments qui doivent être ensemble. Cela en fait un outil adapté aux documents longs et complexes.

Les quatre étapes

1. Détection du layout

Chaque page est d’abord considérée comme une image. Le système identifie l’emplacement des titres, des sous-titres, du texte principal, des tableaux et des images, ce qui constitue la reconnaissance du layout. DES techniques DETR, DiT et VGT sont utilisées, toutes affinées sur l’ensemble de données DocLayNet. La sortie n’est pas simplement du texte, mais des boîtes indiquant des positions, chacune enregistrant la page, ses coordonnées ainsi qu’un type tel que titre ou tableau.

2. OCR

Une fois les régions identifiées, l’OCR lit le texte présent dans chaque boîte. EasyOCR, Tesseract et TrOCR ont été comparés dans diverses configurations, étant donné que les résultats dépendent encore de la qualité de la numérisation, des polices et de la langue. Le système sait désormais à la fois qu’une boîte existe et ce qu’elle contient, par exemple un en-tête tel que « 2. Méthode » dans une boîte et des données de tableau dans une autre.

3. Création de la hiérarchie

Cette étape constitue la contribution principale. Un LLM spécialisé est entraîné pour comprendre les relations hiérarchiques au sein du document. Un titre tel que « 1 Introduction » peut se trouver au niveau supérieur, « 1.1 Contexte » en dessous au niveau deux, et des paragraphes ou des tableaux spécifiques sont associés aux titres appropriés.

Plutôt que de se contenter d’extraire du texte, le système reconstruit un sommaire logique, révélant la structure cachée du document.

Après avoir comparé un petit nombre de modèles à poids ouvert, parmi lesquels Llama-3.2 et Qwen-2.5, l’équipe a choisi Mistral-8B comme base la plus solide. Il a été affiné à l’aide de LoRA en combinaison avec une quantification 4 bits (la technique QLoRA). Les données d’entraînement et d’évaluation pour DSHP-LLM proviennent de DocHieNet, soit 1 673 documents, et de HRDH, soit environ 1 500 articles académiques. La seule entrée du modèle est la liste structurée HeaderList, à partir de laquelle il construit l’ossature de l’arbre. Une fois que le LLM a reconstruit cet arbre de titres, le système parcourt chaque segment, bloc de texte et tableau, et les rattache chacun au bon titre en fonction de leurs coordonnées spatiales.

Pourquoi un LLM spécialisé plutôt que des règles simples ? Les documents réels sont complexes. Des heuristiques telles que « une police plus grande signifie un titre » ou « la section 1.2 doit se trouver sous la section 1 » échouent souvent avec des scans, des PDF anciens ou des mises en page complexes. De nombreuses méthodes existantes analysent soit uniquement le texte, soit uniquement la mise en page visuelle, ce qui rend difficile la reconstruction précise de la hiérarchie, en particulier pour les documents scannés ou irréguliers.

L’LLM déduit les relations parent-enfant entre les en-têtes de section. D’autres blocs de contenu sont ensuite associés en fonction de leur ordre spatial et ne sont pas prédits conjointement par l’LLM dans le cadre de la même tâche de hiérarchisation.

4. Fragmentation hiérarchique

Équipé de cet arbre, le système regroupe le contenu selon des règles logiques sans le découper de manière arbitraire. Les titres, le texte et les tableaux d’une section restent ensemble et ne sont séparés que si la longueur l’exige. Chaque fragment conserve sa filiation, par exemple « Titre du document → Chapitre 1 → Section 1.1 → paragraphe spécifique ». La récupération renvoie donc des segments accompagnés de leur contexte, et non de simples extraits isolés ; de plus, le maintien de la hiérarchie au sein de chaque fragment réduit les pertes de contexte.

Comme détail d’implémentation, les fragments finaux écrivent leur hiérarchie sous forme de titres Markdown (#, ## et ainsi de suite), intégrant ainsi une structure dans du texte brut que la récupération et la génération peuvent utiliser.

Ce que montrent les chiffres

Dans la plupart des ensembles de données, MultiDocFusion atteint les meilleures performances en matière de récupération, avec des améliorations particulièrement notables sur des ensembles plus complexes tels que DUDE, MPVQA et MOAMOB. La précision de la récupération a augmenté d’environ 8 % pour atteindre 15 %. Les systèmes précédents avaient tendance à sélectionner des extraits incomplets dispersés sur plusieurs pages. Le découpage tenant compte de la hiérarchie permet plus facilement de récupérer des fragments structurés de manière cohérente qui conservent le contexte de la section, même lorsque toute une section doit encore être divisée pour des raisons de longueur.

En ce qui concerne la réponse aux questions, les résultats s’améliorent également globalement, avec ANLS en hausse d’environ 2 % pour atteindre 3 %. Cela correspond à l’idée selon laquelle un contexte mieux structuré favorise de meilleures réponses, bien que l’étude ne considère pas la qualité de la récupération comme la seule cause de ces améliorations en matière de QA.

La véritable innovation réside dans la transformation des documents longs en une « représentation par chemin d’arbre » facilitant la recherche. DSHP-LLM identifie les relations entre les en-têtes, les paragraphes et les tableaux en se basant sur l’ordre spatial, puis DFS intègre les en-têtes ancestraux dans chaque partie du document. En pratique, cela permet une réécriture structurée au moment de l’indexation.

Deux préoccupations

  • Une hypothèse discutable. La méthode considère que chaque nœud situé entre un en-tête et le suivant appartient à l’en-tête actuel. Ce n’est pas toujours le cas, en particulier pour les designs à deux colonnes, les barres latérales, les tableaux ou images flottants, les notes de bas de page s’étendant sur plusieurs pages ou les annexes référencées. Deux éléments situés côte à côte sur une page ne sont pas nécessairement liés par leur signification.
  • Enflure de l’index. La copie répétée des en-têtes des éléments parents dans les blocs enfants génère un grand nombre de blocs, au total 20 773, avec en moyenne 521,65 tokens par bloc. La récupération des informations pourrait alors s’appuyer davantage sur les titres de section que sur le contenu réel du texte, en particulier pour les documents de modèles d’entreprise dont les fichiers présentent des en-têtes similaires. L’étude elle-même admet cet équilibre difficile parmi ses limites, soulignant que la duplication du contexte parent augmente la taille de l’index, le coût de stockage et le temps de récupération. Une segmentation adaptée au budget ou une déduplication au niveau des nœuds serait nécessaire à grande échelle.

Une analogie avec MoDora

MoDora, une approche similaire visant à transformer des blocs OCR endommagés en un arbre de document dynamique, partage l’idée fondamentale : reconstruire d’abord la structure interne, puis seulement confier la tâche à la récupération et au contrôle de qualité.

  • MultiDocFusion passe de la analyse et du OCR à un arbre hiérarchique grâce à DSHP-LLM, puis à des blocs hiérarchiques via DFS. Il s’agit d’un modélisation consciente de la structure et d’une création de blocs adaptée.
  • MoDora rassemble d’abord les éléments OCR en composants conscients du layout, avant de construire un CCTree. Il modélise les hiérarchies de composants, les différences de layout ainsi que les relations entre composants avant la récupération et l’analyse.

Aucun des deux ne traite un document comme une séquence de texte plate. Chacun représente explicitement la hiérarchie comme une étape intermédiaire avant la récupération des informations.

Lectures complémentaires

  • RouteRAG : Enseigner à un petit modèle quand et comment récupérer des informations avec l’RL — Comment RouteRAG utilise un entraînement GRPO en deux étapes pour basculer entre la récupération par paragraphe, par graphe et hybride, réduisant le nombre d’itérations tout en aidant les petits modèles dans les questions-réponses à plusieurs étapes.
  • KohakuRAG : Monter l’arbre des documents pour trouver la preuve appropriée — Présentation de KohakuRAG, un cadre RAG doté d’un arbre de documents à quatre niveaux, permettant la récupération de multiples requêtes, des tentatives de récupération en cas d’échec et un système de vote, testé sur WattBot 2025.
  • La récupération d’informations sur une wiki technique : BM25, les fenêtres denses sécurisées par les tokens et RRF — Récupération axée sur l’évaluation pour une wiki technique : cibles basées sur des preuves exactes, une ligne de référence BM25, un bug de troncature de MiniLM, les fenêtres de tokens et les résultats de fusion par rang réciproque.
  • Création d’un assistant à la documentation d’API utilisant RAG avec LlamaIndex — Construire un assistant à la documentation d’API avec LlamaIndex : charger des documents Markdown, les diviser en blocs avec SentenceSplitter, les incorporer, les stocker dans Chroma et effectuer des requêtes avec un RAG QueryEngine.