Accueil / Articles

KohakuRAG : Ascension de l’arbre de documents pour trouver les preuves appropriées.

KohakuRAG gravit un arbre de documents à quatre niveaux pour trouver des preuves : récupération via plusieurs requêtes, tentatives répétées en cas de réponses vides et système de vote, comme testé sur la tâche WattBot 2025.

Éditeur : REACTAPP.TOP5 min de lecture1122 mots

Sources: KohakuRAG: Climb the Document Tree, Find the Right Evidence

La génération augmentée par récupération de données semble souvent excellente lors des démonstrations, mais échoue face à des questions réelles. KohakuRAG, un cadre décrit dans une étude arXiv de 2026, comble cette lacune grâce à des choix techniques simples, et mérite une attention particulière.

Où le RAG classique fait défaut

Des défis comme celui de WattBot 2025 révèlent ses points faibles. Ils exigent des réponses numériques précises à 0,1 % près, ainsi qu’une attribution exacte de la source. Trois habitudes des pipelines standards nuisent à cela :

  • La segmentation du texte en blocs simples ignore les sections et la structure du document, ce qui rend plus difficile le suivi de l’origine d’une réponse et diminue la crédibilité des citations.
  • Une même requête peut facilement manquer des preuves pertinentes lorsque la question et le document expriment la même idée de manière différente.
  • Une seule passe de génération est instable. Les réponses et les citations changent d’une exécution à l’autre, et un modèle craignant les hallucinations peut ne rien retourner même si les preuves se trouvent directement dans son contexte.
  • Des blocs plats à un arbre

    KohakuRAG est un cadre compact basé sur un index à quatre niveaux : document, section, paragraphe, phrase. La structure est préservée car les embeddings sont combinés de bas en haut. La planification des requêtes par un LLM, associée à un réclassement entre les requêtes, élargit la portée de la récupération. Les réponses sont stabilisées par un vote entre plusieurs générations, et les sorties vides sont gérées de manière spécifique.

    En mode hors ligne : création de l’index

    La analyse prévient tout. Chaque document devient un arbre composé de ces quatre niveaux. Les images et les tableaux sont considérés comme des nœuds de paragraphe spéciaux dotés de légendes générées automatiquement. PyMuPDF extrait les images, tandis qu’un modèle langage-vision (Qwen3-VL) rédige des légendes axées sur le contenu technique, les chiffres et les étiquettes d’axe.

    La majeure partie de l’analyse s’appuie sur des règles. PyMuPDF extrait le texte et la mise en page, puis des heuristiques basées sur la taille de la police, l’espacement et le formatage permettent de restituer la hiérarchie :

    • Sections : les blocs dont la taille de police est au moins 1,2 fois supérieure à la taille médiane sont considérés comme des titres potentiels, et une numérotation telle que 1,2 ou A,3 aide à confirmer une limite.
    • Paragraphes : les blocs voisins séparés par moins de 1,5 hauteur de ligne sont fusionnés, tandis que des intervalles plus importants marquent le début d’un nouveau paragraphe.
    • Phrases : sent_tokenize de NLTK s’occupe de la segmentation, ainsi que de règles supplémentaires pour les abréviations techniques telles que Fig., et al. et i.e.

    Viennent ensuite les embeddings. Les phrases, qui constituent les éléments de base, sont embeddées directement. Chaque élément parent représente la moyenne de ses enfants, pondérée en fonction du nombre de tokens, de sorte que les segments plus longs contribuent davantage. Deux backends sont pris en charge : Jina v3 pour le texte (768 dimensions, contexte allant jusqu’à 8K) et Jina v4 pour la récupération multimodale, avec des dimensions Matryoshka allant de 128 à 2048 et une gestion directe tant du texte que des images. Le stockage utilise sqlite-vec, un backend vectoriel léger.

    En ligne : récupération multi-requête

    Lors de la phase de questionnement, un LLM développe la question initiale en plusieurs requêtes connexes couvrant les reformulations, l’expansion des acronymes et des sous-questions. Chaque requête effectue une recherche de similarité cosinus restreinte aux nœuds de phrase et de paragraphe. Une étape hybride optionnelle ajoute une recherche sparse BM25 uniquement sur l’index des paragraphes, les résultats de cette recherche étant ajoutés après ceux obtenus par la méthode dense.

    Les résultats sont ensuite réclassés selon les requêtes en fonction de la fréquence, du score ou d’une combinaison des deux, de sorte qu’un nœud correspondant à plusieurs requêtes occupe une position plus élevée. Le système parcourt ensuite l’arbre et élargit le contexte : pour chaque résultat trouvé, il inclut les nœuds parents et frères. Une phrase correspondante fait apparaître son paragraphe, et un paragraphe correspondant fait apparaître sa section. Les résultats au niveau de section sont eux-mêmes éliminés car trop gros. Une étape facultative de suppression des doublons peut supprimer les chevauchements entre ancêtres et descendants afin d’économiser l’espace de contexte, bien que les compétitions n’aient pas utilisé cette fonctionnalité.

    Production de la réponse

    Les prompts placent le contexte récupéré avant la question, ce qui combat l’effet de perte intermédiaire, et les marqueurs de citation facilitent l’attribution aux modèles. La sortie est un JSON structuré contenant la réponse, la valeur extraite, les IDs de citation, une explication ainsi qu’un indicateur pour un résultat vide. Lorsque les preuves sont insuffisantes, le modèle doit s’abstenir explicitement. Notez que les citations sont évaluées au niveau de l’ID du document, et non par page ou par segment, ce qui est important pour interpréter ce que le système optimise.

    Une boucle de tentative permet de gérer les résultats vides. Si le modèle indique un manque de preuves, le système applique la méthode top-k, récupère de nouveau les données et répète le processus jusqu’à obtenir une réponse valide ou jusqu’à atteindre la limite de tentatives.

    Plusieurs générations, puis un vote

    Au lieu de demander une seule réponse, le système en génère plusieurs de manière indépendante. Les réponses vides sont supprimées avant le vote lorsqu’il existe au moins une réponse réelle. Si toutes les tentatives se révèlent vides, le système s’abstient. Le vote permet d’équilibrer à la fois les réponses et les citations.

    Résultats

    Cette plateforme a été conçue pour le WattBot 2025 Challenge, donc les résultats proviennent principalement de cet exercice de référence : 32 documents techniques sur l’utilisation de l’énergie par l’IA, incluant des articles, des rapports et des diapositives, pour un total d’environ 500 000 tokens. Les sujets abordés concernent la consommation d’énergie, l’utilisation de l’eau, l’empreinte carbone et les caractéristiques de performance des modèles.

    KohakuRAG a obtenu 0,902 sur le classement public et 0,861 sur le classement privé, et c’était la seule méthode à occuper la première place dans les deux.

    Deux constats se dégagent. L’ordre des étapes est extrêmement important : placer la question après le contexte obtenu, et non avant, a permis une amélioration relative de 80 %, ce qui confirme l’idée du « perdre au milieu ». Parfois, le plus grand gain provient du changement le plus simple. De plus, une simple récupération dense peut suffire. La recherche hybride avec BM25 est généralement considérée comme une référence solide, mais une configuration hiérarchique dense bien structurée s’est avérée très compétitive, et l’ajout de BM25 n’a apporté qu’environ 3,1 % d’amélioration.

    Évaluation

    Aucun élément ici n’est radicalement nouveau. La force réside dans la manière dont un petit nombre de techniques connues (un index en couches, plusieurs requêtes par question, tentative de nouveau en cas de refus du modèle, et vote majoritaire) sont combinées autour d’un objectif exigeant : des réponses précises, des citations exactes, ainsi qu’une volonté de s’abstenir lorsque les preuves sont insuffisantes.

    Cela aborde également l’un des aspects les plus difficiles de la réponse aux questions dans les entreprises, où la traçabilité est encore plus importante que la justesse des réponses. Vu sous cet angle, l’arbre n’est pas simplement un moyen plus sophistiqué de diviser le texte ; c’est une infrastructure pour les citations, les audits et l’analyse des erreurs.

    Deux problèmes persistent. Le premier concerne la sensibilité à la qualité du parsing, ainsi qu’à celle de la planification des requêtes. Le contenu professionnel réel est rempli de PDFs désordonnés et de layouts incohérents, et la détection des sections basée sur des règles peut échouer dès le départ. Le second problème est lié aux coûts et aux délais : les ensembles augmentent les coûts de manière plus ou moins linéaire, et les tentatives de réessai peuvent aggraver les retards, ce qui indique un système à haute fiabilité mais à faible débit, peu adapté aux systèmes de réponse aux questions en ligne à forte concurrence.

    La publication de référence s’intitule « KohakuRAG : Un cadre RAG simple avec indexation hiérarchique des documents » et est disponible sur arXiv.