Accueil / Articles

Recherche sur une wiki d’ingénierie : BM25, fenêtres denses sécurisées pour les tokens et RRF.

Recherche basée sur l’évaluation pour une wiki technique : cibles fondées sur des preuves exactes, référence BM25, bug de troncature de MiniLM, fenêtres de tokens et résultats de fusion du rang réciproque.

Éditeur : REACTAPP.TOP7 min de lecture1701 mots

Sources: Building RAG from the Corpus Up, Not the Model Down

Une idée guide tout au stade de récupération de ce projet RAG axé sur l’évaluation, qui fonctionne sur une grande wiki d’ingénierie :

Ce qui est mis en correspondance et ce qui est retourné n’ont pas nécessairement à être la même chose.

Le découpage en blocs avait déjà produit de petits enregistrements de recherche délimités, chaque bloc parent d’origine restant intact. Cela soulève des questions pratiques : la recherche doit-elle se baser sur des mots-clés ou sur des embeddings ? Un bloc enfant correspondant doit-il être envoyé directement au modèle de langage ? Combien de résultats doivent être retournés ? Et comment comparer ces choix sans s’appuyer sur un petit nombre de requêtes qui semblent justes par hasard ?

La wiki est privée, donc les exemples présentés ici sont synthétiques et les détails du corpus sont limités. Les choix d’implémentation et les résultats mesurés, en revanche, sont réels. Les étiquettes de pertinence restent exploratoires et ne doivent pas être confondues avec des valeurs de référence réelles en environnement de production.

Le contrat de preuve passe en premier

Tout enregistrement de recherche ne constitue pas une preuve fiable. Un simple bloc de titre peut servir à la fois d’unité de correspondance et d’unité retournée. Un enfant récursif, un fragment JSON ou une fenêtre de code est différent : il existe afin que la recherche puisse trouver une structure plus grande, et il ne doit pas remplacer cette structure.

Chaque enregistrement de recherche se résout donc en une cible de récupération :

ordinary chunk  -> exact chunk
recursive child -> exact parent chunk
JSON locator    -> exact source document
code locator    -> exact source document

Cette mise en correspondance s’exécute avant le classement final. Lorsque deux éléments enfants superposés du même parent correspondent tous les deux, ils sont fusionnés en un seul objectif, de sorte que deux emplacements de résultat ne sont jamais utilisés pour des fragments faisant référence à la même preuve.

L’hydratation a lieu après le classement. Le système de récupération prend l’ID de l’objectif et charge le bloc parent d’origine ou le document source, en conservant son contenu, son chemin d’origine, la plage de lignes et son hash. Le petit élément enfant reste présent en tant qu’arbre de correspondance, mais n’est pas proposé comme contexte complet de réponse. En une phrase : rechercher via des locuteurs optimisés, classer les objectifs uniques, restituer des preuves fiables.

Partir d’une base lexicale

La récupération dense est souvent considérée comme la méthode par défaut pour RAG, or une wiki technique regorge de termes que la recherche lexicale traite sans effort, tels que les noms d’API, les clés de configuration, les chemins, les codes d’erreur, les commandes shell, les acronymes propres aux entreprises et les noms de services.

BM25 a été choisi en premier car il est rapide, interprétable et difficile à surpasser pour les identifiants exacts. Le tokeniseur conserve des termes tels que api/v2, config.yaml et error-code dans leur intégralité, sans supprimer les caractères qui les rendent distinctifs. Chaque enregistrement est indexé accompagné d’un contexte environnant :

document title
heading path
exact record content

Le titre et le chemin du en-tête sont importants car un fragment court peut être ambigu à lui seul. Une phrase telle que « Restart the worker » prend plus de sens lorsque l’index montre également « Operations > Troubleshooting > Recovery ». Ce contexte sert uniquement à la correspondance et n’est jamais intégré au contenu source officiel.

BM25 a fourni une base solide et facile à comprendre, tout en révélant une propriété de l’ensemble d’évaluation. Les questions issues de documents sources réutilisent souvent leur propre vocabulaire, ce qui favorise la recherche lexicale. Par conséquent, une victoire de BM25 sur cet ensemble ne peut pas être considérée comme transférable aux futures requêtes des utilisateurs.

Récupération dense et un bug de troncature discret

La ligne de référence utilisée est sentence-transformers/all-MiniLM-L6-v2, qui génère des embeddings normalisés de 384 dimensions, ce qui permet à la similarité cosinus de se réduire à un produit scalaire. La première version encodait chaque enregistrement de recherche sous forme de chaîne unique. Le découpage en blocs imposait déjà un budget de mots, ce qui semblait sécurisé.

C’était faux. Les limites de taille des blocs étaient calculées en mots approximatifs, tandis que MiniLM ne supporte au maximum que 256 tokens du modèle. Les chemins, le marquage, le JSON et les identifiants ne présentent pas de rapport stable entre mots et tokens ; par conséquent, un enregistrement restant dans le budget de découpage pouvait encore dépasser les capacités du modèle. Sentence Transformers tronquait de tels enregistrements sans en avertir l’utilisateur. Le texte situé vers la fin d’un long enregistrement n’atteignait jamais l’encodeur. L’enregistrement existait et le bloc était indexé, mais une requête pouvait échouer parce que la phrase pertinente avait été coupée avant l’encodage.

Leçon : une limite de segmentation n’est pas une limite d’incorporation, à moins que les deux ne soient mesurées à l’aide du tokeniseur du modèle sélectionné.

Fenêtres sûres pour les tokens

L’index dense corrigé appelle directement le tokeniseur du modèle. Pour chaque enregistrement, une partie limitée du budget de tokens est allouée au titre du document et à la structure des titres, tandis que le reste sert au contenu. Les contenus longs donnent naissance à des fenêtres de tokens qui se chevauchent, avec un chevauchement de 32 tokens. Une fois le texte final composé, il est à nouveau tokenisé pour vérifier qu’il reste dans les limites de 256 tokens.

search record
  -> contextual prefix
  -> tokenizer-aware content windows
  -> normalized embedding per window
  -> collapse matching windows to one retrieval target

L’expérience complète a produit environ deux fois plus de fenêtres denses que de fichiers de recherche sources. C’est ce à quoi on s’attendait. Les fenêtres élargissent la couverture des correspondances, mais ne fournissent aucune nouvelle preuve exploitable, car plusieurs fenêtres se résolvent toujours au même bloc parent ou au même document source.

Trois unités peuvent prêter à confusion ici :

  1. Unité source : le document original ou le bloc parent exact.
  2. Unité de recherche : un enfant conscient de la structure ou un bloc ordinaire.
  3. Unité d’incorporation : une fenêtre du texte de recherche de taille adaptée au tokeniseur.

Seule la première unité compte comme preuve. Les unités de recherche et d’incorporation ne font que la pointer.

Évaluer au-delà de « ça a l’air bon »

Vingt questions issues du texte source ont été rédigées pour couvrir des aspects procéduraux, conceptuels, axés sur les identifiants et des modèles transversaux. Chacune d’elles énumère un ou plusieurs IDs de cibles pertinentes à retrouver. Les étiquettes sont délibérément marquées comme en attente d’examen. Les questions issues du texte source fonctionnent bien avec le pipeline, mais elles présentent deux biais : un vocabulaire proche de celui du texte source favorise BM25, et les premières étiquettes peuvent négliger d’autres passages susceptibles de répondre à la question. Par conséquent, ces scores servent de preuve comparative pour cet ensemble de données et non comme référence opérationnelle.

Le point de référence était de cinq passages retournés, avec trois métriques :

  • MRR@5 indique à quel stade apparaît le premier résultat pertinent.
  • Recall@5 montre quelle partie des éléments pertinents connus figure parmi les cinq premiers résultats.
  • nDCG@5 indique si les cibles pertinentes se regroupent en haut du classement.
  • La première comparaison a donné les chiffres suivants :

    • BM25 contextuel : MRR@5 0,4875, Recall@5 0,5583, nDCG@5 0,4533.
    • MiniLM à fenêtre : MRR@5 0,1392, Recall@5 0,2500, nDCG@5 0,1593.
    • Hybride avec fusion de rangs réciproques : MRR@5 0,5308, Recall@5 0,7583, nDCG@5 0,5480.

    Sur cet ensemble de données, BM25 a clairement surpassé la recherche dense. Cela ne rend pas les embeddings inutiles. Les deux méthodes de recherche ont échoué de manières différentes, ce qui a permis une fusion.

    Récupération hybride sans index hybride

    Les indices BM25 et dense restent séparés, et leurs résultats classés sont fusionnés au moyen de la méthode des rangs réciproques. Pour une cible d, le score fusionné correspond à la somme, pour tous les récupérateurs, de 1 divisé par (k plus le rang de ce récupérateur pour d), où k est fixé à 60 dans cette expérience.

    Chaque moteur de recherche fournit ses 10 cibles uniques les plus pertinentes, fusion combine ces classements, et les cinq passages les mieux classés sont retournés. Les scores lexicaux et les scores de densité n’ont jamais besoin d’être calibrés l’un par rapport à l’autre, car fusion tient compte des positions dans le classement et non de la magnitude brute des scores.

    Le taux de rappel à 5 passages est passé de 0,5583 avec BM25 seul à 0,7583, et le classement du premier hit ainsi que l’nDCG se sont également améliorés. Sur cet ensemble exploratoire, les correspondances de densité complémentaires ont été utiles, même si la recherche par densité seule était faible.

    L’implémentation repose sur un moteur de recherche coordonnateur et non sur un troisième index physique :

    query
      -> BM25 top 10 targets
      -> dense top 10 targets
      -> target-level RRF
      -> top 5 targets
      -> exact parent/source hydration
    

    Celui-ci enregistre également le rang de chaque moteur de recherche ainsi que l’élément localisateur correspondant. Cette traçabilité permet d’expliquer chaque résultat, en indiquant si c’est BM25, une recherche dense ou les deux qui l’ont trouvé, et quel sous-élément ou quelle fenêtre d’incorporation a mené au document fiable.

    Diversité qui a eu des effets contraires

    Les résultats hybrides présentaient parfois plusieurs extraits d’un même document, ce qui semblait redondant. On a essayé un sélecteur permettant un maximum d’extraits par document. Les résultats semblaient alors plus variés, mais la qualité de la recherche diminuait. Dans les documents procéduraux ou fortement structurés, plusieurs sections d’une même page peuvent être nécessaires. La diversité des documents agissait donc comme une préférence visuelle et non comme un signal de pertinence. Ce sélecteur reste disponible pour des expériences ultérieures, mais il est désactivé par défaut.

    Il convient de distinguer que des documents répétés ne constituent pas des preuves répétées. Il est correct de fusionner les sous-éléments qui se résolvent vers la même cible. Supprimer des sections pertinentes distinctes simplement parce qu’elles partagent un document est une décision séparée qui nécessite des preuves spécifiques à la tâche.

    Garanties du chemin final

    • BM25 et les index denses couvrent les mêmes enregistrements de recherche contextuelle.
    • Les enregistrements denses sont traités en fonction de la limite réelle de tokens du modèle.
    • Les correspondances entre sous-éléments et fenêtres sont fusionnées en cibles de récupération uniques.
    • La fusion combine dix candidats provenant de chaque outil de récupération sans calibration des scores.
    • Cinq blocs parentaux exacts ou documents sources sont retournés.
    • Le contenu original et les hachages conservent leur autorité.
    • Les classements par outil de récupération ainsi que la filiation des localisateurs correspondants restent inspectables.
    • La diversité des documents n’est appliquée que lorsque les preuves montrent qu’elle est utile.

    Retriever est délibérément simple. Il coordonne les index existants, ainsi que les opérations de fusion et d’hydratation, sans cacher son fonctionnement derrière une abstraction de framework ni en ajoutant un autre stockage de données.

    Qu’est-ce qui manque encore

    Le système peut désormais prendre une requête et retourner cinq extraits classés par ordre de pertinence, en indiquant d’où proviennent chacun d’eux, et comparer les choix de récupération à l’aide de métriques reproductibles. Cela ne constitue pas encore un système RAG complet. La prochaine étape consiste à déterminer comment les extraits sont assemblés dans un contexte de modèle, quelles citations sont nécessaires, comment gérer les preuves contradictoires ou insuffisantes, et quand le système doit s’abstenir. Les métriques de récupération doivent également être liées à la fiabilité au niveau des réponses et à la correction des citations, afin que les réponses générées distinguent clairement ce que l’encyclopédie affirme de ce que le modèle connaît simplement.