Accueil / Articles

Recherche hybride pour RAG : BM25, fusion de rangs et ré-rangement surpassent les vecteurs.

La recherche vectorielle pure rate les termes exacts. L’utilisation de BM25 associé à des embeddings, de la fusion de rangs réciproques ainsi qu’à un réordonneur à base de cross-encoder a permis à cette configuration RAG d’atteindre une précision de récupération de 91 %.

Éditeur : REACTAPP.TOP6 min de lecture1365 mots

Sources: `I Stopped Using Vector Databases. My RAG Got Better.`

Les premiers conseils concernant RAG sont presque unanimes : choisir Pinecone, Weaviate ou Chroma, intégrer les documents, stocker les vecteurs, exécuter une recherche sémantique et considérer que c’est fait. De nombreuses équipes suivent exactement cette méthode. Elles divisent les documents en blocs, créent des embeddings à l’aide d’un modèle hébergé, chargent une base de données vectorielle et écrivent une fonction de récupération qui sélectionne les cinq blocs les plus similaires pour chaque requête. Cela fonctionne, jusqu’à un certain point, et c’est justement à ce stade que la précision devient importante.

Où la recherche vectorielle pure échoue

Les questions simples et ouvertes permettent une récupération satisfaisante. Tout ce qui nécessite une exactitude se passe mal : dates précises, chiffres exacts, références à une section spécifique, requêtes techniques riches en mots-clés. L’LLM construit alors avec assurance une réponse à partir des blocs incorrects. Ce n’est pas la faute du modèle, car la récupération lui a fourni le mauvais contexte.

La réaction habituelle est de blâmer la génération. Les gens modifient les prompts, ajoutent des instructions du type « répondez uniquement à partir du contexte fourni » et créent des boucles d’autoréflexion. Rien de tout cela ne sert à rien lorsque le matériel obtenu est incorrect. Le maillon faible, c’est la recherche, pas la génération.

Les embeddings gèrent bien le sens, mais ont du mal avec les détails concrets, et un cas concret le montre bien. Supposons qu’un rapport contienne une ligne indiquant que les revenus du quatrième trimestre 2024 ont atteint 12,8 millions de dollars, soit une hausse de 23 % par rapport au troisième trimestre. Un utilisateur demande quel était le chiffre d’affaires du quatrième trimestre 2024. Cela semble être une tâche facile pour les embeddings.

C’est ce qui se passe réellement. Le modèle d’incorporation transforme la requête ainsi que chaque fragment en vecteurs à haute dimension, puis cherche une proximité conceptuelle avec des termes tels que « revenus », « performance financière » et « résultats trimestriels ». Il peut afficher des fragments concernant les revenus en général, des projections à court terme ou des chiffres du troisième trimestre, car tous ces éléments se situent près de l’idée de revenus trimestriels. Le fragment contenant « 12,8 millions de dollars » pourrait se classer quatrième ou cinquième, ou disparaître complètement si les limites des fragments coupent la phrase de manière inadaptée. Une simple recherche par mot-clé pour « revenus Q4 2024 » l’aurait trouvé immédiatement.

L’échelle aggrave la situation

Avec 50 documents, la recherche sémantique fonctionne bien, en partie parce que peu de fragments se disputent les résultats. Avec 5 000 documents, elle cesse de fonctionner correctement. Un corpus plus grand contient davantage de fragments sémantiquement proches mais factuellement irrelevants, ce qui fait chuter le rapport signal/bruit et amène la recherche à sélectionner des extraits du « voisinage approprié » qui contiennent des informations erronées.

Un test effectué sur un corpus technique d’environ 3 000 pages (documents API, journaux de modifications et guides d’intégration) a montré que la précision de la recherche vectorielle pure atteignait près de 62 %. Cela signifie que près de quatre requêtes sur dix parvenaient à l’LLM avec un contexte incomplet ou incorrect. Aucune stratégie d’ingénierie de prompt ne pouvait y remédier, puisque la base même était défaillante.

Abandonner la recherche vectorielle n’était pas la solution ; compter uniquement sur elle était le problème. Une architecture en trois parties a permis d’augmenter la précision dans ce test de 62 % à 91 %.

Première partie : BM25 pour les termes exacts

BM25 date des années 1990 et reste parmi les algorithmes de récupération les plus performants actuellement. Alors que les embeddings brouillent les distinctions, celui-ci compare des termes littéraux : pour « Chiffre d’affaires Q4 2024 », il extrait chaque fragment contenant ces mots et les classe en fonction de leur fréquence et de leur pertinence au sein du corpus. Il est rapide, produit toujours les mêmes résultats et fonctionne sans GPU. Une petite bibliothèque suffit pour l’utiliser, et aucune base de données vectorielle n’est nécessaire, seulement un index de texte construit à partir de ces fragments.

Deuxième partie : conserver les embeddings, mais en tant que voix unique

Les embeddings conservent leur valeur car ils perçoivent l’intention de l’utilisateur et mettent en évidence du contenu pertinent. Un utilisateur qui demande « Comment gérer l’authentification ? » à partir de documents intitulés « Gestion de la connexion des utilisateurs » obtient une correspondance grâce à la recherche sémantique, ce que BM25 ne pourrait jamais faire. Ainsi, les embeddings deviennent une source parmi d’autres de candidats, mais jamais la seule source.

Les meilleurs résultats provenant des deux moteurs de recherche sont fusionnés grâce à la Reciprocal Rank Fusion (RRF), une méthode simple qui combine les listes classées en récompensant les segments présents dans les deux. Un segment classé premier selon BM25 et troisième selon les scores de recherche sémantique a bien plus de valeur qu’un segment apparaissant uniquement dans une seule liste. Cela favorise naturellement les segments pertinents tant par mots-clés que par sens. La mise en œuvre ne nécessite que une vingtaine de lignes de code Python, sans aucun framework requis.

Partie trois : réclasser

La phase de réclassement est celle que la plupart des équipes omettent, et c’est elle qui a le plus influencé les résultats. Une fois que la fusion hybride a produit de 15 à 20 candidats, un réclasseur à encodeur croisé attribue un score à chacun d’eux. Un modèle d’incorporation encode la requête et un document de manière isolée l’un de l’autre. Un encodeur croisé, quant à lui, fait passer simultanément la requête et un candidat par le modèle, de sorte que le score reflète la qualité de l’adéquation entre ces deux éléments.

Un petit modèle de réclassement ajoute environ 200 ms de latence mais améliore considérablement le choix des éléments qui parviennent au contexte final. Les cinq meilleurs résultats après réclassement sont presque toujours les bons. Une métaphore de pêche convient bien : BM25 associé à la recherche sémantique jette un large filet, tandis que le réclassement trie les prises et ne conserve que les meilleures.

Avant et après

Les chiffres rapportés pour le pipeline hybride par rapport à la recherche vectorielle pure :

Métrique Recherche vectorielle uniquement Hybride avec réclassement
Précision de la récupération des 5 meilleurs résultats 62% 91%
Exactitude des réponses 58% 87%
Taux d’hallucinations 31% 8%
Rapports d’utilisateurs concernant des réponses incorrectes environ 3 par jour environ 2 par semaine

Un effet secondaire inattendu a été le coût. Avec l’annulation de la base de données vectorielle hébergée, les dépenses en infrastructure ont diminué d’environ 60 %. BM25 fonctionne sur une seule CPU, et le réclasseur n’a besoin que d’une petite GPU ou d’une CPU présentant une latence acceptable.

Pourquoi les conseils penchent en faveur des bases de données vectorielles

Les entreprises spécialisées dans les bases de données vectorielles ont levé d’énormes sommes d’argent, et leur marketing apparaît dans chaque tutoriel, cours et vidéo commençant par « Étape 1 : configurer votre base de données vectorielle ». Aucun vendeur de ce type de produit ne tire profit en admettant qu’un algorithme vieux de plusieurs décennies combiné à un petit outil de réordonnancement est supérieur à son produit dans la plupart des cas.

Cependant, les bases de données vectorielles ne sont pas inutiles. Elles sont utiles pour :

  • La recherche exploratoire, où les utilisateurs naviguent plutôt que de chercher des informations précises.
  • La récupération multimodale à partir d’images, d’audio ou de code.
  • Les collections massives, comptant des milliards de documents, où les index BM25 deviennent trop lourds à gérer.

Pour la plupart des systèmes RAG, tels que les bases de connaissances internes, la recherche de documentation, les bots d’assistance et les outils de conformité, une récupération hybride sans stockage vectoriel dédié offre de meilleurs résultats à moindre coût.

Une voie de migration pratique

Une analyse détaillée n’est pas nécessaire. Une approche progressive fonctionne :

  1. Ajoutez BM25 à côté de la recherche vectorielle existante. Une bibliothèque Python telle que rank-bm25 peut indexer les mêmes fragments, ce qui prend environ une heure.
  2. Fusionnez les résultats à l’aide de Reciprocal Rank Fusion. La formule de notation est simple et bien documentée.
  3. Ajoutez un réordonneur cross-encoder open source, à exécuter localement ou via une API. Faites passer les candidats fusionnés par cet outil et conservez les cinq meilleurs.
  4. Évaluez. Créez un petit ensemble d’évaluation, disons 50 questions aux réponses connues, et comparez la précision de la récupération avant et après. Les améliorations apparaissent rapidement.
  5. Ensuite, demandez-vous si la base de données vectorielle est encore nécessaire. Pour de nombreux systèmes, elle ne l’est pas.

Le schéma général

Le battage médiatique indique rarement la meilleure option. Le choix optimal est souvent banal, simple et bien compris. BM25 est banal, la recherche hybride est directe, et les chercheurs en récupération d’informations étudient le réclassement depuis des décennies. Une histoire sur la réutilisation d’un algorithme vieux de 30 ans ne suscitera ni financement entrepreneurial ni attention des réseaux sociaux. Une IA fiable provient toujours du choix du bon outil, même s’il n’est pas à la mode.

Lorsqu’un pipeline RAG ne fonctionne pas correctement, on a tendance à blâmer le LLM, à réécrire les prompts ou à affiner le modèle d’embedding. Il vaut mieux chercher du côté de la récupération des données, car c’est généralement là que réside le problème. La solution pourrait consister à utiliser une méthode de recherche plus ancienne et plus simple associée à un réclasseur moderne pour combler le retard. Parfois, progresser signifie d’abord regarder en arrière.

Lectures complémentaires

  • Gemini’s 1M Window a remplacé mon stockage de vecteurs ; problèmes de latence et de traçabilité — Une étude sur l’utilisation de contextes complets avec RAG sur 500 questions de support : résultats en termes de précision, de latence et de coût, pourquoi la traçabilité est importante, ainsi que la configuration hybride qui permet de conserver les avantages des deux approches.