Vector RAG contre Keyword RAG : quand utiliser l’un ou l’autre, et pourquoi le hybride l’emporte
RAG vectoriel contre RAG non vectoriel : embeddings face à BM25, SQL et recherche graphique, fonctionnement de chaque pipeline, points de défaillance de chacun, et raison pour laquelle le système hybride avec reranking est supérieur.
Sources: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?
RAG fournit un manuel de référence à un modèle de langage qu’il peut consulter avant de répondre. Cela vaut mieux que d’entasser tout dans les poids, ce qui est coûteux, conduit à des informations obsolètes et favorise les hallucinations. La question intéressante est de savoir comment se déroule cette recherche. Deux approches dominent : la récupération vectorielle, qui classe les résultats en fonction de la similarité sémantique, et ce qu’on appelle la récupération non vectorielle, qui s’appuie sur des méthodes de recherche classiques telles que BM25, la correspondance de mots-clés, les graphes et SQL. L’une ou l’autre peut être préférable en fonction des données.
Récupération vectorielle
C’est ce que la plupart des gens imaginent lorsqu’ils entendent parler de « RAG moderne ». Chaque fragment de texte est transformé en un vecteur à haute dimension (un embedding) et stocké dans une base de données vectorielle. Lors de la consultation, la question est également transformée en embedding, et ce sont les fragments dont les vecteurs sont les plus proches qui sont retournés. La proximité dans l’espace vectoriel correspond à la proximité sémantique.
Le processus comporte cinq étapes :
- Ingérer et diviser en blocs. Diviser les documents en blocs chevauchants, par exemple 512 tokens avec une chevauchance d’environ 10 %. Taguer les blocs avec des métadonnées est optionnel mais recommandé.
- Incorporer. Faire passer chaque bloc à un modèle d’incorporation tel que
text-embedding-3-larged’OpenAI, Cohere Embed ou BGE pour obtenir un vecteur flottant dense. - Indexer. Stocker les vecteurs dans Pinecone, Weaviate, Qdrant, pgvector ou Chroma, indexés avec HNSW ou IVF afin que la recherche des voisins les plus proches reste rapide.
- Rechercher. Incorporer la requête, effectuer une recherche k-NN ou ANN et sélectionner les blocs les plus pertinents en fonction de la similarité cosinus.
- Générer. Insérer les blocs récupérés dans le prompt et laisser le LLM produire une réponse fondée.
Une version minimale de LangChain commence par ces importations :
# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
et continue avec les embeddings, le stockage et la chaîne QA :
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=retriever,
return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")
La force réside ici dans la compréhension sémantique. Une page de politique peut promettre une « garantie remboursement » tandis que l’utilisateur tape « puis-je obtenir un remboursement ? ». Rien ne coïncide mot pour mot, pourtant la réponse appropriée apparaît néanmoins. Un moteur de recherche classique manquerait ce résultat.
La faiblesse, c’est que la proximité ne signifie pas précision. Imaginez un résultat qui obtient un score de 0,94 de similarité avec la requête mais qui échoue encore à fournir la réponse exacte, car le terme précis recherché par l’utilisateur n’a jamais figuré dans le texte. On a l’impression d’un échec de justesse à chaque requête.
Récupération sans vecteurs
« Sans vecteurs » est un terme générique désignant BM25 (un classement probabiliste des mots-clés, moteur à l’origine d’Elasticsearch et OpenSearch), les recherches SQL sur des données structurées, la navigation dans des graphes de connaissances ainsi que des méthodes symboliques hybrides. Ceux-ci alimentent la recherche d’entreprise depuis des décennies. Ils ne sont pas spectaculaires, mais ils fonctionnent.
Le flux se déroule comme suit :
- Indexation. Tokeniser les documents et créer un index inversé qui associe chaque terme aux documents qui le contiennent, en utilisant une notation de type TF-IDF.
- Analyse de la requête. La tokeniser, et éventuellement l’élargir avec des synonymes, du stemming ou une réécriture basée sur un LLM afin d’améliorer le taux de rappel.
- Classement. BM25 évalue les documents par rapport aux termes de la requête et retourne les résultats exacts ou ceux présentant un fort degré de correspondance, dans l’ordre approprié.
- Navigation optionnelle dans un graphe. Relier les entités, puis parcourir un graphe structuré pour collecter des faits connexes, ce qui convient aux questions nécessitant plusieurs étapes de recherche.
- Génération. Comme précédemment : transmettre les extraits récupérés à l’LLM.
Un exemple d’utilisation de BM25 avec rank_bm25 commence par les importations nécessaires :
# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk
puis il tokenise le corpus, crée l’index et effectue des requêtes dessus :
tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)
Lorsque les vecteurs capturent le sens, cette approche capture la spécificité. Si vous cherchez un ID de produit tel que SKU-4892-XL, un modèle d’embedding échouera à le trouver, tandis que BM25 le localisera en quelques millisecondes. La documentation technique, les clauses juridiques, les codes d’erreur et les identifiants financiers sont son domaine de prédilection. Imaginez un détective qui demande l’expression exacte « crimson ledger » : le système vectoriel renvoie 47 documents concernant des cahiers rouges, des journaux écarlates et une recette de confiture de fraises, tandis que l’index BM25 ne renvoie qu’un seul résultat, la page 14, paragraphe 3. Pour des recherches précises d’ID, de noms propres et de codes techniques, BM25 bat systématiquement la similarité cosinus.
Côte à côte
Sur le plan technique, la recherche vectorielle utilise des embeddings denses avec des réseaux de neurones artificiels, tandis que les autres méthodes emploient BM25, des mots-clés, SQL ou des graphes. La recherche vectorielle gère bien les paraphrases et les synonymes, mais elle est moins efficace avec les identifiants, les codes et les termes rares. La recherche basée sur des mots-clés ne trouve que des termes exacts ou presque exacts, mais son système de notation est déterministe et très précis pour les correspondances exactes.
Sur le plan opérationnel, l’implémentation vectorielle est plus lourde : il faut des modèles d’embeddings ainsi qu’une infrastructure de base de données vectorielle, et tout le corpus doit être converti en embeddings avant de pouvoir commencer. L’approche classique est plus légère (Elasticsearch ou SQLite) et permet d’indexer immédiatement les documents existants. La latence typique est d’environ 50 à 200 ms pour la recherche vectorielle et de 5 à 50 ms pour la recherche classique. Les coûts suivent la même logique : d’un côté, les frais liés à l’inference sur GPU et aux bases de données vectorielles, et de l’autre, une recherche adaptée aux processeurs CPU.
En ce qui concerne les cas d’usage, les vecteurs conviennent aux systèmes de questions-réponses dans des domaines ouverts, à la recherche sémantique et aux chats. La recherche classique est adaptée à la documentation juridique, médicale, financière et de code. Le risque de hallucinations est modéré avec les vecteurs, car la similarité ne garantit pas la justesse, et il est plus faible avec la correspondance exacte. Le support multilingue est solide avec les embeddings multilingues, mais une adaptation spécifique à chaque langue est nécessaire pour la méthode classique.
Utilisation des deux méthodes
La plupart des tutoriels omettent ce point : les systèmes en production combinent généralement ces deux approches. La méthode standard consiste en une recherche hybride suivie d’un reclassement. Exécutez BM25 en parallèle avec la recherche vectorielle, fusionnez les deux listes de résultats à l’aide de Reciprocal Rank Fusion (RRF), transmettez les N meilleurs résultats à un reclasseur à base de cross-encoder, puis insérez les fragments finalement classés dans le contexte du LLM.
Cela vous offre l’ampleur de la recherche sémantique associée à la précision des mots-clés. LlamaIndex, LangChain et Haystack prennent tous en charge directement la récupération hybride, tandis que l’API Rerank de Cohere ainsi que les encodateurs croisés Sentence-Transformers sont des choix courants pour l’étape de réclassement. Comme une équipe de voleurs, chaque méthode a sa spécialité : les embeddings analysent la structure globale, BM25 cible les codes exacts, et le réclasseur s’assure que le modèle ne voit que les cinq meilleurs extraits.
Décision
Trois questions suffisent pour résoudre la plupart des cas.
- Les utilisateurs expriment-ils leurs requêtes en langage naturel varié ? Si oui, privilégiez les vecteurs. Si les requêtes sont structurées, avec des IDs et des codes précis, optez pour les méthodes classiques.
- Le corpus est-il non structuré (PDF, articles) ou structuré (tableaux, enregistrements) ? Le texte narratif favorise les vecteurs. Les tableaux et enregistrements préfèrent SQL et BM25.
Préférez les vecteurs pour les questions ouvertes dans du texte non structuré où la sémantique est importante, comme pour les bots d’assistance, les assistants de recherche ou les systèmes de questions-réponses sur de grands corpus de documents. Optez pour la recherche classique lorsque des correspondances exactes sont essentielles (codes de produit, numéros de clauses, identifiants financiers, codes d’erreur, numéros de série) ou lorsque le coût et la latence constituent des contraintes strictes. En environnement de production, utilisez les deux approches.
Plus important que de choisir un côté, il est de savoir pourquoi chacune fonctionne, afin que le processus corresponde à vos données et à vos utilisateurs, et non à ce qui a été utilisé dans le dernier tutoriel.
Lectures complémentaires
- Avez-vous encore besoin d’embeddings ? Étude comparative Vector vs PageIndex RAG — Une étude de benchmark de FinanceBench compare la récupération vectorielle à PageIndex sans vecteurs dans des scénarios à un seul document, à plusieurs documents et avec du bruit, accompagnée de tests de significativité.
- Choisir une base de données vectorielle à grande échelle : Weaviate vs Pinecone pour RAG — Une comparaison pratique de Weaviate et Pinecone pour le développement de systèmes RAG : recherche hybride, isolation des utilisateurs, compromis en matière de mémoire, options de déploiement et méthodes de benchmarking.