Choisir un modèle d’embedding pour RAG : comparaison de MTEB, BGE, Voyage et OpenAI
Choisir un modèle d’embedding pour RAG : comprendre correctement MTEB, des notes sur BGE, Voyage, OpenAI et trois autres, un pipeline Milvus en cinq étapes ainsi qu’un cadre de décision.
Sources: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way
Trois semaines, c’est beaucoup de temps pour essayer de maîtriser un chatbot RAG qui donne des réponses étrangement confiantes mais complètement fausses. Les métriques de récupération semblaient bonnes sur papier : le LLM était GPT-4 et la base de données vectorielle était fiable. La cause du problème s’est avérée être le modèle d’embedding, pris dans le premier tutoriel trouvé sans jamais être remis en question par la suite. Il était mal adapté au domaine concerné. Une telle expérience oblige à examiner attentivement ce qui se trouve en amont d’un pipeline RAG ; voici donc ce qui compte lors du choix d’un modèle d’embedding : le classement MTEB, les modèles de type SBERT, ainsi que les compromis entre les options open source et propriétaires.
Le rôle des embeddings dans un pipeline RAG
Le RAG fonctionne en trois étapes.
Ingestion. Chaque morceau de document passe par un modèle d’incorporation, qui génère une représentation vectorielle, un résumé numérique de taille fixe du sens du morceau. Ces vecteurs sont stockés dans une base de données vectorielle telle que Milvus.
Récupération. Lorsqu’un utilisateur pose une question, celle-ci est incorporée à l’aide du même modèle, et une recherche de plus proche voisin permet de trouver les morceaux les plus similaires.
Génération. Les K morceaux les plus pertinents sont intégrés dans un prompt destiné à un LLM en tant que contexte, permettant ainsi au modèle de répondre en s’appuyant sur ses connaissances sectorielles plutôt que uniquement sur ses données d’entraînement.
La contrainte essentielle est que les embeddings des requêtes et des documents ne partagent un espace vectoriel que lorsque c’est un même modèle qui les a générés. Si l’on remplace le modèle d’un côté sans réindexer l’autre, la qualité de la récupération s’effondre. Il existe également des recherches visant à maintenir un nombre limité de résultats (top-K). L’étude « Lost in the Middle » a montré que la qualité des réponses diminue lorsque trop de fragments récupérés encombrent la fenêtre de contexte ; par conséquent, la récupération doit rester ciblée et pertinente, plutôt que large et bruyante.
SBERT : la conception à l’origine de la plupart des modèles d’embeddings
La plupart des modèles d’incorporation que vous rencontrerez descendent de SBERT, Sentence-BERT. Le BERT classique a été conçu pour comprendre les tokens individuels dans un contexte. SBERT va plus loin en entraînant le modèle à générer un vecteur de taille fixe qui capture le sens d’une phrase entière. La méthode repose sur un entraînement siamois : deux phrases sont encodées séparément, et le modèle apprend à placer celles qui sont sémantiquement similaires proches l’une de l’autre dans l’espace vectoriel.
En pratique, SBERT peut distinguer le sens d’une phrase décrivant un chat assis sur un tapis de celui obtenu en inversant l’ordre des mots « chat » et « tapis », une distinction que le BERT de base ne parviendrait pas à identifier de manière fiable. Pour la récupération d’informations, où les questions sont mises en correspondance avec des passages pertinents, c’est cette compréhension au niveau de la phrase qui permet à cette approche de fonctionner.
Les LLM tels que GPT-4 proviennent du côté décodeur du transformer et sont optimisés pour la génération. Les modèles d’incorporation proviennent du côté encodeur et sont optimisés pour la représentation. Ce sont des outils différents qui remplissent des fonctions distinctes au sein du même pipeline.
Utiliser correctement le classement MTEB
Le classement MTEB de Hugging Face est la norme du secteur pour comparer les modèles d’incorporation, mais il est souvent mal utilisé. MTEB évalue les modèles sur 8 types de tâches, notamment la récupération, le clustering, la classification et la similarité textuelle sémantique, sur 58 ensembles de données. Pour un pipeline RAG, une seule colonne est importante : Retrieval Average, mesurée en NDCG@10, c’est-à-dire le gain cumulé déprécié normalisé au dixième résultat. Cette métrique accorde le plus de poids aux résultats les mieux classés, ce qui correspond à la réalité du RAG, où les premiers extraits ont le plus d’impact.
Une routine de sélection efficace :
- Classez le classement par la colonne de récupération, du plus élevé au plus bas.
- Conservez uniquement les modèles qui respectent les contraintes de mémoire et de latence.
- Choisissez le modèle le plus petit dont les scores de récupération sont acceptables.
- Testez-le sur un échantillon de requêtes réelles du domaine concerné, car on sait que le MTEB récompense parfois le surajustement chez certains modèles.
La dernière étape est indispensable. De nombreux modèles obtiennent de bons scores au MTEB mais ont des difficultés avec l’écriture dans des domaines techniques ou spécialisés. Considérez ce classement comme un point de départ, et non comme une réponse définitive.
Six modèles en production et leurs particularités
La comparaison couvre trois fournisseurs :
- BAAI
bge-base-en-v1.5: 768 dimensions, contexte de 512 tokens, logiciel open source, score de récupération au MTEB de 53. - BAAI
bge-base-zh-v1.5: 768 dimensions, contexte de 512 tokens, logiciel open source, score de 69 sur les benchmarks en chinois. - VoyageAI
voyage-2: 1024 dimensions, 4K tokens, propriétaire. - VoyageAI
voyage-code-2: 1536 dimensions, 16K tokens, propriétaire. - OpenAI
text-embedding-3-small: de 512 à 1536 dimensions, 8K tokens, propriétaire, score de 62. - OpenAI
text-embedding-3-large: de 256 à 3072 dimensions, 8K tokens, propriétaire, score de 65.
BGE base anglais et chinois
Ces modèles constituent les choix par défaut pour la prototypage ou lorsque les coûts d’infrastructure doivent être proches de zéro. Ils sont disponibles sur Hugging Face, fonctionnent correctement sur CPU et ne comportent aucune frais d’API. La limite réelle est la fenêtre de 512 tokens. La plupart des segments au niveau de paragraphe restent en deçà de cette limite, ce qui passe inaperçu, mais les longs passages techniques difficiles à diviser proprement sont tronqués, ce qui affecte discrètement la qualité des résultats de récupération. Pour le contenu en chinois, bge-base-zh-v1.5 est l’option la plus pratique, et son score de 69 sur les benchmarks chinois est véritablement élevé.
VoyageAI voyage-2 et voyage-code-2
Une étude de cas publiée a montré clairement un meilleur NDCG@10 pour la documentation technique avec la génération ada-002, et c’est souvent ce qui attire les gens vers ces modèles. voyage-2 a été entraîné sur des données de dialogue, ce qui lui permet de relier les questions aux passages de manière plus efficace que les modèles polyvalents dans certains domaines. Dans les systèmes RAG de support client, il a nettement surpassé bge pour les requêtes courtes axées sur une intention précise.
voyage-code-2 est le plus intéressant. Il a été entraîné sur du code et offre une fenêtre de contexte de 16 K, la plus grande de ce groupe. Pour la recherche de code ou les documents RAG, cela signifie que des fonctions entières ou de longs docstrings peuvent être intégrés sans avoir à les diviser en segments aux frontières inadaptées. VoyageAI affiche une précision 14 % plus élevée dans la récupération de code, un chiffre qui s’est avéré fiable lors des tests. L’inconvénient est que ces deux solutions sont propriétaires et ne disposent que d’une API, sans possibilité de mise en œuvre autonome, et dépendent entièrement de la disponibilité et des tarifs du fournisseur.
OpenAI text-embedding-3
Ces modèles ont remplacé ada-002, et les améliorations sont significatives : des scores de récupération MTEB plus élevés, de meilleures performances multilingues et des prix plus bas. Le choix technique le plus intéressant est l’apprentissage de représentations Matryoshka. Au lieu d’être entraîné dans une seule dimension fixe, le modèle apprend des représentations à plusieurs échelles en même temps, ce qui permet de tronquer l’embedding au moment de la requête avec une perte d’exactitude surprenamment faible.
Pour text-embedding-3-large, passer de 3072 dimensions à 256 réduit le score de récupération MTEB de 65 à 62. Cela correspond à une baisse d’exactitude d’environ 5 % en échange d’une réduction de 12 fois de l’espace de stockage et de la mémoire, un compromis souvent justifié lorsqu’il s’agit de stocker des dizaines de millions de vecteurs. Lors des tests RAG sur la documentation technique de Milvus, text-embedding-3-small avec 256 dimensions a fourni des réponses indiscernables de celles de la version à 1536 dimensions pour la plupart des requêtes. Les cas où une dimensionnalité plus élevée était importante concernaient des questions de dissimulation subtile, représentant peut-être 5 % du trafic réel.
Code bout en bout : embeddings OpenAI avec Milvus
Le pipeline complet ci-dessous se connecte à Zilliz Cloud, qui gère Milvus, bien que le même code fonctionne également avec une instance Milvus auto-hébergée.
Étape 1, se connecter :
from pymilvus import connections, utility
import os
from dotenv import load_dotenv
load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
alias='default',
uri=CLUSTER_ENDPOINT,
token=TOKEN,
)
Étape 2, définir le modèle d’incorporation :
import openai
from openai import OpenAI
openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512 # Using reduced dim - good enough for most use cases
Étape 3 : créer la collection :
from pymilvus import MilvusClient
COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
COLLECTION_NAME,
EMBEDDING_DIM,
consistency_level="Eventually",
auto_id=True,
overwrite=True
)
Étape 4 : diviser en blocs, intégrer et insérer :
# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
response = openai_client.embeddings.create(
input=chunk.page_content,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
embeddings = response.data[0].embedding
chunk_list.append({
'vector': embeddings,
'chunk': chunk.page_content,
'source': chunk.metadata.get('source', ''),
})
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)
Étape 5, interroger et générer :
SAMPLE_QUESTION = "What do the parameters for HNSW mean?"
response = openai_client.embeddings.create(
input=SAMPLE_QUESTION,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
COLLECTION_NAME,
data=[query_embeddings],
output_fields=["chunk", "source"],
limit=3,
consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
messages=[
{"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
{"role": "user", "content": SAMPLE_QUESTION}
],
model="gpt-3.5-turbo",
temperature=0.1,
)
print(llm_response.choices[0].message.content)
Un cahier de travail complet et fonctionnel se trouve dans le répertoire du bootcamp Milvus sur GitHub.
Un cadre de décision
Après de nombreuses expériences, le choix se fait généralement comme suit :
- Prototypage, travaux sensibles au coût ou hébergés en interne : commencez avec
bge-base-en-v1.5. Il est gratuit, rapide et suffisamment performant pour valider l’architecture du pipeline. - Chatbots en anglais ou multilingues en environnement de production :
text-embedding-3-smallà dimension réduite est difficile à surpasser en termes de rapport coût/qualité. - Documents techniques, médicaux ou juridiques nécessitant une extraction de connaissances précise : évaluez sérieusement
voyage-2, car MTEB ne couvre pas tout et la qualité de l’extraction selon le domaine peut surprendre.
voyage-code-2 ainsi que sa fenêtre de 16 K justifient la dépendance à l’API.text-embedding-3-large avec 256 dimensions, où l’approche Matryoshka représente une ingénierie ingénieuse.Quelle que soit la choix, testez sur un échantillon de requêtes réelles en production. Le MTEB n’est qu’un indicateur approximatif ; seule la qualité de la récupération sur des données réelles compte vraiment.