Startseite / Artikel

Auswahl eines Embedding-Modells für RAG: Vergleich von MTEB, BGE, Voyage und OpenAI

Auswahl eines Embedding-Modells für RAG: richtige Verwendung von MTEB, Hinweise zu BGE, Voyage, OpenAI sowie drei weiteren Modellen, ein fünfstufiger Milvus-Prozessablauf und ein Entscheidungsrahmen.

Verlag: REACTAPP.TOP7 Min. Lesezeit1643 Wörter

Quellen: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way

Drei Wochen sind eine lange Zeit, um einen RAG-Chattenbot zu verfolgen, der beunruhigend selbstsichere, völlig falsche Antworten gibt. Die Retrieval-Metriken sahen auf dem Papier gut aus, das LLM war GPT-4 und die Vektordatenbank war zuverlässig. Der Übeltäter erwies sich als das Embedding-Modell, das aus dem ersten verfügbaren Tutorial entnommen wurde und danach nie wieder in Frage gestellt wurde. Es passte überhaupt nicht zum jeweiligen Anwendungsbereich. Eine solche Erfahrung zwingt dazu, genauer hinzuschauen, was am Anfang eines RAG-Pipelines steht – daher sind bei der Auswahl eines Embedding-Modells folgende Faktoren wichtig: die MTEB-Leaderboard-Werte, SBERT-ähnliche Modelle sowie die Abwägungen zwischen Open-Source- und proprietären Optionen.

Welche Rolle spielen Embeddings in einem RAG-Pipeline?

RAG läuft in drei Phasen ab.

Einbezug. Jeder Dokumentanteil wird durch ein Embedding-Modell geleitet, das ein Vektor-Embedding erzeugt – eine numerische Zusammenfassung fester Größe, die die Bedeutung des Anteils darstellt. Die Vektoren werden in einer Vektordatenbank wie Milvus gespeichert.

Auswertung. Wenn ein Benutzer eine Frage stellt, wird diese Frage mit genau demselben Modell eingebettet, und eine Suche nach dem nächsten Nachbarn ermittelt die am ähnlichstenen Dokumentanteile.

Erstellung. Die K-besten Dokumentanteile werden als Kontext in einen Prompt für ein LLM eingegeben, sodass das Modell auf seinem Fachwissen antworten kann anstatt sich ausschließlich auf seine Trainingsdaten zu stützen.

Die entscheidende Einschränkung besteht darin, dass Abfragen und Dokumente nur dann einen gemeinsamen Vektorraum teilen, wenn ein und derselbe Modell sowohl die Abfrage als auch das Dokument generiert hat. Wenn man das Modell auf einer Seite austauscht, ohne die andere Seite neu zu indizieren, verschlechtert sich die Qualität der Ergebniserückgabe erheblich. Es gibt außerdem Forschungen zur Beibehaltung eines engen Top-K-Bereichs. Die Studie „Lost in the Middle“ zeigte, dass die Qualität der Antworten sinkt, wenn zu viele zurückgeholte Teile das Kontextfenster überfüllen; daher sollte die Ergebniserückgabe fokussiert und relevant bleiben, anstatt breit gefächert und störend zu sein.

SBERT: Die Konzeption hinter den meisten Embedding-Modellen

Die meisten Embedding-Modelle, auf die man stößt, gehen auf SBERT, also Sentence-BERT, zurück. Das einfache BERT wurde entwickelt, um einzelne Token im Kontext zu verstehen. SBERT geht einen Schritt weiter, indem es das Modell so trainiert, dass es einen festen Vektor erzeugt, der die Bedeutung eines ganzen Satzes erfassen kann. Dabei wird eine sogenannte siamesische Trainingsmethode verwendet: Zwei Sätze werden getrennt kodiert, und das Modell lernt, semantisch ähnliche Sätze im Vektorraum nah beieinander zu platzieren.

In der Praxis kann SBERT erkennen, dass ein Satz über eine Katze, die auf einer Matte sitzt, in seiner Bedeutung von denselben Worten abweicht, wenn Katze und Matte vertauscht werden – eine Unterscheidung, die ein grundlegendes BERT nicht zuverlässig erkennen würde. Bei der Informationsabrufung, bei der Fragen mit relevanten Abschnitten abgeglichen werden, ist genau dieses Verständnis auf Satzebene es, das diesen Ansatz erfolgreich macht.

LLMs wie GPT-4 entstehen aus der Dekodierer-Seite des Transformers und sind auf Generierung ausgelegt. Embedding-Modelle entstehen aus der Encoder-Seite und sind auf Repräsentation ausgelegt. Es handelt sich um unterschiedliche Werkzeuge, die innerhalb derselben Pipeline unterschiedliche Aufgaben erledigen.

Die richtige Nutzung der MTEB-Leaderboard

Das Hugging Face MTEB-Leaderboard ist der Branchenstandard zur Vergleichbarkeit von Embedding-Modellen, wird jedoch oft falsch verwendet. MTEB bewertet Modelle anhand von 8 Aufgabentypen, darunter Abruf, Clustering, Klassifizierung und semantische Textähnlichkeit, auf 58 Datensätzen. Für eine RAG-Pipeline ist nur eine Spalte wichtig: Retrieval Average, gemessen als NDCG@10, der normalisierte diskontierte kumulierte Gewinn beim zehnten Ergebnis. Dieser Metrikwert gewichtet die am höchsten platzierten Ergebnisse am stärksten, was der Realität bei RAG entspricht, bei der die ersten wenigen Fragmente den größten Einfluss haben.

Eine praktikable Auswahlmethode:

  1. Sortieren Sie die Leaderboard-Liste nach der Kolumne „Retrieval“, von höchsten Werten an.
  2. Behalten Sie nur die Modelle, die in den Speicher- und Latenzrahmen passen.
  3. Wählen Sie das kleinste Modell aus, dessen Retrieval-Werte akzeptabel sind.
  4. Testen Sie es an einer Stichprobe echter Anfragen aus dem jeweiligen Anwendungsbereich, da bekannt ist, dass MTEB bei einigen Modellen ein Überanpassen belohnt.

Der letzte Schritt ist unverhandelbar. Viele Modelle erreichen hohe Platzierungen im MTEB-Test, haben aber Schwierigkeiten bei der Erstellung von Inhalten für technische oder spezialisierte Bereiche. Betrachten Sie die Rangliste als Ausgangspunkt, nicht als endgültiges Ergebnis.

Sechs Produktionsmodelle und ihre Besonderheiten

Der Vergleich umfasst drei Anbieter:

  • BAAI bge-base-en-v1.5: 768 Dimensionen, 512-Token-Kontext, Open Source, MTEB-Retrieval-Wert 53.
  • BAAI bge-base-zh-v1.5: 768 Dimensionen, 512-Token-Kontext, Open Source, Wert von 69 bei chinesischen Benchmarks.
  • VoyageAI voyage-2: 1024 Dimensionen, 4K Token, proprietär.
  • VoyageAI voyage-code-2: 1536 Dimensionen, 16K Token, proprietär.
  • OpenAI text-embedding-3-small: 512 bis 1536 Dimensionen, 8K Token, proprietär, Bewertung 62.
  • OpenAI text-embedding-3-large: 256 bis 3072 Dimensionen, 8K Token, proprietär, Bewertung 65.

BGE Basis Englisch und Chinesisch

Diese Modelle sind die Standardauswahl für Prototypenentwicklung oder dann, wenn die Infrastrukturkosten nahe Null liegen sollten. Sie sind auf Hugging Face verfügbar, laufen akzeptabel auf CPU und verursachen keine API-Gebühren. Die 512-Token-Grenze ist die eigentliche Beschränkung. Die meisten Absatz-Level-Teilungen bleiben darunter, sodass dies nicht bemerkt wird, doch lange technische Textabschnitte, die sich nicht sauber aufteilen lassen, werden abgeschnitten, was leise die Qualität der Informationsabrufung beeinträchtigt. Für chinesischsprachigen Inhalt ist bge-base-zh-v1.5 die praktischste Option, und seine 69 Punkte in chinesischen Benchmarks sind tatsächlich sehr gut.

VoyageAI voyage-2 und voyage-code-2

Eine veröffentlichte Fallstudie zeigte deutlich bessere Werte für NDCG@10 bei technischer Dokumentation im Vergleich zur ada-002-Generation, und das ist oft der Grund, warum Menschen zu diesen Modellen greifen. voyage-2 wurde mit Dialog- und Konversationsdaten trainiert, wodurch es Fragen in bestimmten Bereichen besser mit Passagen abgleichen kann als allgemein einsetzbare Modelle. In RAG-Systemen für Kundensupport übertraf es bei kurzen, intentionenreichen Anfragen eindeutig bge.

voyage-code-2 ist der interessantere Ansatz. Er wurde mit Code trainiert und bietet ein 16K-Context-Fenster, das längste in dieser Gruppe. Für die Suche in Code oder RAG-Dokumentation bedeutet das, dass ganze Funktionen oder lange Docstrings ohne Aufteilung an unpraktischen Grenzen eingebettet werden können. VoyageAI weist eine 14 Prozent höhere Trefferquote bei der Code-Auswertung auf, ein Wert, der in den Tests glaubwürdig erschien. Der Nachteil ist, dass beide Lösungen proprietär sind und nur über API verfügbar sind, ohne Möglichkeit zur Selbsthosting und unter vollständiger Abhängigkeit von der Verfügbarkeit sowie den Preisen des Anbieters.

OpenAI text-embedding-3

Diese Modelle haben ada-002 ersetzt, und der Vorteil ist deutlich: höhere MTEB-Retrieval-Werte, bessere multilinguale Leistung sowie niedrigere Preise. Die interessanteste ingenieurtechnische Entscheidung ist das Matryoshka-Representation-Learning. Anstatt in einer festen Dimension zu trainieren, lernt das Modell gleichzeitig Repräsentationen in mehreren Skalen, sodass die Embeddings zum Zeitpunkt der Abfrage mit überraschend geringem Verlust an Genauigkeit abgeschnitten werden können.

Für text-embedding-3-large führt eine Reduzierung von 3072 auf 256 Dimensionen dazu, dass der MTEB-Auswertungswert von 65 auf 62 sinkt. Das entspricht in etwa einem Rückgang der Genauigkeit um 5%, im Austausch dafür wird der Speicher- und Arbeitsspeicherbedarf um das 12-fache verringert – ein Kompromiss, der oft sinnvoll ist, wenn Dutzende Millionen von Vektoren gespeichert werden müssen. In RAG-Tests anhand der technischen Dokumentation von Milvus lieferte text-embedding-3-small bei 256 Dimensionen für die meisten Abfragen Antworten, die sich nicht von denen der 1536-dimensionalen Version unterschieden. Die Fälle, in denen eine höhere Dimensionalität wichtig war, betrafen subtile Zweideutigkeitsfragen, vermutlich etwa 5% des tatsächlichen Datenverkehrs.

End-to-End-Code: OpenAI-Embeddings mit Milvus

Der unten dargestellte vollständige Pipeline ist mit Zilliz Cloud verbunden, bei dem Milvus verwaltet wird, obwohl derselbe Code auch mit einer selbst gehosteten Milvus-Instanz funktioniert.

Schritt 1: Verbindung herstellen:

from pymilvus import connections, utility
import os
from dotenv import load_dotenv

load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
    alias='default',
    uri=CLUSTER_ENDPOINT,
    token=TOKEN,
)

Schritt 2: Definieren Sie das Embedding-Modell:

import openai
from openai import OpenAI

openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512  # Using reduced dim - good enough for most use cases

Schritt 3: Die Sammlung erstellen:

from pymilvus import MilvusClient

COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
    COLLECTION_NAME,
    EMBEDDING_DIM,
    consistency_level="Eventually",
    auto_id=True,
    overwrite=True
)

Schritt 4: In Blöcke aufteilen, einbetten und einfügen:

# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
    response = openai_client.embeddings.create(
        input=chunk.page_content,
        model=EMBEDDING_MODEL,
        dimensions=EMBEDDING_DIM
    )
    embeddings = response.data[0].embedding

chunk_list.append({
        'vector': embeddings,
        'chunk': chunk.page_content,
        'source': chunk.metadata.get('source', ''),
    })
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)

Schritt 5: Abfragen und Erstellen:

SAMPLE_QUESTION = "What do the parameters for HNSW mean?"

response = openai_client.embeddings.create(
    input=SAMPLE_QUESTION,
    model=EMBEDDING_MODEL,
    dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
    COLLECTION_NAME,
    data=[query_embeddings],
    output_fields=["chunk", "source"],
    limit=3,
    consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
    messages=[
        {"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
        {"role": "user", "content": SAMPLE_QUESTION}
    ],
    model="gpt-3.5-turbo",
    temperature=0.1,
)
print(llm_response.choices[0].message.content)

Ein vollständig funktionsfähiges Notebook befindet sich im Milvus Bootcamp-Repository auf GitHub.

Ein Entscheidungsrahmen

Nach vielen Experimenten fällt die Wahl in der Regel wie folgt aus:

  • Prototyping, kostensensible oder selbst gehostete Anwendungen: Beginnen Sie mit bge-base-en-v1.5. Es ist kostenlos, schnell und gut genug, um die Pipeline-Architektur zu validieren.
  • Produktionsfähige englischsprachige oder mehrsprachige Chatbots: text-embedding-3-small mit reduzierter Dimensionalität ist hinsichtlich Kosten und Qualität kaum zu übertreffen.
  • Hochriskante Anwendungen in spezifischen Bereichen wie Recht, Medizin oder technische Dokumente: Bewerten Sie voyage-2 sorgfältig, denn MTEB erfasst nicht alles und die Qualität der Domänenabrufung kann überraschen.
  • Code-Suche und Entwicklerwerkzeuge: voyage-code-2 sowie sein 16K-Fenster rechtfertigen die Abhängigkeit von der API.
  • Strenge Speichermengen oder Milliarden von Vektoren: text-embedding-3-large mit 256 Dimensionen – dabei ist der Matryoshka-Ansatz eine clevere ingenieurtechnische Lösung.
  • Egal welche Wahl getroffen wird, testen Sie sie an einer Auswahl echter Produktionsabfragen. MTEB ist nur ein Proxy; die Qualität der Suche in den tatsächlichen Daten ist die einzige maßgebliche Kennzahl.