Wybór modelu embeddingów do RAG: porównanie MTEB, BGE, Voyage i OpenAI
Wybór modelu embeddingu do RAG: prawidłowe czytanie MTEB, uwagi na temat BGE, Voyage, OpenAI oraz trzech innych modeli, pięcioskładnikowy proces w Milvus i ramy decyzyjne.
Źródła: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way
Trzy tygodnie to długi czas na próby dostosowania chatbota typu RAG, który udziela przerażająco pewnych siebie, całkowicie błędnych odpowiedzi. W teorii metryki pobierania danych wyglądały dobrze, model językowy to był GPT-4, a baza wektorowa solidna. Okazało się jednak, że winowajcą był model embeddingów, wybrany z pierwszego tutorialu, który trafił pod rękę, i nigdy więcej nie zakwestionowany. Był on bardzo nieodpowiedni dla danego domeny. Taka lekcja zmusza do dokładniejszego przyjrzenia się elementom znajdującym się na początku procesu RAG, więc oto, co jest ważne przy wyborze modelu embeddingów: lista liderów MTEB, modele w stylu SBERT oraz kompromisy pomiędzy opcjami otwartego kodu a własnościowymi.
Miejsce modeli embeddingów w procesie RAG
Proces RAG przebiega w trzech etapach.
Przetwarzanie danych wejściowych. Każdy fragment dokumentu przechodzi przez model embeddingowy, który tworzy wektor embeddingowy – numeryczny podsumowanie znaczenia fragmentu o stałej wielkości. Wektory te są przechowywane w bazie danych wektorowych, takich jak Milvus.
Wyszukiwanie. Gdy użytkownik zadaje pytanie, pytanie to jest przetwarzane za pomocą dokładnie tego samego modelu, a wyszukiwanie najbliższych sąsiadów znajduje najbardziej podobne fragmenty.
Generowanie. Najlepsze K fragmentów jest włączanych do promptu modelu LLM jako kontekst, dzięki czemu model odpowiada na podstawie wiedzy z danej dziedziny, a nie tylko na podstawie swoich danych treningowych.
Kluczowym ograniczeniem jest to, że embeddingi zapytań i dokumentów dzielą ten sam przestrzeń wektorową tylko wtedy, gdy jeden model je oba wygenerował. Jeśli zamienimy model po jednej ze stron bez ponownego indeksowania drugiej, jakość wyszukiwania drastycznie spada. Istnieją również badania dotyczące konieczności utrzymania małej liczby wyników typu top-K. Artykuł „Lost in the Middle” pokazał, że jakość odpowiedzi pogarsza się, gdy zbyt wiele odzyskanych fragmentów wypełnia okno kontekstowe, dlatego wyszukiwanie powinno być skupione i istotne, a nie szerokie i pełne szumów.
SBERT: projekt większości modeli embeddingowych
Większość modeli embeddingowych, z którymi się spotkasz, wywodzi się od SBERT, czyli Sentence-BERT. Zwykły BERT został stworzony po to, by rozumieć pojedyncze tokeny w kontekście. SBERT idzie o krok dalej, szkoląc model tak, aby generował wektor o stałej wielkości, który oddaje znaczenie całego zdania. Metoda ta polega na treningu typu siamezkiego: dwa zdania są kodowane oddzielnie, a model uczy się umieszczać te semantycznie podobne blisko siebie w przestrzeni wektorowej.
W praktyce SBERT potrafi rozróżnić zdanie o kotku siedzącym na macie od zdania z tymi samymi słowami, ale z zamienionymi miejscami „kotka” i „maci” – różnica, której zwykły BERT nie byłby w stanie dokładnie wykryć. Dla zastosowań typu retrieval, gdzie pytania są dopasowywane do powiązanych fragmentów tekstu, to właśnie takie rozumienie na poziomie zdań sprawia, że ta metoda jest skuteczna.
LLM takie jak GPT-4 rozwijają się z strony dekodera modelu transformer i są dostosowywane do generowania tekstu. Modele embeddingowe rozwijają się z strony kodera i są dostosowywane do reprezentacji danych. Są to różne narzędzia pełniące różne funkcje w ramach tego samego procesu.
Prawidłowe korzystanie z tabeli rankingowej MTEB
Tabela rankingowa MTEB od Hugging Face stanowi standard branżowy do porównywania modeli embeddingowych, jednak jest często nadużywana. MTEB ocenia modele w 8 typach zadań, w tym wyszukiwanie, klasterowanie, klasyfikację oraz semantyczną podobieństwo tekstowe, na podstawie 58 zbiorów danych. W przypadku pipeline’u RAG istotna jest jedna kolumna: Retrieval Average, mierzona jako NDCG@10, czyli znormalizowana dyskontowana suma kumulatywna dla dziesiątego wyniku. Ten wskaźnik najbardziej uwzględnia wyniki o najwyższej pozycji w rankingu, co odpowiada rzeczywistości w RAG, gdzie pierwsze kilka fragmentów tekstowych ma największy wpływ.
Praktyczna procedura selekcji:
- Ułóż listę liderów według kolumny Retrieval, od najwyższych wyników.
- Zachowaj tylko te modele, które pasują do ograniczeń pamięci i opóźnienia.
- Wybierz najmniejszy model, którego wyniki w zakresie wyszukiwania są akceptowalne.
- Przeprowadź testy na próbie rzeczywistych zapytań z danej dziedziny, ponieważ wiadomo, że MTEB faworyzuje modele z nadfitowaniem.
Ostatni krok jest niepodważalny. Wiele modeli ma wysokie wyniki w MTEB, ale ma trudności z pisaniem w kontekście technicznym lub specjalistycznym. Traktuj ranking jako punkt wyjścia, a nie ostateczną odpowiedź.
Sześć modeli produkcyjnych i ich specyfika
Porównanie obejmuje trzech dostawców:
- BAAI
bge-base-en-v1.5: 768 wymiarów, kontekst 512 tokenów, otwarty kod źródłowy, wynik w MTEB dla funkcji wyszukiwania wynosi 53. - BAAI
bge-base-zh-v1.5: 768 wymiarów, kontekst 512 tokenów, otwarty kod źródłowy, wynik 69 w testach na chińskim języku. - VoyageAI
voyage-2: 1024 wymiarów, 4K tokenów, własność patentowa. - VoyageAI
voyage-code-2: 1536 wymiarów, 16K tokenów, własność patentowa. - OpenAI
text-embedding-3-small: od 512 do 1536 wymiarów, 8K tokenów, własność patentowa, ocena 62. - OpenAI
text-embedding-3-large: od 256 do 3072 wymiarów, 8K tokenów, własność patentowa, ocena 65.
BGE base dla języka angielskiego i chińskiego
To są domyślne modele do prototypowania lub w sytuacjach, gdy koszt infrastruktury powinien być bliski zera. Są dostępne na Hugging Face, działają przyzwoicie na procesorze CPU i nie wiążą się z żadnymi opłatami API. Prawdziwym ograniczeniem jest zakres 512 tokenów. Większość fragmentów na poziomie akapitów mieści się w tym limicie, więc nie jest to zauważalne, ale długie fragmenty techniczne, które utrudniają czyste podzielenie, są skracane, co po cichu pogarsza jakość wydobywania informacji. W przypadku treści w języku chińskim bge-base-zh-v1.5 jest najpraktyczniejszą opcją, a jego wynik 69 w chińskich testach benchmarkowych jest rzeczywiście wysoki.
VoyageAI voyage-2 i voyage-code-2
Opublikowane studium przypadku wykazało wyraźnie lepszy wynik NDCG@10 w przypadku dokumentacji technicznej w porównaniu z modelem ada-002, i to właśnie często przyciąga ludzi do tych modeli. voyage-2 został wytrenowany na danych dialogowych i konwersacyjnych, dzięki czemu lepiej dopasowuje pytania do odpowiednich fragmentów tekstu niż modele uniwersalne w określonych dziedzinach. W systemach RAG do obsługi klienta wyraźnie przewyższył model bge przy krótkich zapytaniach o silnym charakterze intencyjnym.
voyage-code-2 jest bardziej interesujący. Został wytrenowany na kodzie i oferuje okno kontekstowe o wielkości 16K, co jest największą wartością w tej grupie. Dla wyszukiwania kodu lub dokumentacji typu RAG oznacza to, że całe funkcje lub długie opisy funkcji mogą być włączone bez konieczności dzielenia ich na fragmenty w nieodpowiednich miejscach. VoyageAI podaje 14% wyższy wskaźnik odzyskiwania informacji przy wyszukiwaniu kodu, co wydawało się wiarygodne podczas testów. Wadą jest to, że oba rozwiązania są własnością firm i dostępne wyłącznie przez API, bez możliwości samodzielnego hostowania, przy czym istnieje pełna zależność od dostępności i cen ustalanych przez dostawcę.
OpenAI text-embedding-3
Te modele zastąpiły ada-002, a korzyści są znaczące: wyższe wyniki w pomiarze MTEB, lepsza wydajność w językach wielojęzycznych oraz niższe ceny. Najciekawszym rozwiązaniem inżynieryjnym jest metoda uczenia się reprezentacji typu Matryoshka. Zamiast trenować model w jednej ustalonej wymiarowości, uczy się on reprezentacji na kilku poziomach jednocześnie, dzięki czemu embedding można skrócić w momencie wysyłki zapytania z zaskakująco małą utratą dokładności.
Dla modelu text-embedding-3-large zmiana liczby wymiarów z 3072 na 256 obniża wynik MTEB z 65 do 62. Oznacza to mniej więcej 5% spadek dokładności w zamian za 12-krotnie mniejsze zużycie pamięci i przestrzeni przechowywania, co często jest opłacalne przy przechowywaniu dziesiątek milionów wektorów. W testach RAG na dokumentacji technicznej Milvus model text-embedding-3-small z 256 wymiarami dostarczał odpowiedzi nierozróżnialne od wersji z 1536 wymiarami w przypadku większości zapytań. Sytuacje, w których wyższa liczba wymiarów miała znaczenie, dotyczyły subtelnych pytań rozróżniających różne znaczenia, stanowiących chyba 5% rzeczywistego ruchu.
Kod end-to-end: embeddingi OpenAI z Milvus
Pełny proces poniżej łączy się z Zilliz Cloud, w którym zarządzany jest Milvus, choć ten sam kod działa również z samodzielnie hostowaną instancją Milvus.
Krok 1: połączenie
from pymilvus import connections, utility
import os
from dotenv import load_dotenv
load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
alias='default',
uri=CLUSTER_ENDPOINT,
token=TOKEN,
)
Krok 2: zdefiniuj model embeddingowy:
import openai
from openai import OpenAI
openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512 # Using reduced dim - good enough for most use cases
Krok 3: utwórz kolekcję:
from pymilvus import MilvusClient
COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
COLLECTION_NAME,
EMBEDDING_DIM,
consistency_level="Eventually",
auto_id=True,
overwrite=True
)
Krok 4: dzielenie na fragmenty, wgranie i wstawienie:
# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
response = openai_client.embeddings.create(
input=chunk.page_content,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
embeddings = response.data[0].embedding
chunk_list.append({
'vector': embeddings,
'chunk': chunk.page_content,
'source': chunk.metadata.get('source', ''),
})
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)
Krok 5: zapytanie i generowanie:
SAMPLE_QUESTION = "What do the parameters for HNSW mean?"
response = openai_client.embeddings.create(
input=SAMPLE_QUESTION,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
COLLECTION_NAME,
data=[query_embeddings],
output_fields=["chunk", "source"],
limit=3,
consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
messages=[
{"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
{"role": "user", "content": SAMPLE_QUESTION}
],
model="gpt-3.5-turbo",
temperature=0.1,
)
print(llm_response.choices[0].message.content)
Pełny, działający notatnik znajduje się w repozytorium Milvus Bootcamp na GitHubie.
Ramy decyzyjne
Po wielu eksperymentach wybór zazwyczaj wygląda następująco:
- Prototypowanie, prace wymagające oszczędności lub self-hosting: zacznij od
bge-base-en-v1.5. Jest darmowy, szybki i wystarczająco dobry, aby zweryfikować architekturę procesu. - Chatboty produkcyjne w języku angielskim lub wielojęzyczne:
text-embedding-3-smallo zmniejszonej wymiarowości trudno prześcignąć pod względem stosunku kosztu do jakości. - Dokumenty specjalistyczne o dużym znaczeniu, takie jak dokumenty prawnicze, medyczne lub techniczne: poważnie rozważ
voyage-2, ponieważ MTEB nie obejmuje wszystkiego, a jakość wyszukiwania w danej dziedzinie może zaskoczyć.
voyage-code-2 wraz z jego oknem 16K uzasadnia zależność od API.text-embedding-3-large o 256 wymiarach, gdzie podejście typu Matryoshka stanowi sprytny rozwiązanie inżynieryjne.Niezależnie od wyboru, przetestuj rozwiązanie na próbce rzeczywistych zapytań z produkcji. MTEB jest jedynie wskaźnikiem zastępczym – jakość wydobywania informacji z rzeczywistych danych to jedyne istotne liczby.