Выбар мадэлі эмбедынгаў для RAG: параўнанне MTEB, BGE, Voyage і OpenAI
Выбар мадэлі эмбедынгаў для RAG: як правільна чытаць MTEB, нататкі пра BGE, Voyage, OpenAI і яшчэ тры мадэлі, канвеер Milvus з пяці крокаў і рамка для рашэння.
Крыніцы: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way
Трыцьці дніў — гэта дужа дзялёгі час для працы з чат-ботам RAG, які дае адчуліва самаўпэўненая, але абсалютна некорэктная адпаведзі. Па паперу показнікі аналізу дадзеных выглядалі нормальна: алгорытм LLM быў GPT-4, а база дадзеных у вектарнай форме была надзеяна. Але прычыной проблемы віявіўся модэль эмбедынгу, які быў взяты з першага туторыялу, які толькі з’явіўся, і больш ніколі не пераглядзены. Ён абсалютна не падходзіў для данага домэна. Такі досвід змушае серйозна рассмотрзець, што знаходзіцца на пачатку працэсу RAG, таму важлівыя моменты пад час выбору модэля эмбедынгу: табелі рангавання MTEB, модэлі у стылі SBERT, а таксі прыроды між варыянтамі з відкрытым і прыватным кодам.
Месца модэляў эмбедынгу ў працэсе RAG
Працэс RAG адбываецца у трох этапах.
Урабатка. Кожны фрагмент дакумента праходзіць праз мадэль урабаткі, якая стварае вектарную урабатку — фіксаванага размеру чысловыя падсумкі значэння фрагмента. Вектары зберагаюцца ў базе дадзэння вектараў, такой як Milvus.
Пошук. Калі корыстнік ставіць запіт, запіт таксама праходзіць праз тую ж мадэль, і за дапамою пошуку найбліжэйшых суседаў знаходзяцца фрагменты, якія ў большай меры яго адпавядаюць.
Генераванне. Топ-К фрагментаў вводзяцца як кантэкст у запрос для LLM, тады мадэль дае адпаведзь на базе своіх знанняў у данай галіні, а не толькі на адпаведных дадзэннях, якія яна трэнавалася.
Крытычным абяцкам ёсць тое, што эмбедынгі запыткаў і дакументаў дзеляюць вектарны прастор толькі тады, калі адны модэль стварыў іх оба. Калі змяніць модэль на адной стороне без перэіндэксавання другой, якосьць адзысквання інфармацыі рушаецца. Таксама існуюць даследжэнні, прыняжыстыя до падтрымкі значэння top-K. У стацыі «Lost in the Middle» паказана, што якосьць адпаведзенняў паднікаецца, калі занадта многі адзысканы фрагменты запалняюць вікно кантэксту, таму адзысквання інфармацыі павінна застацца сфармаванай і рэлевантной, а не шырокай і з багатым шумам.
SBERT: прынцыпы дызайну большасці модэляў эмбедынгаў
Большая частка модэляў для вбудоввання, з якімі вы зустроцеце, ўзьязджаюць ад SBERT, тыябы Sentence-BERT. Звычны BERT быў створаны для розумення адзінаковых токэнаў у кантэксце. SBERT ідзе даўжэй, трэнуючы модэль на стварэнне вектара фіксаванага размеру, які фіксуе значэнне цэлага рэчы. Гэты метод называецца сіамскім трэнінгам: два рэчы кодуюцца окалічна, а модэль выучаецца ставіць сэмантычна схожыя рэчы поблізу адзінай другой у вектарнай прасторы.
На практыцы SBERT можа разгледзець, што рэчь пра каця, якая сядзіць на калошку, не адпавядае па значэнні тым жа словам, але з кацёй і калошкай на месцы адмены, — такую разліку базавы BERT не зможаў бы надзеяна выявіць. Для пошуку, калі запыткі паўязуюцца з адпаведнымі фрагментамі, самэ гэта розуменне на рэчнай гэтавыце робіць падход эфектывным.
Такі ШЫ, як GPT-4, розвіваюцца з боку дэкадэра трансфармера і налаштаваны для генеравання. Мадэлі эмбедынга розвіваюцца з боку анкодэра і налаштаваны для прэдставлення даных. Гэта разныя інструменты, якія віконваюць разныя задачы в рамках аднаго працэса апрацоўкі даных.
Правільна наработка з табліцай лідэраў MTEB
Табліца лідэраў Hugging Face MTEB ёсць стандартам працывніцтва для порэванавання модэляў эмбедынга, але часта ўжываецца некорэктна. MTEB ацэнюе мадэлі па 8 тыпах задач, уключаючы выкарыстоўванне даных, кластэруванне, класыфікацыю і сэмантычную сэмплярнасць тэксту, на 58 наборах даных. Для практыкі RAG важная ўсьмоўнае: Retrieval Average, якая вырахоўвана як NDCG@10 — нормаваныя дысконтаваныя кумулятыўныя прагрэсы на дзесятым выніку. Гэты показнік надае найбольшую вагу самым высокім у рангу рэзультатам, што адпавядае рэаліям RAG, дзе першыя кантэкставыя фрагменты несу большую частку значэння.
Эфектыўная процедура выбору:
- Адаптавайце табылку лідэраў па столбцу «Працэўнае запрашанне», пачынаючы з найвышых значэнняў.
- Заставайце толькі тыя модэлі, якія падходзяць па лімітам памяці і часу адпаведзення.
- Выберыце самую маленькую модэль, чыя рэзультаты працэўных запрашанняў ёсць прыемнымі.
- Апробавайце ў прыкладах рэальных запрашанняў з конкрэтных домэнаў, адколькі вядома, што MTEB надае прыорытэт модэлям, якія страждаюць ад перэнастроення.
Паўнайшы крок ёсць непераговорны. Больш заўсёды модэлі маюць высокія рангі па MTEB, але потым сталквуюцься з труднасцямі ў напісанні тэкстаў у тэхнічных або спецыялізаваных домэнах. Рангаванне трэба спрыяць як пункт выйшага, а не як фінальную адпаведзь.
Шасць модэляў для практычнага выкарыстоўвання і ўсія іх особлівасці
У парабяранні беруцца тры віробнікі:
- BAAI
bge-base-en-v1.5: 768 вымяроў, кантэкст на 512 токэнаў, адкрыты код, рэзультат працэўнага запрашанняў па MTEB — 53. - BAAI
bge-base-zh-v1.5: 768 вымяроў, кантэкст на 512 токэнаў, адкрыты код, рэзультат на кітайскіх тэстах — 69. - VoyageAI
voyage-2: 1024 выявы, 4K токэнаў, прыналежыць праваўцу. - VoyageAI
voyage-code-2: 1536 выявов, 16K токэнаў, прыналежыць праваўцу. - OpenAI
text-embedding-3-small: 512 да 1536 выявов, 8K токэнаў, прыналежыць праваўцу, рэйтынг 62. - OpenAI
text-embedding-3-large: 256 да 3072 выявов, 8K токэнаў, прыналежыць праваўцу, рэйтынг 65.
BGE база для англійскай і кітайскай мов
Гэта стандартныя выбары для стварэння пратэтыкаў або тады, калі вартасць інфраструктуры павінна быць майжэ нулявай. Ооні доступны на Hugging Face, працуюць прыемна на CPU і не маюць плата за API. Адпаведна 512-токенавая межа ёсць справжнім лімітом. Большасць фрагментавання на рэвалюцыях застаецца за ёю, таму гэта застаецца непазначаным, але дугія тэхнічныя часткі, якія не паддаюцца чыстаму раздзелэнню, падцярвягаюцца, і гэта тыха пагубляе якасць адзысквання інфармацыі. Для кітайскага кантэнту bge-base-zh-v1.5 ёсць найболей практычным варыянтом, а яго рэйтынг 69 у кітайскіх тэстах ёсць справдзіцца высокім.
VoyageAI voyage-2 і voyage-code-2
У опублікованым аналізе прыклада чыткаа паказана лепшая значэнні NDCG@10 для тэхнічных дакументацый, чым у модэлі ada-002, і самэ гэта частаа прычына, якая прывабляе людзей да гэтых модэляў. voyage-2 быў натрэнаваны на даных дыялогаў і канверсацый, таму ён лепшая паспраўляе запытанні да адпаведных фрагментаў, чым універсальныя модэлі, у певных сферах. У сістэмах RAG для падтрымкі кліянтаў ён чыткаа перамагае bge у короткіх запытаннях, якія маюць чыстаінтэнсійны характар.
voyage-code-2 — гэта болей цікавы варыянт. Ён навучаны на кодзе і прадстаўляе вікна кантэксту па 16 Кб, што ўсё больш за аналогічныя показнікі ў іншых раёнах. Для пошуку коду чы рэдагавання дакументацыі цэльга значыць, што цэлыя функцыі чы дужа дзяўгія опісы можна включыць без неабходнасці ўскладненага разбівання на часткі. VoyageAI адзвярцваеся пра 14% вышэйшую стопę вярнага аднаходжэння коду, і гэты показнік падтвердзіўся пад час тэставання. Недзеяючы моменты — гэта тое, што оба раёна ўласнасці прыметнікаў і доступны толькі праз API, без можлівасці самастойнага хоставання, а таксама абсалютная залежнасць ад наявнасці чы цэнавае політыкі прыметніка.
OpenAI text-embedding-3
Этыя модэлі заменілі ada-002, і практычныя выгоды ад гэтага значны: вышыя балы за выкарыстоўванне MTEB, лепшыя мультыязычныя практычныя характэрыстыкі і ніжэйшыя цены. Найцікавейным інжынерным выборам ёсць метод навчання на адпрацоўкі даных у фармаце Матрошкі. У працоўцы замест таго, каб навчаць модэль у аднай фіксаванай высоце, яна навчаецца ствараць прэдставленнія на кальколькіх розных масштабах адразу, таму эмбедынг можа быць скорачаны пад час запіту з дзівным для сябе мінімальным падышчам точнасці.
Для text-embedding-3-large зменшэнне колькасці вымяра з 3072 да 256 паднімае рэйтынг аднаходжэння MTEB з 65 да 62. Гэта прыблізна 5% падыш у точнасці зарады 12-кратнага зменшэння запасоў на зберагчыку і памяці, што часта ўзяцца за прыемнае, калі зберагаецца дзесяткі мільйонаў вектараў. У тэстах RAG на тэхнічной дакументацыі Milvus text-embedding-3-small з 256 вымярамі даваў адпаведзі, непераканальныя з версіяй з 1536 вымярамі, для большасці запыткаў. Случаі, калі вышэйшая колькасць вымяраў мела значэнне, былі пытанні з тонкай дзялёванасцю, можа 5% ад всіх рэальных запыткаў.
Код «з канца ў канец»: вкладкі OpenAI з Milvus
Усі параграфы ніжэй праўяжаны да Zilliz Cloud, дзе керуецца Milvus, хоць той самы код працюе і з самастаяльна адмаўляюцымся экземплярам Milvus.
Крок 1, праўязка:
from pymilvus import connections, utility
import os
from dotenv import load_dotenv
load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
alias='default',
uri=CLUSTER_ENDPOINT,
token=TOKEN,
)
Шаг 2: задаць мадэль укладкі:
import openai
from openai import OpenAI
openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512 # Using reduced dim - good enough for most use cases
Шаг 3: стварыць калекцыю:
from pymilvus import MilvusClient
COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
COLLECTION_NAME,
EMBEDDING_DIM,
consistency_level="Eventually",
auto_id=True,
overwrite=True
)
Крок 4: разбіўка, вбудовванне і вставка:
# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
response = openai_client.embeddings.create(
input=chunk.page_content,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
embeddings = response.data[0].embedding
chunk_list.append({
'vector': embeddings,
'chunk': chunk.page_content,
'source': chunk.metadata.get('source', ''),
})
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)
Шаг 5, запыт і стварэнне:
SAMPLE_QUESTION = "What do the parameters for HNSW mean?"
response = openai_client.embeddings.create(
input=SAMPLE_QUESTION,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
COLLECTION_NAME,
data=[query_embeddings],
output_fields=["chunk", "source"],
limit=3,
consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
messages=[
{"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
{"role": "user", "content": SAMPLE_QUESTION}
],
model="gpt-3.5-turbo",
temperature=0.1,
)
print(llm_response.choices[0].message.content)
Полны ўсім неабходным прылад для працы знаходзіцца ў рэпазітарыі Milvus bootcamp на GitHub.
Рамка для прыняцтва рашэнняў
Пасля багацько эксперыментаў выбор зазвычай здзейсніваецца так:
- Стварэнне пратэйпаў, праца, чутлівая да костоў, або самастойнае хоставанне: пачніце з
bge-base-en-v1.5. Ён бесплатны, шырокі і дастаткова якісны, каб параболізаваць архітэктуру пайплайну. - Продакшн-чатботы на англійскай мове або багатыя мовы:
text-embedding-3-smallз зменшанай размернасцю ёсць аптымальным співвядамленнем костоў і якосці. - Работа з документамі высокай значамасці, такімі як юрыдычныя, медычныя або тэхнічныя: серйозна ацэніце
voyage-2, таму што MTEB не пакрывае усё, а якасць выкарыстоўвання дакументаў залежыць ад рэгіону.
voyage-code-2 і яго 16K актуальна пам’ятка падкладаюць праблему залежнасці ад API.text-embedding-3-large з 256 вымірамі, дзе падход з матрыёшкамі ёсць розумным інжынерным рашэннем.Як бы вы не выбралі, тэставайце на частцы рэальных запыткаў з працы. MTEB ёсць толькі прыемніком, а якасць адзысквання даных на рэальных дадзенах — гэта ўсё, што мае значэнне.