Выбор модели эмбеддингов для RAG: сравнение MTEB, BGE, Voyage и OpenAI
Выбор модели эмбеддингов для RAG: правильное использование MTEB, заметки о BGE, Voyage, OpenAI и ещё трёх моделях, пятиэтапная схема работы с Milvus и система принятия решений.
Источники: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way
Три недели — это долгий срок для работы с чат-ботом на основе технологии RAG, который дает странно уверенные, но совершенно неверные ответы. По теоретическим показателям все выглядело нормально: использовался LLM GPT-4, а векторная база данных была надежной. Однако причиной проблем оказалась модель эмбеддингов, взятая из первого попавшегося учебника и больше никогда не проверявшаяся. Она совершенно не подходила для данной области применения. Такой опыт заставляет внимательно рассмотреть компоненты, находящиеся в начале пайплайна RAG; вот что важно учитывать при выборе модели эмбеддингов: рейтинг MTEB, модели в стиле SBERT, а также компромиссы между open-source и коммерческими решениями.
Место моделей эмбеддингов в пайплайне RAG
Работа технологии RAG происходит в трех этапах.
Поглощение данных. Каждый фрагмент документа проходит через модель вживления, которая генерирует векторное представление — числовое резюме с фиксированным размером, отражающее смысл фрагмента. Эти векторы хранятся в векторной базе данных, такой как Milvus.
Поиск. Когда пользователь задаёт вопрос, он также преобразуется с помощью той же модели, и поиск ближайших соседей позволяет найти наиболее похожие фрагменты.
Генерация. Топ-К фрагментов включаются в промпт для большой языковой модели в качестве контекста, что позволяет модели отвечать, опираясь на знания из конкретной области, а не только на данные, на которых она обучалась.
Критическим ограничением является то, что эмбеддинги запросов и документов могут существовать в одном векторном пространстве только в том случае, если оба были сгенерированы одной и той же моделью. Замена модели с одной стороны без переиндексации другой приводит к резкому снижению качества поиска. Существуют также исследования, посвящённые необходимости сохранения количества результатов в диапазоне top-K. В статье «Lost in the Middle» было показано, что качество ответа снижается, когда слишком много полученных фрагментов заполняют окно контекста, поэтому поиск должен оставаться сфокусированным и релевантным, а не широким и с шумом.
SBERT: принципы проектирования большинства моделей эмбеддингов
Большинство моделей встраивания, с которыми вы столкнетесь, происходят от SBERT — Sentence-BERT. Обычный BERT был создан для понимания отдельных токенов в контексте. SBERT идет дальше, обучая модель генерировать вектор фиксированного размера, который отражает смысл всего предложения. Для этого используется метод сиамского обучения: два предложения кодируются отдельно, и модель учится располагать семантически похожие предложения рядом в векторном пространстве.
На практике SBERT способен распознать, что предложение о кошке, сидящей на коврике, отличается по смыслу от аналогичного предложения с поменянными местами словами «кошка» и «коврик», чего базовый BERT не смог бы надежно выявить. Для поиска, при котором вопросы сопоставляются с соответствующими фрагментами текста, именно такое понимание на уровне предложений делает этот подход эффективным.
Модели больших языковых моделей, такие как GPT-4, развиваются на основе декодерной части трансформера и настроены для генерации текста. Модели эмбеддингов формируются на основе энкодерной части и настроены для представления данных. Это разные инструменты, выполняющие разные задачи в рамках одной и той же обработки данных.
Правильное использование табло лидеров MTEB
Табло лидеров MTEB от Hugging Face является отраслевым стандартом для сравнения моделей эмбеддингов, однако его часто неправильно используют. Оценка MTEB проводится для моделей по 8 типам задач, включая поиск, кластеризацию, классификацию и оценку семантической схожести текстов, на основе 58 наборов данных. Для пайплайна RAG важна только одна колонка: Среднее значение поиска, измеряемое как NDCG@10 — нормализованный дисконтированный кумулятивный прирост на десятом результате. Этот показатель наиболее сильно влияет на результаты с высоким рангом, что соответствует реалиям пайплайна RAG, где первые несколько фрагментов текста имеют наибольший вес.
Практическая процедура выбора:
- Отсортируйте табличку лидеров по столбцу «Поиск», от самых высоких значений.
- Оставьте только те модели, которые соответствуют ограничениям по памяти и задержке.
- Выберите самую маленькую модель, у которой показатели поиска являются приемлемыми.
- Протестируйте её на примере реальных запросов из конкретной области, поскольку известно, что MTEB поощряет переобучение у некоторых моделей.
Последний шаг является обязательным. Многие модели занимают высокие позиции по MTEB, но плохо справляются с техническим или специализированным текстовым форматированием. Рассматривайте рейтинг лишь как отправную точку, а не как окончательный результат.
Шесть производственных моделей и их особенности
Сравнение включает три поставщика:
- BAAI
bge-base-en-v1.5: 768 измерений, контекст на 512 токенов, открытый исходный код, балл поиска по MTEB — 53. - BAAI
bge-base-zh-v1.5: 768 измерений, контекст на 512 токенов, открытый исходный код, балл на китайских тестах — 69. - VoyageAI
voyage-2: 1024 измерения, 4K токенов, проприетарный алгоритм. - VoyageAI
voyage-code-2: 1536 измерений, 16K токенов, проприетарный алгоритм. - OpenAI
text-embedding-3-small: от 512 до 1536 измерений, 8K токенов, проприетарный алгоритм, оценка 62. - OpenAI
text-embedding-3-large: от 256 до 3072 измерений, 8K токенов, проприетарный алгоритм, оценка 65.
База BGE для английского и китайского языков
Это стандартные варианты для прототипирования или в ситуациях, когда затраты на инфраструктуру должны быть практически нулевыми. Они доступны на Hugging Face, работают приемлемо на процессоре и не влекут за собой оплаты за API. Настоящим ограничением является объем в 512 токенов. Большинство фрагментов на уровне абзацев укладываются в этот лимит, поэтому это остается незамеченным, но длинные технические тексты, которые трудно разделить на части, обрезаются, что незаметно снижает качество получаемой информации. Для китайского контента наиболее практичным вариантом является bge-base-zh-v1.5, а его оценка в 69 по китайским тестовым заданиям действительно высока.
VoyageAI voyage-2 и voyage-code-2
Опубликованное исследование конкретного случая показало значительно лучший показатель NDCG@10 для технической документации по сравнению с генерацией модели ada-002, и именно это часто привлекает людей к этим моделям. Модель voyage-2 была обучена на данных диалогов и бесед, поэтому она лучше, чем универсальные модели, соотносит вопросы с соответствующими фрагментами текста в определённых областях. В системах RAG для обслуживания клиентов она явно превосходила модель bge при обработке коротких запросов, сильно ориентированных на определённую цель.
voyage-code-2 — более интересный вариант. Он обучен на коде и имеет окно контекста в 16 Кб, что является максимальным показателем в этой группе. Для поиска кода или использования в документации по технологии RAG это означает, что целые функции или длинные описания могут быть включены без необходимости разбивки на части на нежелательных границах. VoyageAI сообщает о 14% более высоком уровне восстановления информации при поиске кода, и эта цифра показалась достоверной в ходе тестирования. Недостатком является то, что оба решения являются проприетарными и доступны только через API, без возможности самостоятельной развертки, при этом полностью зависят от доступности и цен со стороны поставщика.
OpenAI text-embedding-3
Эти модели заменили ada-002, и преимущества они действительно значительные: более высокие показатели MTEB при поиске, улучшенная мультиязычная работоспособность и более низкая стоимость. Самым интересным инженерным решением является метод обучения представлений в стиле «Матрёшка». Вместо обучения в одном фиксированном измерении модель одновременно формирует представления в нескольких масштабах, что позволяет сокращать размер векторов во время запроса с удивительно незначительной потерей точности.
Для text-embedding-3-large снижение количества измерений с 3072 до 256 приводит к падению оценки MTEB с 65 до 62. Это примерно на 5% меньшая точность в обмен на 12-кратное сокращение объема хранилища и памяти, что часто является оправданным решением при хранении десятков миллионов векторов. В тестах RAG на технической документации Milvus версия text-embedding-3-small с 256 измерениями давала ответы, неотличимые от ответов версии с 1536 измерениями, для большинства запросов. Ситуации, когда более высокая размерность имела значение, были связаны с тонкими вопросами различения значений, что составляло, возможно, 5% от общего объема запросов.
Код от начала до конца: встраивание моделей OpenAI с использованием Milvus
Полная схема обработки, приведенная ниже, подключается к Zilliz Cloud, где управляется Milvus, хотя тот же код работает и с самостоятельно развернутой инстансой Milvus.
Шаг 1: подключение:
from pymilvus import connections, utility
import os
from dotenv import load_dotenv
load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
alias='default',
uri=CLUSTER_ENDPOINT,
token=TOKEN,
)
Шаг 2: определение модели эмбеддингов:
import openai
from openai import OpenAI
openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512 # Using reduced dim - good enough for most use cases
Шаг 3: создание коллекции:
from pymilvus import MilvusClient
COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
COLLECTION_NAME,
EMBEDDING_DIM,
consistency_level="Eventually",
auto_id=True,
overwrite=True
)
Шаг 4: разбиение на части, встраивание и вставка:
# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
response = openai_client.embeddings.create(
input=chunk.page_content,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
embeddings = response.data[0].embedding
chunk_list.append({
'vector': embeddings,
'chunk': chunk.page_content,
'source': chunk.metadata.get('source', ''),
})
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)
Шаг 5: запрос и генерация:
SAMPLE_QUESTION = "What do the parameters for HNSW mean?"
response = openai_client.embeddings.create(
input=SAMPLE_QUESTION,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
COLLECTION_NAME,
data=[query_embeddings],
output_fields=["chunk", "source"],
limit=3,
consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
messages=[
{"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
{"role": "user", "content": SAMPLE_QUESTION}
],
model="gpt-3.5-turbo",
temperature=0.1,
)
print(llm_response.choices[0].message.content)
Полностью готовая рабочая записная книжка находится в репозитории Milvus bootcamp на GitHub.
Парадигма принятия решений
После множества экспериментов выбор обычно оказывается следующим:
- Прототипирование, задачи с ограниченным бюджетом или самостоятельная развертка: начните с
bge-base-en-v1.5. Он бесплатен, быстр и достаточно хорош для проверки архитектуры потока обработки данных. - Промышленные англоязычные или мультиязычные чат-боты:
text-embedding-3-smallс сниженной размерностью трудно превзойти с точки зрения соотношения стоимости и качества. - Задачи с высокой степенью риска в таких областях, как юриспруденция, медицина или техническая документация: тщательно рассмотрите вариант
voyage-2, поскольку метод MTEB не учитывает всё, а качество поиска информации в конкретной области может быть неожиданным.
voyage-code-2 и его окно размером 16 Кб оправдывают необходимость использования API.text-embedding-3-large с 256 измерениями, где подход «матрёшки» представляет собой умелое инженерное решение.Каким бы ни был выбор, тестируйте его на реальных запросах из производства. MTEB — это лишь показатель, а качество поиска в реальных данных — единственный важный показатель.