Головна / Статті

Вибір моделі ембеддингів для RAG: порівняння MTEB, BGE, Voyage та OpenAI

Вибір моделі ембеддингу для RAG: правильне читання MTEB, примітки щодо BGE, Voyage, OpenAI та ще трьох моделей, п’ятикроковий процес у Milvus та система прийняття рішень.

Видавець: REACTAPP.TOP7 хв читання1643 слів

Джерела: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way

Три тижні — це довгий час на роботу з чат-ботом типу RAG, який надає дивно впевнені, але абсолютно неправильні відповіді. Показники ефективності збору даних на папері виглядали нормально, ЛМ був моделлю GPT-4, а база даних векторів — надійною. Винуватцем виявився модель ембеддингів, взята з першого ж посібника, який знайшовся, і яку більше ніколи не перевіряли. Вона сильно не підходила для цієї сфери. Такий досвід змушує уважніше подивитися на те, що знаходиться на початку процесу RAG, тож ось що має значення під час вибору моделі ембеддингів: топ-лист MTEB, моделі у стилі SBERT та компроміси між відкритими та пропрієтарними варіантами.

Місце ембеддингів у процесі RAG

Процес RAG відбувається у трьох етапах.

Прийом даних. Кожен фрагмент документа проходить через модель ембеддингу, яка створює векторний ембеддинг — числовий опис значення фрагмента фіксованого розміру. Ці вектори зберігаються у базі даних векторів, такій як Milvus.

Пошук. Коли користувач ставить запитання, воно також ембеддується за допомогою тієї самої моделі, і за допомогою пошуку найближчих сусідів знаходяться найбільш схожі фрагменти.

Генерація. Топ-K фрагментів використовуються як контекст у запиті до LLM, тож модель відповідає, спираючись на свої знання з конкретної галузі, а не лише на дані, на яких вона навчалася.

Критичною обмеженням є те, що ембеддинги запитів та документів ділять спільний векторний простір лише тоді, коли обидва були створені однією моделлю. Якщо замінити модель з однієї сторони без переіндексації іншої, якість пошуку різко погіршується. Існують також дослідження щодо підтримання обмеження кількості результатів типу top-K. У статті «Lost in the Middle» було показано, що якість відповідей знижується, коли занадто багато знайдених фрагментів заповнюють вікно контексту, тому пошук має залишатися зосередженим та релевантним, а не широким та шумним.

SBERT: принципи проектування більшості моделей ембеддингів

Більшість моделей ембеддингу, з якими ви зіткнетеся, походять від SBERT – Sentence-BERT. Звичайний BERT був створений для розуміння окремих токенів у контексті. SBERT йде далі, навчаючи модель генерувати вектор фіксованого розміру, який відображає сенс цілого речення. Метод полягає у сіамському навчанні: два речення кодуються окремо, і модель вчиться розміщувати семантично схожі речення близько одне до одного у векторному просторі.

На практиці SBERT може визначити, що речення про кота, який сидить на килимку, відрізняється за сенсом від речення з тими самими словами, але з місцями кота та килимка, зміненими місцями – різницю, яку базовий BERT не зможе надійно виявити. Для пошуку, коли запити підбираються до відповідних уривків, саме це розуміння на рівні речень робить підхід ефективним.

Моделі LLM, такі як GPT-4, розвиваються з боку декодера трансформера та налаштовані для генерації тексту. Моделі ембеддингів розвиваються з боку енкодера та налаштовані для представлення даних. Це різні інструменти, які виконують різні завдання в межах однієї системи обробки даних.

Правильне використання табелі лідерів MTEB

Табель лідерів MTEB від Hugging Face є стандартом галузі для порівняння моделей ембеддингів, проте її часто неправильно використовують. MTEB оцінює моделі за 8 типів завдань, зокрема пошук, кластерування, класифікацію та семантичну схожість текстів, на 58 наборах даних. Для системи RAG важлива лише одна колонка: Retrieval Average, яка вимірюється за показником NDCG@10 — нормалізованою дисконтованою кумулятивною вигодою для десятого результату. Цей показник надає найбільший вагомість результатам з найвищим рангом, що відповідає реаліям системи RAG, де перші кілька фрагментів мають найбільший вплив.

Ефективна процедура відбору:

  1. Відсортуйте табель лідерів за стовпцем «Отримання даних», починаючи з найвищих значень.
  2. Залиште лише ті моделі, які відповідають обмеженням щодо пам’яті та затримки.
  3. Виберіть найменшу модель, чиї показники отримання даних є прийнятними.
  4. Протестуйте її на зразку реальних запитів з конкретної галузі, адже відомо, що MTEB може похвалювати моделі з наднавчанням.

Останній крок є обов’язковим. Багато моделей мають високі позиції за MTEB, але мають проблеми з технічним або спеціалізованим формулюванням текстів. Розглядайте рейтинг як відправну точку, а не як остаточну відповідь.

Шість продакшн-моделей та їхні особливості

Порівняння охоплює трьох постачальників:

  • BAAI bge-base-en-v1.5: 768 вимірів, контекст на 512 токенів, відкритий код, показник отримання даних за MTEB – 53.
  • BAAI bge-base-zh-v1.5: 768 вимірів, контекст на 512 токенів, відкритий код, показник – 69 за китайськими тестами.
  • VoyageAI voyage-2: 1024 вимірів, 4K токенів, пропрієтарний.
  • VoyageAI voyage-code-2: 1536 вимірів, 16K токенів, пропрієтарний.
  • OpenAI text-embedding-3-small: від 512 до 1536 вимірів, 8K токенів, пропрієтарний, оцінка 62.
  • OpenAI text-embedding-3-large: від 256 до 3072 вимірів, 8K токенів, пропрієтарний, оцінка 65.

BGE base для англійської та китайської мов

Це стандартні варіанти для прототипування або тоді, коли витрати на інфраструктуру мають бути майже нульовими. Вони доступні на Hugging Face, працюють прийнятно на CPU та не мають комісій за API. Справжньою межею є обсяг у 512 токенів. Більшість фрагментів рівня абзацу залишаються в межах цього обсягу, тому це залишається непоміченим, але довгі технічні уривки, які складно розділити на частини, обрізаються, що тихо погіршує якість отримання інформації. Для китайськомовного контенту bge-base-zh-v1.5 є найбільш практичним варіантом, а його оцінка 69 у китайських тестах є справді високою.

VoyageAI voyage-2 та voyage-code-2

Опубліковане дослідження конкретного випадку чітко показало кращий показник NDCG@10 для технічної документації порівняно з генерацією ada-002, і саме це часто приваблює людей до цих моделей. voyage-2 був навчений на даних діалогів та розмов, тому він краще прив’язує запитання до відповідних уривків, ніж універсальні моделі, у певних галузях. У системах RAG для підтримки клієнтів він значно перевершив bge у коротких запитах, що містять чіткі інтенти.

voyage-code-2 є більш цікавим варіантом. Він навчений на коді та пропонує вікно контексту 16K, що є найбільшим у цій групі. Для пошуку коду чи документації за технологією RAG це означає, що цілі функції чи довгі описи можна вбудовувати без необхідності розділення на частини на незручних межах. VoyageAI повідомляє про 14% кращу точність у пошуку коду, що підтвердилося під час тестування. Недоліком є те, що обидва інструменти є пропрієтарними та доступні лише через API, без можливості самостійного розміщення, з повною залежністю від доступності та цін виробника.

OpenAI text-embedding-3

Ці моделі замінили ada-002, і переваги від цього значні: вищі оцінки MTEB у процесі пошуку, краща багатомовна продуктивність та нижчі ціни. Найцікавішим інженерним рішенням є метод навчання з використанням представлень у стилі „Матрьошка“. Замість навчання в одному фіксованому вимірі модель одночасно вивчає представлення в кількох масштабах, тож ембеддинг можна скоротити під час запиту з дивовижно мінімальними втратами точності.

Для text-embedding-3-large зниження кількості вимірів з 3072 до 256 зменшує оцінку MTEB для пошуку з 65 до 62. Це приблизно на 5% знижує точність у обмін на 12-кратне скорочення обсягу зберігання та пам’яті, що часто є доцільним, коли зберігаються десятки мільйонів векторів. У тестах RAG на технічній документації Milvus text-embedding-3-small з 256 вимірами давав відповіді, нерозрізненні від версії з 1536 вимірами, для більшості запитів. Ситуації, коли вища кількість вимірів мала значення, стосувалися складних запитань на розрізнення значень, можливо, 5% від реального трафіку.

Код від початку до кінця: вбудовування від OpenAI з використанням Milvus

Усій наведеній нижче конвеєрній схемі потрібен доступ до Zilliz Cloud, де керується Milvus, хоча той самий код працює також з самостійно розгорнутою інстанцією Milvus.

Крок 1: підключення:

from pymilvus import connections, utility
import os
from dotenv import load_dotenv

load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
    alias='default',
    uri=CLUSTER_ENDPOINT,
    token=TOKEN,
)

Крок 2: визначте модель ембеддингу:

import openai
from openai import OpenAI

openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512  # Using reduced dim - good enough for most use cases

Крок 3: створіть колекцію:

from pymilvus import MilvusClient

COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
    COLLECTION_NAME,
    EMBEDDING_DIM,
    consistency_level="Eventually",
    auto_id=True,
    overwrite=True
)

Крок 4: розділення на частини, вбудовування та вставка:

# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
    response = openai_client.embeddings.create(
        input=chunk.page_content,
        model=EMBEDDING_MODEL,
        dimensions=EMBEDDING_DIM
    )
    embeddings = response.data[0].embedding

chunk_list.append({
        'vector': embeddings,
        'chunk': chunk.page_content,
        'source': chunk.metadata.get('source', ''),
    })
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)

Крок 5, запит та генерація:

SAMPLE_QUESTION = "What do the parameters for HNSW mean?"

response = openai_client.embeddings.create(
    input=SAMPLE_QUESTION,
    model=EMBEDDING_MODEL,
    dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
    COLLECTION_NAME,
    data=[query_embeddings],
    output_fields=["chunk", "source"],
    limit=3,
    consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
    messages=[
        {"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
        {"role": "user", "content": SAMPLE_QUESTION}
    ],
    model="gpt-3.5-turbo",
    temperature=0.1,
)
print(llm_response.choices[0].message.content)

Повний працездатний ноутбук знаходиться у репозиторії Milvus bootcamp на GitHub.

Критерії вибору

Після багатьох експериментів вибір зазвичай здійснюється так:

  • Прототипування, робота з урахуванням витрат або самостійне хостингу: почніть з bge-base-en-v1.5. Він безкоштовний, швидкий та достатньо якісний для перевірки архітектури потоку обробки даних.
  • Продакшн-чатботи англійською чи багатомовні чатботи: text-embedding-3-small зі зниженою розмірністю є найкращим варіантом з точки зору співвідношення витрат та якості.
  • Складні доменні сценарії RAG, такі як юридичні, медичні чи технічні документи: серйозно розгляньте voyage-2, оскільки MTEB не охоплює все, а якість пошуку даних у конкретних доменах може дивувати.
  • Пошук коду та інструменти для розробників: voyage-code-2 та його 16K вікно обґрунтовують необхідність використання API.
  • Суворі обмеження на пам’ять або мільярди векторів: text-embedding-3-large з 256 вимірами, де підхід типу „Матрьошка“ є розумним інженерним рішенням.
  • Яким би не було вибір, тестуйте на фрагментах реальних запитів у продакшені. MTEB є лише проксі, а якість пошуку на справжніх даних — єдиний важливий показник.