Головна / Статті

Чому реранкінг — це найдешевша велика перевага у пайплайні RAG

Отримання 50 елементів та їх переранжування до 5: як переранжування за допомогою крос-енкодера виправляє порядок у пайплайні RAG, які переваги та затримки можна очікувати, коли його можна пропустити та що слід використовувати.

Видавець: REACTAPP.TOP8 хв читання1755 слів

Джерела: Reranking: The Highest-Return Fix in RAG

Навіть коли пошуковий агент знаходить правильний фрагмент, він може поставити його на настільки низький рівень, що модель ніколи його не побачить. Другий етап оцінювання вирішує цю проблему: формується широкий набір кандидатів, він переоцінюється за допомогою потужнішої моделі, і ЛЛМ надається лише найкращі результати.

Дві функції, приховані в одному процесі

Пошук у системі RAG виконує дві окремі завдання. Спочатку необхідно знайти правильний уривок, а потім розмістити його на достатньо високому рівні, щоб модель могла ним скористатися. Команди часто зосереджують зусилля на першому завданні та ігнорують друге, через що показники пошуку можуть виглядати чудово, але відповіді залишатися незадовільними.

Модель бачить лише те, що потрапляє до запиту. Правильний фрагмент, який знаходиться на 7-му місці, втрачається, якщо надсилаються лише перші 5, і з практичної точки зору він може вважатися таким, ніби знаходиться на 700-му місці. Саме тому показник Recall@50 може здаватися чудовим, хоча відповіді є неправильними: інформація була знайдена, але так і не потрапила до вікна контексту.

Процес переранжування закриває цю прогалину. Як другий етап обробки він знову оцінює кандидатів, яких вже знайшов механізм пошуку, та переставляє їх за ступенем відповідності запиту. Для багатьох систем цей підхід забезпечує найкраще покращення якості за одиницю зусиль, оскільки архітектура залишається незмінною, а решта компонентів системи не торкаються.

Чому існують два етапи

Щільний ретрівер заздалегідь вставляє кожен документ у векторний формат. Під час пошуку він вставляє запит та шукає сусідні вектори. Запит та документ насправді ніколи не зустрічаються, оскільки кожен з них спочатку перетворюється у власний вектор перед порівнянням, а це стиснення видаляє деталі щодо ступеня їхньої відповідності. Перевагою є швидкість, достатня для аналізу мільйонів документів.

Крос-енкодер працює інакше. Він передає запит та один документ у модель разом як один вхід та проводить повний процес обробки для цієї пари. Оскільки обидва тексти видимі одночасно, можна врахувати заперечення, умовні вирази та саме формулювання, яке робить уривок справжньою відповіддю на запитання, а не лише загальну схожість.

Ця точність має свою ціну. Нічого не можна попередньо обчислити, тому під час запиту потрібен окремий процес для кожного кандидата. Для мільйона документів це неможливо, тоді як для 50 документів, де перший етап вже здійснив відбір, це швидко та практично. Ось чому існує двоетапна ідея: спочатку отримати якомога більше результатів дешево, а потім точно та вузько їх перевірити за рангом.

Керівництво Cohere, посібники RAG від OpenAI та більшість продакшн-рішень дотримуються приблизно однакової схеми у трьох кроках:

  1. Отримати якомога більше результатів. Вибрати топ-50 результатів, зазвичай за допомогою гібридного пошуку, де результати методів dense та BM25 об’єднуються за допомогою фузії взаємних рангів. Широкий діапазон пошуку підвищує шанси на включення потрібного фрагмента.
  2. Перевірити ранги. Крос-кодер оцінює кожну з пар запиту-документ серед 50, після чого список сортується за цими оцінками.
  3. Залишити п’ять. Надіслати до LLM лише найкращі кілька результатів.

Основне правило, яке пройшло перевірку на різних тестах, є простим: отримати 50 результатів та відсортувати їх до 5 найкращих. Перша стадія забезпечує високий рівень відтворення інформації, включаючи потрібні дані до списку, а стадія пересортування підвищує точність, виводячи найкращі результати на перше місце. Не потрібно повторного вбудовування даних, індекс не перебудовується, а механізм пошуку залишається без змін, що пояснює, чому це рішення є настільки ефективним та корисним.

Що це дає та що коштує

Покращення точності є стабільними та достатньо значними, щоб мати значення:

  • +5 до 15 NDCG@10 — це типове значення на тестах MTEB та BEIR.
  • На 40–60% вища точність@3 спостерігається у механізмах пошуку з високим рівнем шуму, саме для таких випадків і призначене пересортування.
  • На 35% менше галюцинацій спостерігалося під час тестів у Databricks порівняно з використанням схожості вбудованих векторів, оскільки краще підготовлені дані зменшують можливості для вигадування моделлю.

Затримка дійсно зростає, але це збільшення є незначним у порівнянні з усім процесом обробки:

  • Оцінка 50 кандидатів займає менше 50 мс на GPU.
  • На CPU для цих самих 50 кандидатів потрібно від 100 до 300 мс, коли пари обробляються в одному запиті.
  • Ультралегка бібліотека, така як FlashRank, потребує лише від 15 до 30 мс.
  • Метод LLM completion все ще є найефективнішим з точки зору часу та витрат, тому переоцінка майже не впливає на загальну суму.

У більшості застосувань оплата приблизно 120–200 мс за підвищення точності результатів у топ-3 на 40% є найкращим співвідношенням ціни та якості серед усіх можливих варіантів.

Коли це допомагає, а коли — ні

Переоцінка дає високу ефективність, але не є універсальною; її основна мета — виправлення рангування, а не пошук. Вона є корисною у таких випадках:

  • Шумний топ-результат попри гарну точність відтворення. Відповідний фрагмент потрапляє до топ-50, але займає 6-те чи 12-те місце. Висока точність@50 при низькій точності@3 є найяскравішим аргументом для переранжування.
  • Обмежений бюджет запитів. Якщо до моделі надходить лише 3–5 фрагментів, саме їхній порядок вирішує все, і поганий топ-3 призводить до поганої відповіді.
  • Складні чи неоднозначні запити. Коли значення залежить від умовника чи заперечення, наприклад перетворення рахунків-фактур у CSV на відміну від звітів у PDF, спільна оцінка цих пар допомагає розрізнити ситуації, які бі-енкодер змішує.
  • Корпус сповнений майже однаковими текстами. У документах підтримки та політики є багато схожих уривків, які відповідають на різні запитання, і переранжувач допомагає їх розрізнити.

Це розчаровує, коли:

  • Слабке відтворення інформації на першій стадії. Модель для переранжування може лише перетасувати вхідні дані. Якщо потрібний фрагмент відсутній у першій 50-ці, спочатку потрібно покращити процес пошуку за допомогою кращого розділення даних на фрагменти або гібридних методів пошуку.
  • Відтворення інформації, яке вже є відмінним. Якщо правильний фрагмент зазвичай знаходиться у верхній частині списку, переранжування лише перетасовує вже правильний список з мінімальною користю. Швидка перевірка: якщо той самий фрагмент перемагає у більшості запитів як з використанням, так і без використання моделі для переранжування, це означає, що вона не виконує своїх функцій належним чином.
  • Генератор, який дозволяє помилки. Модель з довгим контекстом, яка може обробляти 20 слабко пов’язаних фрагментів, отримує меншу користь від обмеженого списку з 3 елементів, ніж модель, яка працює з лише 5 фрагментами.
  • Суворий ліміт затримки. При суворих вимогах до реального часу 150 мс може вже вважатися занадто великим значенням. Виберіть швидку модель для переранжування, таку як FlashRank, або взагалі не використовуйте її.

Щоб визначити, який варіант підходить, окремо вимірюйте recall@50 та precision. Recall показує, чи знаходить система потрібний фрагмент, а precision — чи правильно вона його ранжує; переранжування виправляє лише другий аспект.

Крос-енкодери чи переранжувачі LLM

Існують два типи, і вибір полягає у прямій заміні між точністю та затримкою.

  • Крос-енкодери є стандартом. Вони швидкі, дешеві, передбачувані та генерують числовий бал, який можна використовувати як поріг. Для переважної більшості продакшн-систем вони є правильною та остаточною відповіддю.
  • LLM-реранкери прослять велику модель саму оцінити релевантність. Для дуже складних запитів, що вимагають глибоких міркувань, вони можуть досягати переваги у 5–8% у деяких завданнях, але це збільшує час виконання на 4–6 секунд та значно підвищує витрати. Користувачі зазвичай здаються приблизно через 3 секунди, тому такі рішення підходять для роботи офлайн або у великих обсягах даних, але майже ніколи не використовуються для інтерактивних функцій.

Почніть з крос-енкодера. Розглядати LLM-реранкери варто лише після вимірювання реальної різниці у результатах на складних запитах та підтвердження того, що додатковий час є прийнятним.

Два способи впровадження

Команди зазвичай обирають самостійно розміщений крос-енкодер або API від провайдера, причому кожен з цих варіантів складається з кількох рядків коду.

Самостійне використання через sentence-transformers добре підходить до BGE-reranker-v2-m3 — стандартного варіанту з відкритим кодом, який підтримує кілька мов та має ліцензію Apache 2.0:

from sentence_transformers import CrossEncoder

# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

def rerank(query, candidates, top_n=5):
    pairs = [(query, doc) for doc in candidates]   # one batched pass
    scores = reranker.predict(pairs)
    ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
    return ranked[:top_n]

# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)

Якщо не потрібно запускати модель, Cohere Rerank є варіантом з хостингом:

import cohere

co = cohere.ClientV2()
resp = co.rerank(
    model="rerank-v3.5",
    query="How do I cancel my subscription?",
    documents=candidates,   # the top 50 from the retriever
    top_n=5,
)
# resp.results carries the reranked indices and relevance scores

Обидві стратегії використовують однаковий вхідний даний — топ-50 результатів від пошукового інструменту — та повертають відфільтрований топ-5. Фреймворки на кшталт LangChain об’єднують їх під спільним інтерфейсом, тож зміна між ними здійснюється за допомогою однієї рядка коду.

Вибір моделі

У цій галузі сформувалися чіткі варіанти вибору, які залежать від обмежень щодо часу відгуку, мови та можливості самостійного розміщення серверів:

  • Стандартний варіант з відкритим кодом: BGE-reranker-v2-m3 — багатомовний, ліцензований під Apache 2.0; час обробки приблизно 80 мс на CPU для 50 кандидатів. Для роботи з переважно англійським текстом можна використовувати bge-reranker-large.
  • Найпростіший варіант з хостингом: Cohere Rerank вимагає лише одного API-запиту та не потребує серверів; вартість становить приблизно 1 долар за кожні тисячу пошуків.
  • Варіант з найвищими вимогами до швидкості: FlashRank або компактний крос-енкодер MiniLM — обробка відбувається на CPU менш ніж за 30 мс з незначними втратами якості.
  • Довгі документи: оберіть реранкер з підтримкою довгого контексту, як-от Jina Reranker v2, адже стандартні крос-енкодери мовчки обрізають вхідний текст після 512 токенів.

Як приблизний орієнтир, хостований API — це найдешевший варіант для початку з приблизно десяти тисяч запитів на день. Після цього кількості самостійно розміщеного моделі BGE зазвичай швидко окупаються.

Висновок

Реранкінг забезпечує точність, яка перетворює хороший рівень відтворення інформації на якісні відповіді. Ретрівер кидає дешеву, широку сітку та повертає багато «шуму», а крос-енкодер потім переоцінює цей набір даних за допомогою процесу, зваженого на запит, який ретрівер не міг собі дозволити, переміщуючи справді релевантні фрагменти туди, де модель насправді їх переглядає.

Це найефективніший спосіб вдосконалення RAG, оскільки він залишається контрольованим: отримайте 50 результатів, перерангуйте їх до 5 найкращих, більше нічого не змінюйте та виміряйте покращення на власних даних. Приріст точності зазвичай великий, витрати на затримку — мінімальні, а рішення залежить від одного запитання: чи настільки добре алгоритм ранжування працює, наскільки добре він знаходить дані? Зазвичай ні, і саме переранжування допомагає подолати цю різницю.

Джерела цих даних

  • Документація Cohere щодо переранжування
  • Інформація про модель BAAI's BGE-reranker-v2-m3
  • Документація CrossEncoder від sentence-transformers
  • ARAGOG — порівняння передових методів RAG, включаючи переранжування (arXiv 2404.01037)
  • Оцінка Databricks щодо RAG з довгим контекстом та переранжування
  • FlashRank — бібліотека для переранжування з низькою затримкою на GitHub

Пов’язана література

  • Переранжування в RAG за допомогою Spring AI та Pinecone: переміщення відповіді з 4-го на 1-ше місце — демонстрація Spring Boot, яка порівнює звичайну схожість векторів із кроком переранжування bge-reranker від Pinecone на прикладі посібника з управління персоналом, демонструючи, як відповідь, що була «закопана», піднімається на перше місце завдяки оцінкам релевантності. —