Почему переранкинг — самый экономичный способ добиться значительного прогресса в пайплайне RAG
Загрузка 50 элементов, их переранжирование до 5: как переранжирование с использованием кросс-энкодера исправляет порядок в пайплайне RAG, ожидаемые преимущества и задержки, когда его стоит пропустить, и что следует включить в релиз.
Источники: Reranking: The Highest-Return Fix in RAG
Даже когда поисковый агент находит правильный фрагмент, он может оценить его настолько низко, что модель вообще его не увидит. Второй этап оценки решает эту проблему: собирается широкий набор кандидатов, они переоцениваются с помощью более мощной модели, и ЯЗЫКУ предоставляются только лучшие варианты.
Две задачи, скрытые в одной обработке
Поиск в системе RAG выполняет две отдельные функции. Сначала необходимо найти подходящий фрагмент, а затем расположить его на достаточно высокой позиции, чтобы модель могла им воспользоваться. Команды часто сосредотачивают усилия на первой задаче и пренебрегают второй, из-за чего показатели поиска могут выглядеть отлично, в то время как ответы остаются неудовлетворительными.
Модель видит только то, что входит в промпт. Правильный фрагмент, занимающий 7-е место по рейтингу, теряется, если отправляются только топ-5 фрагментов; с практической точки зрения это равносильно тому, что он находится на 700-м месте. Именно поэтому показатель Recall@50 может казаться отличным, хотя ответы ошибочны: информация была найдена, но так и не попала в окно контекста.
Процедура переранжирования устраняет этот разрыв. В качестве второго этапа она пересчитывает оценки кандидатов, уже найденных системой поиска, и перестраивает их порядок в зависимости от того, насколько хорошо они отвечают на запрос. Для многих систем это обеспечивает один из лучших улучшений качества при минимальных усилиях, поскольку архитектура остается прежней, а остальные компоненты системы не меняются.
Почему существуют два этапа
Модель типа dense retriever заранее генерирует векторное представление каждого документа. При поиске она генерирует вектор запроса и ищет близкие по значению векторы документов. Запрос и документ на самом деле никогда не встречаются, поскольку каждый из них сначала преобразуется в свой собственный вектор перед сравнением, а такая компрессия устраняет тонкие детали, характеризующие степень их соответствия. Преимущество такого подхода — высокая скорость обработки, позволяющая сканировать миллионы документов.
Кросс-энкодер работает иначе. Он передаёт запрос и один документ в модель совместно, как один входной данные, и выполняет полный процесс обработки для этой пары. Поскольку оба текста видны одновременно, можно учитывать отрицания, уточнения и конкретную формулировку, которая делает отрывок действительным ответом на вопрос, а не просто косвенное сходство.
Такая точность имеет свою цену. Ничего невозможно предварительно вычислить, поэтому при обработке запроса требуется один проход для каждого кандидата. Для миллиона документов это бесперспективно, тогда как для 50 документов, где на первом этапе уже был сделан отбор, процесс остается быстрым и практичным. Отсюда и идея двухэтапного подхода: сначала получить большой объем данных дешево, а затем точно и тщательно переоценить их приоритеты.
Рекомендации Cohere, руководства OpenAI по технологии RAG и большинство производственных решений следуют примерно одному и тому же алгоритму, состоящему из трех шагов:
- Получение широкого набора данных. Выбираются 50 лучших результатов, часто с использованием гибридного поиска, где результаты методов dense и BM25 объединяются с помощью техники reciprocal rank fusion. Широкий диапазон поиска повышает вероятность включения нужного фрагмента.
- Переоценка приоритетов. Кросс-кодер оценивает каждую из 50 пар запрос-документ, после чего список сортируется по этим оценкам.
- Выбор пяти лучших. В ЯЗЫК больших моделей отправляются только самые значимые результаты.
Краткое правило, которое остается эффективным в тестах, звучит так: извлеките 50 результатов, затем отсортируйте их, оставив 5 лучших. На первом этапе критически важна полнота восстановления информации — нужно включить правильные данные в набор, а на этапе пересортировки важна точность — необходимо вывести наиболее релевантные результаты на первое место. Не требуется повторной имплантации данных, индекс не перестраивается, а механизм поиска остается прежним, что объясняет, почему это решение настолько эффективно и полезно.
Что это даёт и каковы затраты
Повышение точности стабильно и достаточно значительно, чтобы иметь практическое значение:
- Типичное значение +5 до 15 NDCG@10 наблюдается в тестах MTEB и BEIR.
- У механизмов поиска с высоким уровнем шума достигается на 40–60% более высокая точность@3, что и является целью процедуры пересортировки.
- В тестах Databricks при сравнении с методом прямого сравнения имплантаций количество ошибочных результатов сокращается на 35%, поскольку более обоснованные данные ограничивают возможности модели для выдумки.
Задержка действительно увеличивается, но это увеличение незначительно по сравнению с полным процессом обработки:
- Оценка 50 кандидатов занимает менее 50 мс на GPU.
- На CPU для тех же 50 кандидатов, если их объединить в один запрос, требуется от 100 до 300 мс.
- Крайне легкая библиотека, такая как FlashRank, нуждается всего в от 15 до 30 мс.
- Завершение работы LLM по-прежнему определяет время и стоимость, поэтому переориентация рейтингов едва влияет на итоговую сумму.
В большинстве приложений оплата примерно 120–200 мс за улучшение точности в топ-3 более чем на 40% является лучшим вариантом среди всех возможных решений в данной системе.
Когда это помогает, а когда — нет
Переориентация рейтингов приносит высокую отдачу, но не является универсальным решением; её основная задача — улучшение порядка ранжирования, а не поиск оптимальных результатов. Она оправдывает себя в следующих случаях:
- Шумные результаты на верхних позициях, несмотря на хорошую способность к воспроизведению информации. Подходящие фрагменты попадают в топ-50, но занимают 6-е или 12-е место. Высокая способность к воспроизведению@50 при низкой точности@3 является наиболее убедительным аргументом для переранжирования.
- Ограниченный бюджет на вводные данные. Если до модели доходит всего 3–5 фрагментов, порядок их предоставления определяет всё, и плохой топ-3 приводит к плохому ответу.
- Сложные или двусмысленные вопросы. Когда значение зависит от определения или отрицания, например преобразование счетов в формат CSV вместо отчетов в формат PDF, совместная оценка пары позволяет различать почти одинаковые варианты, которые би-кодер смешивает вместе.
- В корпусе много почти дублирующихся текстов. В документах поддержки и политики содержится множество похожих фрагментов, отвечающих на разные вопросы, и переранжировщик помогает их различать.
Это разочаровывает, когда:
- Низкая точность восстановления на первом этапе. Модель для переранжирования может лишь переставлять имеющиеся у неё данные. Если нужный фрагмент отсутствует среди 50 лучших результатов, сначала необходимо улучшить процесс поиска с помощью более эффективного разделения данных на фрагменты или гибридных методов поиска.
- Очень высокая точность восстановления. Если правильный фрагмент обычно уже находится среди лучших результатов, переранжирование приводит лишь к незначительным изменениям в уже корректном списке. Быстрый способ проверки: если тот же фрагмент побеждает в большинстве запросов как с использованием модели для переранжирования, так и без неё, значит, она не выполняет свою функцию должным образом.
- Модель-генератор с высокой толерантностью к ошибкам. Модель с большим объёмом контекста, способная обрабатывать 20 слабо связанных между собой фрагментов, получает меньше пользы от ограниченного списка из 3 лучших результатов, чем модель, обрабатывающая всего 5 фрагментов.
- Строгий лимит задержки. При жёстких требованиях к работе в реальном времени 150 мс уже могут считаться слишком большим значением. Лучше выбрать быструю модель для переранжирования, такую как FlashRank, или вообще отказаться от неё.
Чтобы определить, какой вариант применим, необходимо отдельно измерить показатели recall@50 и precision. Recall показывает, находит ли система нужный фрагмент, а precision — располагает ли она его в правильном порядке; переранжирование может исправить только второй показатель.
Кросс-энкодеры или переранжировщики на основе LLM
Существуют два типа таких решений, и выбор сводится к прямому компромиссу между точностью и задержкой.
- Кросс-энкодеры являются стандартным решением. Они быстрые, недорогие, предсказуемые и выдают числовую оценку, по которой можно установить порог. Для подавляющего большинства производственных систем они представляют собой правильный и окончательный выбор.
- Инструменты переранжирования LLM просят большую модель саму оценивать релевантность. При особенно сложных запросах, требующих сложного вывода, они могут дать преимущество в 5–8% в некоторых задачах, но при этом увеличивают время обработки на 4–6 секунд и стоят гораздо дороже. Поисковики обычно сдаются примерно через 3 секунды, поэтому такие инструменты подходят для работы в автономном режиме или для обработки больших объемов данных, но редко используются в интерактивных функциях.
Начните с кросс-кодера. Рассматривайте инструменты переранжирования LLM только после того, как вы измерите реальный разрыв в качестве ответов на сложные запросы и убедитесь, что добавленное время приемлемо.
Два способа внедрения
Команды обычно выбирают кросс-кодер, размещаемый локально, или API с облачным хостингом; оба варианта требуют лишь нескольких строк кода.
Локальное использование с помощью sentence-transformers хорошо работает с BGE-reranker-v2-m3 — стандартным инструментом с открытым исходным кодом, поддерживающим несколько языков и лицензированным по Apache 2.0:
from sentence_transformers import CrossEncoder
# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)
def rerank(query, candidates, top_n=5):
pairs = [(query, doc) for doc in candidates] # one batched pass
scores = reranker.predict(pairs)
ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
return ranked[:top_n]
# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)
Если не требуется запуск модели, Cohere Rerank представляет собой вариант с хостингом:
import cohere
co = cohere.ClientV2()
resp = co.rerank(
model="rerank-v3.5",
query="How do I cancel my subscription?",
documents=candidates, # the top 50 from the retriever
top_n=5,
)
# resp.results carries the reranked indices and relevance scores
Оба подхода используют один и тот же входной материал — топ-50 результатов от поискового агента — и возвращают более отсортированный топ-5. Фреймворки вроде LangChain объединяют их через общий интерфейс, поэтому смена между ними осуществляется простым изменением одной строки кода.
Выбор модели
На рынке сформировались четкие варианты выбора, которые зависят от лимита на задержку, языка и возможности самостоятельной развертки:
- Стандартный вариант с открытым исходным кодом: BGE-reranker-v2-m3, мультиязычный и распространяемый по лицензии Apache 2.0; время обработки примерно 80 мс на процессоре для 50 кандидатов. Для работ с преобладанием английского языка можно использовать bge-reranker-large.
- Самый простой вариант с хостингом: Cohere Rerank требует всего одного API-запроса и не нуждается в серверах; стоимость составляет примерно 1 доллар за тысячу поисков.
- Вариант с наивысшими требованиями к скорости: FlashRank или компактный кросс-кодер MiniLM, обрабатывающий данные на процессоре менее чем за 30 мс при умеренных потерях качества.
- Длинные документы: выбирайте инструменты для переранкинга с поддержкой длинного контекста, такие как Jina Reranker v2, поскольку стандартные кросс-кодеры автоматически обрезают входные данные после 512 токенов.
В качестве приблизительного ориентира: хостинг API — самый дешевый вариант для начала при объеме примерно десяти тысяч запросов в день. При большем объеме самостоятельно развернутая модель BGE быстро окупает себя.
Вывод
Переранкинг обеспечивает точность, превращающую хороший уровень воспроизведения информации в качественные ответы. Механизм поиска раскидывает дешевую, широкую сеть и возвращает большой объем данных с множеством шумов; затем кросс-кодер пересчитывает оценки этих данных с учетом запроса, что невозможно сделать с помощью механизма поиска, тем самым перемещая действительно релевантные фрагменты туда, где модель фактически их анализирует.
Это способ улучшения RAG с наивысшей отдачей, поскольку он остается в рамках контроля: берутся 50 результатов, они переранжируются до 5 лучших, больше ничего не меняется, и оценивается улучшение на собственных данных. Прирост точности обычно велик, затраты на задержку незначительны, и решение зависит от одного вопроса: насколько хорошо механизм поиска ранжирует результаты по сравнению с их нахождением? Обычно он делает это плохо, и именно переранжирование помогает сократить этот разрыв.
Источники цифр
- Документация Cohere по переранжированию
- Карточка модели BAAI's BGE-reranker-v2-m3
- Документация CrossEncoder от sentence-transformers
- ARAGOG — ступенчатое сравнение передовых методов RAG, включая переранжирование (arXiv 2404.01037)
- Оценка Databricks методов RAG с длинным контекстом и переранжирования
- FlashRank — библиотека для переранжирования с низкой задержкой на GitHub
Связанная литература
- Расширенные технологии RAG в производственных условиях: архитектура, инструменты и компромиссы — Обзор работы систем RAG в производстве: входные данные, парсинг, разбиение на фрагменты, генерация эмбеддингов, хранилища векторов, гибридные методы поиска, переранжирование, оценка эффективности и меры безопасности, а также компромиссы, связанные с каждым из этих аспектов.
- Переранжирование в системах RAG: узкий диапазон, в котором кросс-энкодеры действительно помогают — Почему кросс-энкодеры улучшают работу систем RAG только в пределах определенного диапазона между минимальным уровнем воспроизведения данных и максимальным значением K, что такое фантомные результаты, и как за один день измерить эти показатели для собственных запросов.