Система RAG может функционировать, но всё равно отдавать приоритет неверным доказательствам.
Как плотный, так и гибридный поиски показали идеальный показатель Recall@5, однако MRR привёл к тому, что RRF отсеял один правильный результат. Почему оценка RAG требует проверки для каждого запроса, а не среднего значения.
Система поиска может возвращать положительные показатели, но при этом выдавать неверные результаты в первую очередь. В тесте с 22 запросами как метод плотного поиска, так и гибридный поиск в сочетании с технологией Reciprocal Rank Fusion (RRF) показали значение Recall@5 равное 1,0. Однако среднее значение взаимного ранга показало иной результат: 0,9545 для метода плотного поиска против 0,8977 для гибридного. Почти вся разница обусловлена одним запросом с парафразированием — q006. Благодаря технологии фьюжн правильный результат, полученный только с использованием метода плотного поиска, опустился с первого на четвертое место, и никакое значение константы RRF k в диапазоне от 0 до 100 не смогло вернуть его на первое место. Практический урок заключается в том, что не существует волшебных настроек; важно выработать привычку выявлять подобные сбои, а не полагаться только на один показатель качества.
Краткий обзор тестов
Три метода обработки данных были применены к одному и тому же набору с метками: BM25 для лексического совпадения, плотные эмбеддинги из all-MiniLM-L6-v2 и гибридное сочетание с методом RRF при k=60. Как метод плотных эмбеддингов, так и гибридный нашли каждый «золотой» фрагмент в числе пяти лучших результатов. Однако их показатели MRR не совпали; основную причину снижения показателей составил параметр q006. Изменение значения k никогда не восстанавливало рейтинг, полученный с использованием метода плотных эмбеддингов.
По показателю Recall@5 оба метода оказались на одном уровне. Однако по показателю MRR они отличались.
Интерпретация показателей
BM25 показал результат Recall@5 0,9545 и MRR@5 0,8818. Метод плотных эмбеддингов достиг значений 1,0 / 0,9545. Гибридный метод показал значения 1,0 / 0,8977. Если судить только по тому, присутствовал ли меткированный фрагмент в числе пяти результатов, методы плотных эмбеддингов и гибридный выглядят одинаково эффективными.
Фраза «где-то на пятом месте» — это ловушка. В задании Recall спрашивается, присутствует ли золотой предмет. В задании MRR спрашивается, насколько рано появляется первый полезный предмет. Если ответ скрыт на пятом месте, а затем помещён на первое, в задании Recall они выглядят одинаково, но для пользователя или агента, который читает только верхнюю часть списка, это сильно отличается.
Краткие определения делают этот контраст более очевидным:
def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
"""1 if the gold chunk appears anywhere in the top k, else 0."""
return int(gold_id in ranked_ids[:k])
def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
"""1/rank of the gold chunk's first appearance, 0 if absent."""
for rank, doc_id in enumerate(ranked_ids, start=1):
if doc_id == gold_id:
return 1.0 / rank
return 0.0
Первый вывод: показатель в формате «зеленого цвета» может ответить на вопрос, для решения которого он был создан, при этом скрывая вопрос, который действительно важен.
Сравнение запросов по отдельности
Вместо того чтобы сразу настраивать гибридный метод, разместите методы с высокой плотностью и гибридный рядом друг с другом. Из 22 вопросов, на которые можно было получить ответ, у 18 остался прежний ранг «золотой». Гибридный метод помог одному вопросу; он ухудшил ситуацию у трех. Самым плохим случаем стал вопрос q006: метод с высокой плотностью поместил маркированный отрывок в начало списка, тогда как гибридный метод — на четвертое место. Именно этот случай стал предметом дальнейшего исследования.
Почему метод слияния понизил ранг правильного ответа
Гибридный метод объединяет позиции ранга вместо того, чтобы средневзвешивать оценки BM25 и косинусные сходства, поскольку эти две системы численных значений не имеют общей шкалы. Поэтому RRF учитывает только вклад ранга. Разумная конструкция — настоящий компромисс. В случае q006 алгоритм dense явно отдавал предпочтение маркированному фрагменту, однако другие кандидаты занимали высокие позиции в обоих списках. Эти кандидаты из двух списков получали баллы как от BM25, так и от алгоритма dense, в результате чего победитель от алгоритма dense опустился на четвертое место.
Компактная функция слияния:
def reciprocal_rank_fusion(
rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
"""Fuse multiple ranked lists using rank position only."""
scores: dict[str, float] = {}
for ranking in rankings.values():
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)
Согласованность результатов между разными алгоритмами поиска является признаком, но не доказательством их корректности. Такая формулировка полезнее, чем просто «гибридный показатель MRR снизился». Теперь имеется механизм для анализа, а не только возможность наблюдения за колебаниями на панели управления.
Помогли ли настройки решить проблему?
Подход к работе знаком: меняется одна переменная, затем снова проводятся измерения. При фиксированных значениях depth и top-k и постепенном изменении k от 0 до 100, 200, 400, 600, 800 и 1000 показатель Recall оставался идеальным. Показатель MRR изменился незначительно — с примерно 0,91 при k=0 до около 0,90. Значение q006 сместилось с второго на третье, затем на четвертое место и больше не вернулось на первое. Увеличение числа кандидатов с 5 до 30 при фиксированном значении k=60 позволило сохранить идеальный показатель Recall, а гибридный MRR остался на уровне около 0,90, что всё ещё ниже значения для плотных структур. На этих тестах очевидные настройки не смогли устранить разницу в ранжировании.
От примерных чисел к практике в производстве
Компании редко интересуется названием архитектуры поиска информации. Их волнует то, надежны ли ответы, улучшает ли какое-либо изменение качество и может ли кто-то объяснить возникшую деградацию. Это заставляет процесс отходить от модели «создать, попробовать несколько запросов, выпустить» к циклу измерения, анализа, проверки, объяснения, изменений и повторного измерения.
Полезным результатом является не один показатель. Это порядок обработки каждого запроса, фрагменты информации, полученные в ответе, места, где системы поиска пришли к разногласиям, данные по типам вопросов, конкретные примеры сбоев и настройки, приведшие к ним. Когда цифры на панели управления меняются, эта информация дает инженеру точку отсчета для дальнейших действий.
В более крупном масштабе Uber описал аналогичное разделение в своем помощнике Genie: качество извлечения информации и качество ответа оцениваются отдельно по эталонному набору, созданному с участием экспертов в данной области. Одна деталь особенно важна: плохое извлечение PDF может нарушить структуру таблиц и разбиение текста ещё до начала процесса поиска. То, что кажется ошибкой в ранжировании, на самом деле может быть следствием проблемы с качеством документа.
Метки тоже могут быть неверными
Оценщик знает только те метки релевантности, которые ему были предоставлены. Фрагмент текста может быть действительно полезным, но всё равно считаться несоответствующим, поскольку он не соответствует эталонному элементу. Перекрывающиеся фрагменты усугубляют ситуацию. Когда качество ответов ухудшается, необходимо проверить как сам инструмент поиска, так и эталонные данные. Является ли набор релевантных элементов полным? Могут ли два фрагмента вместе ответить на вопрос? Не отрезало ли граница фрагмента какое-либо утверждение от его объяснения? Инструменты оценки не заменяют собой человеческое суждение. Они лишь помогают применять его более эффективно.
Пять способов оценки
- Perfect Recall@5 — это не идеальная шкала оценки. Необходимо учитывать показатель MRR, иначе можно только знать, что ответ где-то существует.
- Следует анализировать сам запрос, а не только средние значения. Один плохой случай может повлиять на всю оценку.
- Согласованность результатов поиска — это лишь подсказка, а не окончательный вердикт. Метод RRF поощряет популярность в двух списках; это гедонистический подход.
- Изменение настроек — это не понимание механизма. Метод k sweep доказал наличие регрессии; только математика слияния данных может её объяснить.
- Требуется тщательно проверять метки так же, как и саму модель. «Неверный» результат может быть следствием неправильной маркировки объекта.
Заключение
Победа, достигнутая с помощью небольшого набора ресурсов, редко делает кого-то чемпионом. Именно неудачи, подобные q006, заставляют искать путь от метрик к запросам, от запросов к фрагментам данных, от фрагментов к математическим методам объединения информации и, в конечном итоге, к контролируемым экспериментам. Оценка становится полезной тогда, когда она способствует началу исследований, а не их завершению. Демонстрация подтверждает, что вся система работает корректно. Удачный цикл разработки говорит о том, что можно доверять следующим изменениям.
Ссылки
- Платформа для оценки систем RAG на GitHub
- Живая демонстрация на Hugging Face Spaces
- Статьи Cormack, Clarke и Buettcher о методе объединения рангов
- Uber также опубликовала техническую статью об улучшенных системах RAG
- Статья о Genie опубликована на техническом блоге компании под соответствующим названием