Система RAG може функціонувати, проте все одно ранжує неправильні докази на першому місці.
Як щільний, так і гібридний пошук показали ідеальний показник Recall@5, проте MRR призвів до того, що RRF знизив оцінку одного правильного результату. Чому оцінка RAG вимагає перевірки для кожного запиту, а не середнього значення.
Канал отримання даних може повертати позитивні показники, проте все одно розміщувати неправильні докази на першому місці. У тесті з 22 запитами як метод щільного пошуку, так і гібридний пошук у поєднанні з технологією Reciprocal Rank Fusion (RRF) досягли показника Recall@5 у рівні 1,0. Однак середнє значення взаємного рангу показало іншу картину: 0,9545 для методу щільного пошуку проти 0,8977 для гібридного. Майже весь розрив був спричинений одним запитом з парафразуванням – q006. Технологія фузії зместила правильний результат, отриманий лише за допомогою методу щільного пошуку, з першого на четверте місце, і жодне значення константи RRF k у діапазоні від 0 до 100 не дозволило повернути його на перше місце. Практичний урок полягав у тому, що не існує чарівних налаштувань; потрібно сформувати звичку виявляти такий вид регресії, а не покладатися лише на один показник оцінки.
Короткий огляд тесту
Три алгоритми пошуку працювали з тим самим набором даних із мітками: BM25 для лексичної відповідності, щільні ембеддинги з all-MiniLM-L6-v2 та гібридне поєднання з RRF при k=60. І щільний, і гібридний підходи знаходили кожен „золотий“ фрагмент у числі п’яти найкращих результатів. Їхні показники MRR не збігалися; основною причиною падіння був параметр q006. Зміна значення k ніколи не відновлювала первинний порядок результатів, отриманий за допомогою щільних ембеддингів.
Показник Recall@5 показав, що обидва методи мали однакові результати. Однак показник MRR свідчив про їхню різницю.
Інтерпретація показників
BM25 досяг значень Recall@5 0,9545 та MRR@5 0,8818. Щільні ембеддинги показали результати 1,0 / 0,9545, а гібридний підхід — 1,0 / 0,8977. Якщо оцінювати лише те, чи з’являвся міткований фрагмент у числі п’яти результатів, то щільні та гібридні підходи виглядають однаково ефективними.
Фраза «десьо там на п’ятому місці» є пасткою. У завданні Recall запитується, чи є золотий предмет. У завданні MRR запитується, наскільки рано з’являється перший корисний предмет. Приховування відповіді на п’ятому місці та розміщення її на першому виглядають однаково у завданні Recall, але суттєво відрізняються для користувача чи агента, який читає лише верхню частину списку.
Короткі визначення уточнюють цей контраст:
def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
"""1 if the gold chunk appears anywhere in the top k, else 0."""
return int(gold_id in ranked_ids[:k])
def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
"""1/rank of the gold chunk's first appearance, 0 if absent."""
for rank, doc_id in enumerate(ranked_ids, start=1):
if doc_id == gold_id:
return 1.0 / rank
return 0.0
Перший висновок: зелений показник може відповісти на запитання, для якого він створений, і водночас приховати те запитання, яке вас цікавить.
Порівнюйте запитання окремо
Замість того, щоб одразу налаштовувати гібридний підхід, розмістіть «щільний» та гібридний підходи поруч один з одним. Із 22 запитань, на які можна було отримати відповідь, 18 зберегли той самий ранг «золото». Гібридний підхід допоміг з одним запитанням; це нашкодило трьом. Найгіршим випадком був q006 – у «щільному» підході позначений уривок був розміщений на першому місці, тоді як у гібридному – на четвертому. Саме цей випадок став предметом дослідження.
Чому фузія знизила ранг правильної відповіді
Гібридний підхід об’єднує позиції рангу замість усереднення оцінок BM25 та косинусних схожостей, оскільки ці дві системи числення не мають спільної шкали. Тому RRF додає внесок лише від рангу. Розумний дизайн, справжній компроміс. У випадку q006 алгоритм dense сильно віддав перевагу позначеному фрагменту, проте інші кандидати мали високі позиції у обох списках. Ці кандидати з подвійних списків отримували бали як від BM25, так і від алгоритму dense, через що переможець від алгоритму dense опустився на четверте місце.
Компактна функція злиття:
def reciprocal_rank_fusion(
rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
"""Fuse multiple ranked lists using rank position only."""
scores: dict[str, float] = {}
for ranking in rankings.values():
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)
Узгодженість результатів між різними алгоритмами є підказкою, але не доказом правильності. Такий підхід корисніший, ніж формулювання „гібридний MRR знизився“. Тепер існує механізм для перевірки, а не лише можливість спостерігати за коливаннями на панелі керування.
Чи вирішили налаштування проблему?
Схема роботи знайома: змінюється одна змінна, потім знову вимірюється результат. Залишаючи параметри depth та top-k незмінними та змінюючи значення k від 0 до 100, показник Recall залишався ідеальним. MRR змінився лише трохи — від приблизно 0,91 при k=0 до 0,90. Показник q006 змінився з другого на третє, потім на четверте місце та більше не повернувся на перше. Розширення списку кандидатів з 5 до 30 при фіксованому значенні k на рівні 60 зберегло ідеальний показник Recall та гібридний MRR близько 0,90, що все ще менше за значення для дense-моделей. На цих тестах очевидні налаштування не усунули різницю в рейтингах.
Компанії рідко цікавляться назвою архітектури пошуку інформації. Їх хвилює те, чи є відповіді надійними, чи покращує зміна якість, та чи може хтось пояснити регресію. Це змушує процес відходити від схеми „створити, спробувати кілька запитів, випустити“ до схеми вимірювання, аналізу, перевірки, пояснення, зміни та повторного вимірювання.
Корисним результатом є не один показник. Це порядок обробки кожного запиту, фрагменти інформації, які повернулися, місця, де системи пошуку не погодилися, дані за типом запитань, конкретні випадки невдач та налаштування, які їх спричинили. Коли змінюється число на панелі керування, цей набір даних дає інженеру точку відліку.
У більшому масштабі Uber описав подібне розділення у своєму асистенті Genie: якість отримання інформації та якість відповідей оцінюються окремо за золотим стандартом, створеним з допомогою експертів у відповідній галузі. Один момент залишається значущим: погане вилучення PDF може зруйнувати контекст таблиць та їх поділ ще до початку процесу отримання інформації. Те, що здається помилкою у ранжуванні, може походити від проблеми з якістю документа.
Мітки також можуть бути неправильними
Оцінювач знає лише мітки релевантності, які йому були надані. Фрагмент може бути справді корисним, але все одно вважатися нерелевантним, оскільки це не той золотий елемент, який позначений міткою. Перекриваючіся фрагменти ускладнюють ситуацію. Коли запит стає гіршим, потрібно перевірити як засіб отримання інформації, так і базу даних. Чи є набір релевантних елементів повним? Чи можуть два фрагменти відповісти на запит? Чи не відрізав межа фрагмента твердження від його пояснення? Инструменти оцінки не замінюють собою судження. Вони лише надають судженню кращі умови для роботи.
П’ятеро охоронців
- Perfect Recall@5 — це не ідеальний рейтинг. Необхідно враховувати також MRR, інакше ви знатимете лише про те, що відповідь десь існує.
- Слід детально аналізувати сам запит, а не лише середнє значення. Один поганий випадок може змінити весь рейтинг.
- Згода між системами пошуку — це лише підказка, а не остаточний висновок. RRF віддає перевагу популярності в двох списках; це є гіпотезою.
- Коригування параметрів — це не розуміння механізму. Тест k sweep довів наявність регресії; лише математика фузії може її пояснити.
- Ретельно перевіряйте мітки так само, як і саму модель. „Неправильний“ результат може бути насправді неправильно позначеним зразком.
Закінчення
Перемога, досягнута за допомогою невеликої кількості ресурсів, рідко робить когось справжнім чемпіоном. Саме такі невдачі, як q006, змушують шукати шлях від певних метрик до запитів, далі до окремих фрагментів інформації, потім до математичних методів об’єднання даних та, нарешті, до контрольованих експериментів. Оцінка є корисною тоді, коли вона сприяє подальшому дослідженню, а не його завершенню. Демонстрація підтверджує, що весь процес працює належним чином. Ефективний цикл роботи свідчить про те, що можна довіряти наступним змінам.
Посилання
- Інструмент оцінки RAG Systems на GitHub
- Жива демонстрація на Hugging Face Spaces
- Стаття Cormack, Clarke та Buettcher про метод об’єднання рейтингів
- Uber також опублікував технічну статтю про вдосконалену версію RAG.
- Інформація про Genie від Uber розміщена у корпоративному технічному блозі під відповідною назвою.