Сістэма RAG можа працаваць, але ўсё равно ставіць неправільныя доказы на першае месца.
Жыццёвае і гібрыднае пошукаванне парадульна парадульна показалі ідэальны показнік Recall@5, але MRR зменшыў ранг RRF, зменшыўшы оценку аднаго правільнага рэзультата. Чаму для ацэнкі RAG неабходны пераконтрольванні кожнага запіту, а не адна сярэжная ціннасць.
Сістэма адаптавання рэзультаата можа вярнаваць пасяберныя цыфры, але ўсё рава ставіць некарэктныя доказы на першае месца. У тэстах з 22 запытамі як метод ўжоўсткага пошуку, так і гібрыднага пошуку, спалучанага з методам Reciprocal Rank Fusion (RRF), показалі рэкорд Recall@5 у розмярзе 1,0. Серэчны показнік Reciprocal Rank паказаў іншую картыну: 0,9545 для методу ужоўсткага пошуку проты 0,8977 для гібрыднага. Практычна весь гэты разлік стаўся праз адзін запыт у фармаце парафразу, q006. Метод спалучэння прымусіў правільны рэзультат, апрануты толькі методам ужоўсткага пошуку, спаднуць з першага на чатвертае месца, і жадна значэння сталя RRF k у дыяпазоне ад 0 да 100 не змогла яго вярнуць на пачатковае месца. Практычны урок заключаўся не ў наявнасці чароднага налашоўкі, а ў створэнні прычыны, якая дапамагае выкрываць такія рэгрэсіі, замест таго, каб пакладацца на адзін-эксклюзыўны показнік.
Карточка тэстаў
Тры ўзважальнікі былі выкарыстоўваны на тым жа наборэ дадзеных: BM25 для лексычнага падабенства, ўпакоўкі з мадэлі all-MiniLM-L6-v2, а таксама гібрыдны падход з RRF пры k=60. І метод упакоўкі, і гібрыдны падход знайшлі кожную з «золатых» частак у топ-пяці рэзультатаў. Іхнія показнікі MRR не збігліся. Большая частка падышча показніка была вызвана параметрам q006. Змена значэння k ніколі не вярнула рангаванне, атрыбутуюце методу упакоўкі.
Показнік Recall@5 паказаў, што два методы былі на роўных. А показнік MRR паказаў, што не на роўных.
Чытанне показнікаў
BM25 паставіўся на роўным рэваншы з показнікам Recall@5 0.9545 і MRR@5 0.8818. Метод упакоўкі паставіўся на роўным рэваншы з показнікам 1.0 / 0.9545. Гібрыдны падход паставіўся на роўным рэваншы з показнікам 1.0 / 0.8977. Калі спытацца толькі пра тое, чыяколве з пазначаных частак было ў пяці рэзультатах, то метод упакоўкі і гібрыдны падход выглядаюць аднакова эфектывнымі.
Фраза «гэта дзе-небудзь у пяцьмай пазырку» — гэта падступ. У запытанні Recall спытваюць, чыі ў наявнасці золаты айтэм. У запытанні MRR спытваюць, як рана з’яўляецца першы корыстны айтэм. Размешчэнне адпаведнай адказу ў пяцьмай пазырку і ў першай пазырку выглядае аднакова ў запытанні Recall, але дужа разлічна для карыстальніка чы праца, які чытае толькі верхню частку спісу.
Короткія вызначэнні чыняць гэты контраст болей зрозумелым:
def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
"""1 if the gold chunk appears anywhere in the top k, else 0."""
return int(gold_id in ranked_ids[:k])
def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
"""1/rank of the gold chunk's first appearance, 0 if absent."""
for rank, doc_id in enumerate(ranked_ids, start=1):
if doc_id == gold_id:
return 1.0 / rank
return 0.0
Першы вывод: зелёныя показнікі могу даць адказ на запітанне, для якого яны створэныя, але ў той жытак прыховаць запітанне, якое для вас важлівае.
Параўнанне запітаў
Замест таго, каб адразу налаштаваць гібрыдны метод, практыкуйце порадковы аналіз ў способе «шчыльны» і «гібрыдны». З 22 запітанняў, на якія было можна даць адказ, 18 залішыліся з тым самым рангам «золата». Гібрыдны метод дапамог у адпаведзе на одна запітання. Ён паслабіў ранг у трох запітанняў. Найгоршым варыянтом было запітання q006: метод «шчыльны» павесіў маркаваны фрагмент на першае месца, тады як гібрыдны — на чатвертае. Самэ гэта запітання стало прычыной дальнейшага аналізу.
Чаму фюзыя паслабіла ранг правільнага адпаведзу
Гібрыдны спосаб прыяўляе пазычкі за рангамі, а не сярэдзіць значэння BM25 з косайнальнымі схожасцямі, таму што гэтыя два сістэмы значэння не маюць адной шкалы. Таму RRF дадае пазычкі толькі за рангам. Розумны дызайн, справжняя кампромісна палітра. У прыкладзе q006 метод dense сільна прабіўся да выбранага фрагмента, аднак іншы кандыдаты таксама мелі высокія пазычкі ў обох супаках. Гэтыя кандыдаты з двух супакоў атрымалі пазычкі як з BM25, так і з методу dense, і пераможца з методу dense атрапіў на чэтвёртае месца.
Компактная функцыя злучэння:
def reciprocal_rank_fusion(
rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
"""Fuse multiple ranked lists using rank position only."""
scores: dict[str, float] = {}
for ranking in rankings.values():
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)
Адаптаванне рэзалектараў ёсць парадакт. Гэта не ўпавядомленне пра правільнасць. Такая формулівацыя корыстнейшая, чым фраза «гібрыдны MRR знізіўся». Цяпер існуе механізм для перагляду, а не толькі показнікі на панелі керування.
Чы выправілі гэта настройкі?
Прыемы працы знаёмы: змяніце адну зменную, зноў змерыце. Зафіксаваўшы глыбіну і top-k і зменяючы k на 0, 10, 20, 40, 60, 80 і 100, Recall застаўся ідэальным. MRR змяніўся толькі незначна — з апошніх 0,91 пры k=0 да апошніх 0,90. q006 перайшоў з другага на трэцій, потым на чэрвоны і больш не вернуўся на першы. Розшырэнне кандыдатаў з 5 да 30, зафіксавшы k на 60, заставіло Recall ідэальным, а гібрыдны MRR блізкім да 0,90, пры чым ён все ўсё быў ніжэй, чым у варыянцы dense. У гэтым тэсце очвістныя настройкі не зменшылі розніцы ў ранжыраванні.
З тэстовых цыфр да практычных прыемаў
Падчыркі рэдка калі аб’якаваюцца пра назву архітэктуры выкарыстоўвання дадзеных. Іх цікавіце, чы рэспансы ўзгодны з праблемай, чы якісь змяны павышаюць якасць, і чы хтось можа паспяшна поясніць прычыны падвышэння або падсыплення якасці. Гэта прыводзіць працэс з мадэлі „стварыць, працаваць з калькамі запітоў, выдаты рэзультат“ да мадэлі „вімераваць, раздзеляць на часткі, аналізаваць, пояснюваць, зменяць, зноў вімераваць“.
Корыстным рэзультатам не ёсць адна-едынственная оцэнка. Гэта парад порчакоў, якія былі атрыманы, часткі дадзеных, па якіх выкарыстоўванні дадзеных не паспелі згодзіцца, раздзелы за тыпам запітоў, конкрэтныя прыклады неудач і настройкі, якія ўзначылі іх. Калі цыфры на панелі керування змянююцца, гэты набор дадзеных дае інжынеру пункт для початку працы.
У большэм масштабе компанія Uber опісала падобныя правілы раздзелення ў сваём асістэнце Genie: якосьць выкарыстоўвання інфармацыі і якосьць адпаведных адказоў вімераюцца окрэма, на аднойчынных стандартах, створаных з удзелам экспертаў у данай галіні. Адзін важны момант – паслабленая выкарыстоўвання PDF-файлаў можа знішчыць структуру табелей і ўскладніць аналіз інфармацыі ўсё раней, чым восьба пачне выкарыстоўвання дакументаў. Тое, што выглядае як баг у класыфікацыі, часта ёсць насправдзе баг у якосьці самога дакумента.
Атрыбуты таксацыі таксама можу быць некорэктнымі
Адмацавальнік ведае толькі тыя атрыбуты рэлевантнасці, якія яму былі даўлены. Адзін фрагмент дакумента можа быць сапраўдзіва корыстным, але працуе як некарэктны, калі ён не падпадае пад атрыбуты стандартнага прыкладу. Накладанне фрагментаў ўсё больш ускладнюе сітуацыю. Калі калькюляцыя рэлевантнасці паслабляецца, трэба пераглянуць як сам прыстрой выкарыстоўвання інфармацыі, так і стандартны прыклад. Чы ўся колекцыя атрыбутаў рэлевантнасці ў цяперашнем стане? Чы можа два фрагментаў адпавесці на запыт? Чы межа фрагмента не адсекла частку тэксту ад яе пояснення? Адмацавальныя інструменты не заменяюць сабой суб’ектыўную оцэнку; яны проста ствараюць лепшыя умовы для ёё выканання.
Пяць захавальнікаў
- Perfect Recall@5 — гэта не ідэальная класыфікацыя. Неабходна ўрахаваць MRR, інакш вы толькі знаеце, што адпаведны адказ гдэ-там існуе.
- Празбірайце саму запітанне, а не толькі сярэжнюе значэння. Адна паслабая прыкладка можа змяніць весь рэйтынг.
- Згода між сістэмамі аднароўкі ёсць падказкай, а не вынікам. RRF награджае популярнасць у двойных спісках; гэта ўзіе.
- Калі вы трыскаеце ручкай, гэта не значыць, што вы разумееце механізм. Тэст k sweep падтвердзіў, што рэгрэсія існуе; толькі матэматыка злучэнняя можа яе поясніць.
- Разглядзайце атрыбуты так сама, як і саму мадэль. „Неправільны“ адказ можа быць памылкова пазначаным золатым фрагментам.
Заключанне
Перамога, апрэчваецца з маленькага набора дадзеных, рэдкая час становіцца прамаўам на званне чэмпіона. Гэта неяк падобна да сітуацыі q006, калі неабходна дорога ад метрыкі да запытку, да фрагментаў дадзеных, да матэматычных аперацый з іх спаўненням, да кантролюемага эксперыменту. Ацэнка становіцца значамай, калі яна спрыяе розпачу аналізу, а не яго завершэнню. Дамаўка падтверджае, што весь працэс працюе. Хорашы цікл падтверджае, што можна даверыць наступным змянам.
Спылі
- RAG Systems Evaluation Bench на GitHub
- Жывая дамаўка на Hugging Face Spaces
- Cormack, Clarke і Buettcher пра метод спаўнення рангу
- Uber таксама публікаваў тэхнічную статыю пра пасілёнае RAG.
- Статыя пра Genie ад Uber знаходзіцца на тэхнічным блоге компаніі пад назвай Genie.