rag llm-as-a-judge llm-evaluation groundedness debugging

Дыягностыка збояў RAG: карта этапаў і суддзя абгрунтаванасці на ўзроўні сцвярджэнняў

Вызначаем, дзе зламаўся RAG-канвеер, і будуем LLM-суддзю абгрунтаванасці, які правярае сцвярджэнні па адным і звераецца з ацэнкамі людзей праз каэфіцыент каппа.

Выдавец: REACTAPP.TOPДададзена на сайт 28 кас 20269 хв чытання2046 слоў

Крыніцы: How to Diagnose RAG Failures with a Groundedness Judge

Калі бот RAG пачынае даваць некарэктныя адказы

Размешчэнне прыёмкі RAG не ўсунеўшы ўсіх проблем, тым болей у рэальных умовах эксплуатацыі. З часам ён пачынае даваць некарэктныя адказы, і першая задача — знайсці прычыну. У сістэме ёсць прынеймна семь момантав, дзе можа выйсці злам: разбіўка на часткі, стварэнне эмбедынгаў, адзыскванне інфармацыі, перыяркаванне рэзультатаў, складанне кантэкста, генераванне адказа і запіт, які ўсе гэта з’едынае. Некарэктны адказ майжэ ніч не паведамляе пра тое, у чым самэлькі злам. Дзеякіі інжынеры пасвяцілі цэлы тыдзень на доўнерэння запіта для генеравання, калі прычыной была памылка ў разбіўцы на часткі.

Існуе досыта механічны спосаб разгледзення прычыны абяроны. Пасля чаго выступае другая проблема — зьвычайна меравленне ступеня адпрацоўкі на практычных даных, адколькі чытанне кожнага транскрыпту стае немагчымым пасля этапы падтверджэння концэпцыі. Штучны інтэлект, які выступае як суддзя, можа выконваць гэту працу, але суддзі таксама маюць свае способы абяроны, якія такі ж лёгкія да працэйкання, як і бяды RAG, якія яны маюць выявляць. Оба аспекты рассмотрэны ніжэй: выявленне прычын абяроны і стварэнне суддзі, які можа вызваць довер'е.

Спачатку знайдзіце несправныя звязкі

Цэпак RAG — гэта ланцюг, і першым задачэм ёсць выявленне таго, які звязак не працюе, прычым ніхто не змеўчыць прапановку. Карта ніжэй ёсьць рамкай для разгледзення проблемы. Яна не ўсеохопная і можа быць расшырэная пад конкрэтную сістэму і сцэнарый выкарыстоўвання.

Парадыгма аргументавана: спачатку выкарыстоўваецца процэс выкарыстоўвання інфармацыі, а потым — стварэнне адпаведных адказаў. Інжыніеры не можаць парадкаваць вікна кантэксту, які ніколі не меў неабходных фактов. Команды часта працуюць у зворачным напрамку, пяць разоў перапісваючы сістэмны запрос, пакуль алгорытм перэранкавання пасвячвае нізкую прыорытэт тым часткам тэксту, якія мелі значэнне. Дышэўныя рашэнні, якія даюць вялікія рынкі, напрыклад, крашчая структурацыя тэксту чы сумешаны пошук, павінны стаць прыорытэтамі прымаўна ў пораўнанні з дорогімі методамі, такімі як тонкая наладка алгорытмаў перэранкавання чы перэнарабатка іншых модэляў.

Тры рэалістычныя сімптамы паказваюць, як фактычна выкарыстоўваецца гэтая парадыгма:

Адказы даюцца з вялікай впэўненасцю, хоця дасягнутыя дакументы ніколі не стосуюцца тэмы. Гэта не ёсць процэс выкарыстоўвання інфармацыі, адколькі не існуе нічога рэлевантнага для запрашэння. Гэта ўзбіецца пры стварэнні адказа чы абстракцыя: модэль не будзе спрыймаць фразу „У мяне няма гэтага“ як прыемлівы адказ.
Бот дае правдападобную, але застарэлую інфармацыю. Проблема практычна ніколі не стоіць у фрагментаванні. Індэкс застарэў, таму што дакументы змяніліся, а ніхто іх зноў не уключыў.
Запытанні, якія выкарыстоўваюць адну фактую, праходзяць, але будзь-што, што трэбуе два факты з двух дакументаў, не функцыонуе. этая проблема з выкарыстоўванням інфармацыі характэрная для запытанняў з кальцыямі, таму што адна процедура пошуку не можа знайсці два элементы, кожны з якіх не падходзіць пад запыт.

Наступны крок — запрашаць фактычна знайдзены кантэкст для прыклада, у яком выйшла проблема, і прачытаць яго прычым перад будзь-якімі змянамі. Калі факту там няма, проблема ў самам пошуку. Калі ён там, а мадэль все равно робіць помылку, проблема ў генераванні тэксту. Такая перапачатковая перагляд можа заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды

Чытанне транскрыпцый падходзіць для некалькіх случаў, але ён неефектыва для тыяў тысяч. Хутчэй вступае ў групу суддзя-LLM, а самэй той, які карыстуецца крытэрыям адпаведнасці, вядомым таксама як адданасць. Яго запытанне — чы можна кожную тверджэнню ў адпаведзі ўзначыць на чымсь у згаданым кантэксце.

Адной з тонкіх дзеянь, якія момантальна памылляюць людзей, ёсць тое, што адпаведнасць і правільнасць — гэта разныя рычы. Правядзячая адпаведзь можа быць без адпаведнасці, напрыклад, калі мадэль знала факт з першоначальнага навчання, а не з дакументаў. Адпаведная адпаведзь можа быць некалькі, якшча згаданы фрагмент сам быў застарэлы або некалькі. Пры ацэнцы RAG адпаведнасць — гэта той показнік, які трэба, калі ўжо, таму што ён паказвае, чы правільна была процедура выкарыстоўвання інфармацыі, незалежна ад якосці асновных дакументаў.

Суддзя на рэвэліме тверджэнняў

Адзін запрос, які прасіць ацэнкацыю адпраўданасці з 1 да 5, здаецца разумным, але часта ўсё-такі бывае малаясаблівым. Ён дае цячыну без жадных адказаў, а самэ гэта ў тым і ўскладненне для ШЫ-модэляў — яны неаднакова справляюцься з такімі задачам. Набаго лепшая разбіць адказ на атомныя тверджэнні і пераканацца ў кожным з іх окрэма.

У пачатковым запросе задаецца роля сістэмы, якая прызначае мадэль на ролю ацэнавальніка адпраўданасці, даае запітанне, неабходны кантэкст і створаны адказ, а таксама зазначаецца з самага пачатку, што задача не ў тым, каб выявіць, чы рэшэння ёсць правдзівым у загальнай форме. Потым прасіцца выявіць тверджэнні і пераканацца ў кожным з іх окрэма на аднаковасці з кантэкстам, пры чым для кожнага дааецца вердыкт і адпаведны фрагмент тэксту.

SYSTEM:
You are a groundedness evaluator. You will be given a QUESTION, a CONTEXT
(retrieved passages), and an ANSWER generated by an AI assistant. Your job
is NOT to judge whether the answer is true in general, or well-written, or
relevant — only whether it is fully supported by the CONTEXT.

Do the following:

1. Decompose the ANSWER into a list of atomic claims (each claim = one
   discrete factual statement, not a compound sentence).
2. For each claim, decide:
   - SUPPORTED: directly stated or reasonably entailed by CONTEXT
   - CONTRADICTED: conflicts with CONTEXT
   - UNSUPPORTED: not addressed by CONTEXT at all (NOT the same as "false")
3. Quote the exact span of CONTEXT used as evidence for each claim
   (or "none" if UNSUPPORTED/CONTRADICTED).
4. Give a one-sentence rationale per claim.
5. groundedness_score = (# SUPPORTED) / (# total claims).

Be strict: a claim that adds specificity not in CONTEXT (context says "a
discount applies," answer says "a 20% discount applies") is UNSUPPORTED.

Return valid JSON only:
{
  "claims": [{"claim": "...", "verdict": "...", "evidence_span": "...", "rationale": "..."}],
  "groundedness_score": 0.0,
  "num_claims": 0
}

QUESTION: {question}
CONTEXT: {context}
ANSWER: {answer}

Дзеяныя выборы ў дызайне трэба чытка адзначаць, калі яны спачатку не ўсё такія зрозумелыя:

Атрыбутаванне балоў на рэвізіі твэрдзення. Важка дыбагаваць адно загальнае значэння бала. Рэшэнні па кожнам твэрдзенні паказваюць точна, якае твэрдзенне не працавало, што мае значэнне, калі трэба вылечыць асляпнючую прычыну.
Обавязковы дыяпазон доказаў. Трэба, каб суддзя цітаваў падтрымлюючы тэкст, што спрыяе вынесенню рэшэння на аднойчынку з доказаў, а не на правдападобнасці, і гэта дазволяе чалавеку-рэвізору быстра пераканацца ў рашэнні, не чытаючы ўсё кантэкста.
UNSUPPORTED проты CONTRADICTED. Суперасункі з доказамі і проста ўсутнеча падтрымкі — гэта два разныя недастаткі з разнымі спосабамі вылечэння. Аднакаванне іх у адну абозначку „вялікія проблемы“ ведае дыягностычныя дэталі.

Чыткыя інструкцыі пра неабяжна строгасць. Суддзі LLM часта ўтрымваюцца ад строгасці ў гранічных случаях, особліва калі адпаведны адказ здаецца правдападобным, а просьба пра строгасць зменшае гэта ўтрыманне.

Параболічваць суддзю па адносу да людзей

Гэты крок часта праігнораваны, але самэўсёлкавае, чы мае якое-небудзь з іншых значэнне: суддзю трэба параболічваць па адносу да людзей, прычым прыймаць яго як надзеяны, толькі пасля гэтага.

Працэс просты. Возьміце 100–200 прыкладоў, прабачце чалавеку самастойна оцаніць ступень падставленасці адпаведных адказоў, а пасля вырачыце ступень згоднасці за дапамою коефіцыента Коэна. Чыстая тачнасць вводзіць у глухі кут, калі большасць адказоў ёсць падставленымі, таму што суддзя, які завжды пісае "падставлены", мае высокія балы, але ёсць безцэнным. Таксама трэба пераканацца ў наявнасці звычных уперадзеў суддзі:

Уперадзе па пазіцыі: чы меняецца вердыкт, калі параграфы кантэксту парадактаваць?
Прыткасць у выказванні: чыі суддзя прагне довольна дługіх адказоў, незалежна ад таго, чыі яны насправды маюць болей падставы?
Прыткасць да сабе: калі суддзя належыць да той самай семьі модэляў, калі генератор, ён можа болей позытыўна оцаніць рэзультаты той семьі.
Змена ў мякасці оцэнкі: чыі згода паступова зменшваецца з часам, калі мяніцца модэль суддзі чыі версія запіту?

Нізкая каляркі каппы ў адной катэгорыі — гэта знак патрэбы выправіць крэтырыя для той катэгорыі. Гэта не значыць, што сістэма RAG там не працуе. Людзі постаўліва плутаюць гэтыя два падыходы, і наступны раздзіл будзе прыдзельваць увагу самэй разніцы.

Чытанне панелі керування як аператар

Уявіце сабе панель керування, разбітую па тыпах запытанняў. Правы падход — гэта падход аператара, а не спостэрагухоўца за табламі рэйтынгаў.

Загальныя сярэгі зьмешаныя, што можа вводзіць у глыбокія пачаткі. Па рэядкам показнікі выглядаюць так.

Простая пацьверка фактов застаецца стабільным і высокім як па крытэрыю адпаведнасці, так і па крытэрыю правдопадобнасці. Як сістэма, так і суддзя счытаюць гэта простым. Сама по сабе гэта задача нудная, але падыш у показніках мог бы сведчыць пра проблему ў базовых элементах: індэксаванні, выкарыстоўванні даных чы падказках суддзі, а не пра проблемы з логікай чы неяснасцямі.
Мульты-хоп і порэванаў розыліся рошчэдза. Пры κ=0.71 адпаведнасць ёсць толькі сярэдняя, таму шум у дзялёгіх адказах, якія не паддаюцца дэкомпанаванню, можа часткова гэта поясніць. Перш чым заявляць пра рэгрэсію, выберыце пяць неудачных транскрыптаванняў і пераканайцеся, чы роўназначныя фрагменты, якія патрэбны для адказу, знаходзяцца ў кантэксце. Калі прыйшаў толькі адны фрагмент, гэта проблема з вярнучым і запамятовальным аспектамі, адколькі метод однаковага густага пошуку часта працягвае два факты, якія не падобяцца запытку, і рашэннем яўляецца дэкомпанаванне запытку або пошук за калькамі запыткаў, а не змены патрагаў. Калі прыйшлі оба фрагменты, але порэванаў все равно не выходзіць, вінаватая — сынтэза, пры чым главным падазроўнікам яўляецца эфект «загубленага ў серэдзіне»: мадэль паслухаецца першага фрагмента і надае другаму занадта мало значэння.
Чыслаўскія і фінансавыя паказнікі паказваюць κ=0,52. гэта слабая згода, але гэта самы яўны сігнал у таблыце, адтуды што гэта значыць, што суддзю тут яшчэ нельзя даваць доверы. Для суддзі-ШЫ дасягнуць чыслаўскай эквівалентнасці ёсць справжняй вызначальнік: «20%», «прыблізна пятая частка» і «$20 з дзяловацькага аб’екта за $100» — гэта адна і тая ж твэрджэння, выражаная іншымі словамі. Разумны падход — не чапацца за сістэму RAG пакуль не будзе усталяны крытэрый, адтуды што падбірка недоверлівых чыслоў марнуе час на разработку.
Палітычныя і процэдурныя паказнікі застаюць стабільнымі і нормальнымі, як і ў першай галерэйцы, але з іншай прычыны: адпаведзі зазвычай выходзяць з аднаго добра структураванага дакумента і не трэбуе сінтэзы з калькі дакументаў. Калі гэты паказнік падыходзіць, прычыной часта не ёсць некорэктнае аргументаванне. Часта прычыной ёсць спіс з номерамі, разбіты на часткі, што заставляе мадэль выкарыстоўваць толькі крокі 1-3 і выдумваць крокі 4 і 5.
За межамі апробацыі заслуговае на першыя практычныя змяны, нават калі n=20 робіць яго найменшым фрагментам. Пры κ=0.90 суддзя ў гэтым случае ўзнімальна надзеяны, таму што выявіць выдуманы адказ, які не мае падтрымальнага кантэксту, значна простае, чым оценіць тонкія чысловыя або багатоэтапныя тверджэння. Гэта надзеяннае падходжэнне робіць спад надзеяным, і гэта найбольш апасныя парадокс у табліцы. Сістэма перайшла ад правільнага прызнання „Я не ведаю“ да самавпевненага выдумвання адказаў, што горша за некарэктныя цыфры, адтолькі што па тону гэта нерозрывна з правільным адказам. Можлівыя прычыны: працэс выкарыстоўвання дадзеных вяртае пасункі, якія майжэ падходзяць, і мадэль спрыймае гэта як падтрымку для адказу, або неявна змяна запіта чы мадэлі тыхчыя падчыслала інструкцыю пра утрыманне ад адказу. Пачніце з рэйтынгаў схожасці, якія даецца пасля выкарыстоўвання дадзеных для гэтага фрагмента. Калі адміністрацыя знаходзіцца поблізу рэвэлю шуму, а мадэль усё рава дае адказ, значыць, не хватае бар’ера праблемы аднасоўлення пры стварэнні адказу.

Метод у пяці кроках

Усё заведама спраўа сводзіцца да гэтага:

не даваць доверыя сумарным рэзультатам
пераканацца ў надзеямосці судды пры даведыцыі доверыя ў ўзнаку
раздзеліць на катэгорыі
на аднойчыні на аднойчыні выявіць, на якім этапе з’явілася проблема
надаць прыорытэт па ступеню сур’ёзнасці і доверыі, а не па тым, які показнік змініўся найбольш

Практычныя патрабаванні да новых адгукнікаў

Кожны адгукнуты адказ коштае дадатковы календар з LLM. Пры большым об’ёме работ лепшая адгукнуцца толькі прыклады, а не усё, і раздзеліць іх па катэгорыях запытанняў, каб рэдкія, але крытычныя сегменты, такія як тыя, якія не падпадаюць пад сферу дзеяння, не былі заглушаныя большай колькасцю простых запытанняў.
Паўтарна перацэніць каппу ўсё час, калі змініваецца мадэль судды або запрошэнне для судды. Кожна з гэтых змін стварае новага судду.
Суддзя, прыстосаваны да цыфровых або спецыялістычных особеннасцей адного домэна, не пераходзіць апоштова да іншага, таму калібруванне трэба выконваць па кожны домэн окрэма, а не адночасна для всіх.

Усі прыклады і фігуры тут маюць ілюстратыўны характэр і не взяты з рэальной працуючай сістэмы. Фрэймворк і структура запіта ёсць разумным пачатковым пунктом.

Дзе гэта заканчываецца

Вышэўшы матэрыял раскрывае способы локалізацыі абэранцэй, разлік межаў падставленасці і правільнасці, суддзю на рэвэліі тэзы, а таксама крок калібрування, які часта праігнораваюць. Існуе ўсё ж адна мерыя: усё гэта прыпускае наявнасць аднаго чыстага блока атрыбутаванага кантэксту. Гэты прыпуск не спрацоўвае, калі сістэма вызывае інструменты, складае ланцюгі крокаў атрыбутавання або аналізуе сябе на адной з проміжных вынікаў, як гэта робяць агентныя сістэмы. Адзінаковая проблема — гэта вяліканне падставленасці без аднаго блока кантэксту для пераканання і адпаведная пераформатаванне суддзі.

Спадневана літэратура

Практычныя прытамулы: Дзе можна выучыць RAG з нуля у 2026 годзе: курсавыя програмы — Паследовыя інструкцыі па вікорыстоўванню Практычных прытамулов: Дзе можна выучыць RAG з нуля у 2026 годзе: курсавыя програмы: контракты, перакананні і фрагменты коду для команд, якія рэалізуюць гэты патэрн.
RAG з LangChain з нуля: загрузчыкі, фрагменты, імбеддынгі, ацэнка — Паследовы стварэнне сістэмы запытанняў і адказаў на дакументах: загрузка файлаў, разбіўка на фрагменты, імбеддынгі, этапы індэксавання і выкарыстоўвання інформацыі, а таксама спосабы ацэнкі якосты выкарыстоўваных адказаў.

Cross-Encoder як суддзя: кантролюйце свой RAG-пайплайн за дапамогаймае значэнняў рэлевантнасці — Як чырвоны атэнцыя дазволяе cross-encoderу ацэніць рэлевантнасць запытку і дакумента на значэнні ад 0 да 1, і як праг можа запобець таму, каб слабкія рэзультаты пошуку дасяглі LLM.

← Усе артыкулы Даслаць брыф