Галоўная / Артыкулы

Сем спосабаў, якімі адказ RAG псуецца, і як знайсці этап, што падводзіць

Практычны спосаб дыягнаставаць памылковыя адказы RAG: сем кропак збою ў трох этапах, чатыры палі для лагавання і адзін тэст, які называе вінаватага.

Выдавец: REACTAPP.TOP7 хв чытання1670 слоў

Крыніцы: The RAG Pipeline as Building Blocks: Seven Ways an Answer Goes Wrong

Калі сістэма RAG дае некарэктны адказ, прычына гэтага лежыць адно з семі месцаў, і самэ гэта месца вялікае значэнне для выбору таго, што трэба змяніць. Нават як наладзіць той этап, які раней працаваў, адказ застаецца такім жа некорэктным.

Запрос праходзіць праз паследовыя етапы: парсінг і разбіўка на часткі, усаджэнне і індэксаванне, выкарыстоўванне інформацыі, складанне кантэксту і стварэнне адказа. Кожны з гэтых этапаў можа зламацца, і выходны адказ застаецца тым жа, незалежна ад таго, які самэ этап зламаўся. Без веды пра прычыну браку выправленне ёсць толькі спадчыяннем: новы розмер частак, іншая мадэль усаджэння або іншы алгорытм ранкінгу змінюе кожны запрос адразу.

Далей прыводзіцца метод дыягназы. У ўсім яму называюцца семь месцаў, дзе можа з’явіцца прычына некорэктнага адказа, яны групуюцца па трох этапах, якія адпавядаюць за выправленне, і перыяводзяцца чатыры пункты, якія памагаюць ў розпізнаванні прычыны.

Некарэктны адказ скрывае свою прычыну

Кожны з семі можлівых варыянтав прычыны выражаецца у відпаведным фармаце — у відмінным, некорэктным або непূরнам тэксце. У выходным адказе няма ніч, што могла б парадкаваць прычыну проблемы.

  • Усе сямь прыявоў выглядаюць аднакова. Абаранак, якога ніхто не напісаў, фрагмент, захаваны на восьмай пазіцыі, і мадэль, якая чытае некалькі столбцоў таблыцы, усе гэта стае аднам пераканальным адказам.
  • Аднак способы рашэння проблем не пераходзяць адна да другой. Працэс прыемкі вярнюе тое, што існуе, працэс выкарыстоўвання — тое, што знаходзіцца, працэс складання — тое, што адправляецца, а запіт — тое, што з яго станэцца. Зусілля, відданыя на неправым роўні, нічога не зміняюць у тым, што не функцыонуе.
  • Здагадкі коштаюць больш, чым сама памылка. Перыявленне цэлага корпусу тэкста, каб выправіць проблему з фарматаваннем, займае дні, а проблема застаецца без змян.

Лепшы вопыт — гэта дзе тэкст адказу быў последнім цэлым і якая стадыя яго адпусціла.

Сям проблем у трох этапах

Сям пераказаны семь прыкладаў з опублікованага аднароджэння пра сістэмы RAG у робочым стане (arXiv 2401.05856); іх пераявілі тут для адзначэння тых проблем, якія выйшлі. Яны класіфікаваны па месцы, дзе відбываецца рэмонт, таму выявленне нештафтнасці ў адной з груп вялікая мерой скарочыць варыянты.

Прыём дадзеных: нехватка контэнту

Патрэбны факт так і не ператворыўся на тэкст, які індэкс мог бы шукаты. Можа, жаданага джэральнага дакумента проста няма, або ён знік пад час парсавання, чысткі або разбівання на часткі.

  • Няхватка контэнту. У внутранній вікі запытана інформацыя пра берплантатныя выпускі ў Ірландзіі. Была напісана толькі інформацыя пра практыку США, але сістэма такім чынам дае адказ.

Обе прычыны даюць аднаковыя сімптамы, але для ўсунення ў яных трэбуецца разныя заходы. Калі факт ніхто ніколі не задаў, сістэма павінна магчымаць адмову. Калі дадзеныя былі паспалі пад час прыёму, трэба пераглянуць прыстрой для парсавання, правілы чысткі або задачу сінхронізаціі, якая тыхо зупінілася.

Адзыяўка і кантэкст: не адзыяўвана, адсечана да прампта, прынята некорэктная значэнне

Факт знаходзіцца гдэсь у чаке, але модэль практычна не атрымала яго.

  • Не адзыяўвана. Чака ёсць у індэксе, але пошук проста не выявіў яе. Уявіце значэнне крутнага моменту ў табліцы характэрыстыкаў у інструкцыі, якае занятае месца ў парадку прыорытэта па адносу да стандартнай сторонніцы з усунення проблем.
  • Адсечана да прампта. Пошук яе знайшоў, але яна так і не увайшла ў кантэкст. Дзванаццаць заявак на падтрымку падходзяць па запыту пра незусім успешныя імпорты, але ліміт токенав заставаеся пяцьма.
  • Прынята некорэктная значэнне. Чака была ў прамптаў разам з дублікатам, застарэлай версіяй або значным шумам, і модэль выкарыстала некарэктны выклік. Апошнія версія контракту і заменіўшыя яе параграфы праказаны, а дата паўнага адновлення кантракту взятая з старой версіі.

Парадак таксама мае значэнне, як і адпрацоўкі. Доследжэнні дзялёных кантэкстаў (arXiv 2307.03172) паказваюць, што мадэлі лепшая выкарыстоўваюць матэрыял на пачатку і ў канцы, чым у серэдзіне, таму частка кантэксту можа дасягнуць запіту, але ўсё раве застацца непазначанай.

Чаму тут прадстаўлена некорэктная значэнне? Мадэль створыла адказ з адной, таму гэта выглядае як проблема генеравання. Але выправленне практычна завжды адбываецца на практычнасці: трэба адмахнуцца дублікатаў, апусціць застарэлыя версіі, адсягнуць шум, пераранжаваць кантэкст. Перапісваў запіт рэдка дапамагае.

Генераванне: некарэктны фармат, некарэктны дыяпазон, непашырэнне

Мадэль побачыла усё, што ёй было патрэбна, але пры тым створыла паслабы адказ.

  • Некарэктны фармат. Правільныя факты у некорэктным фармаце: была запатрэбавана справачка, а прыйшоў абарот.
  • Няўерны дыяпазон. Адказ даўаецца занадта шырокі або занадта вузкі. Калі спрашваюць пра ліміт выдаткаў, адпаведнае правіле застосоўваецца да всіх спецыялістаў, хоць запытальнік — фрылансер, для якога дыяюць іншыя правілы.
  • Непашырэны. Якая-небудзь частка багатаячастковага запытання праўдзей не адпаведзена. Калі хтось спрашвае пра чатыры чэргі заявак, адпаведныя цыфры даўаюцца толькі для трох.

Непашырэнасць — гэта тое, што люды часта працінаюць пад час чытання, адколі нічога напісанага не ёсць некальківальным. Аўдыт цітатаў дапамагае гэта выявіць: калі якісь істочнік уключаны ў запытанне, але не цітаваны, значы ў чымусь не хавалася. Паколькі кантэкст быў правільны, парадкі трэба внесці ў сама запытанне, фармат адказу або інтэрфейс.

Як дыяганаваць

Зяўляйце лог з чатырма паметкамі за кожны запыт

Дыягназыс значыць перзбудаванне запытку пасля таго, на адварцы, якая з’яўляецца за калькі гадзін. Перазапытка вручную не можа заменіць гэта, адколі індэкс, верагатна, змяніўся, а адказ можа не відтворыцца. Дапаможаць можа чатыро полей:

  • Сама запытка, прычымоўная будзь-якай перапісве, таму што сама перапісва ёсць пунктам абыякавасці.
  • Што вернула пошуковая сістэма: кожны кандыдатскі фрагмент з яго chunk_id, doc_id, version і рэйтынгам.
  • Што было данае модэлю: значэнні chunk_id, якія засталіся пасля застосавання ліміту токэнаў.
  • Адпаведны адказ, характар за характарам.
# The retrieved list and the prompt list stay separate. Collapsed into one,
# a chunk lost at ranking and a chunk lost at the token budget leave the
# same record, and no later reading of the log can separate them.
log_request({
    "question": question,
    "retrieved": [
        {"chunk_id": c.chunk_id, "doc_id": c.doc_id,
         "version": c.version, "score": c.score}
        for c in candidates
    ],
    "in_prompt": [c.chunk_id for c in context],
    "answer": answer,
})

Зберагаеце спісы знайдзеных і запрошаных прамов окольна. Журнал, які містыць толькі апрацаваную праму і адказ, не можа разлічыць неудачу у ранжыраванні ад неудачы з бюджэтом.

Адна проба, тры рэзультаты

Выберыце фрагмент, які павінен быў стварыць адказ. Шукайце яго ў заданым журнале і зазначыце, на якім етапе працэсы ён з’явіўся. Існуе толькі тры пункты зупінкі, і кожны з іх адпавядае аднаму этапу.

  • Не знайдзена ні ў якім фрагменце: гэта проблема процэсу прабірання дадзеных. У корпусе яе няма, або яна была загублена раней, чым пачалося індэксаванне.
  • Тэкст знаходзіцца ў фрагменце, які так і не дасяг прамы. За ўсё адпавядаюць працэсы знайдзення і кантэксту: ранжыраванне не вярнула фрагмент, або бюджэт яго не дазволіў.
  • Фрагмент знайдзены ў праме, але адказ заўсёды некарэктны: у мадэлі былі всі даны. Калі яна выбрала некорэктную значэнне, шукайце дублікаты або шум у поперадніх этапах. Калі форма, масштаб або полнота дадзеных некарэктныя, перагляньце працэс генеравання.

Што не ўключаецца ў семь крэтарыў

Этыя семь крэтарыў ацэнююць, чы рэшэння было правым. Некалькі фактараў, якія робяць сістэму непрыдатной для вікорыстання, застаюцца для яных невіднымі.

  • Правы на доступ. Рэшэння, у яком цітуецца дасягненне, якое запітчык не можа прачытаць, ёсць правым, але непрыемным. Для такога рэшэння патрэбны acl_principals, якія будуць збераганы па кожнам часткам дасягнення, а таксама фільтр пад час запіту.
  • Заражаныя дасягнення. Файл, які містыць інструкцыі, спрытаваныя проты модэлі, можа працаваць па всіх семы крэтарах, адколі адпаведнае рэшэння застаецца вярным таму, што яму было дана.
  • Атрыбуты власніка. Часткі дасягнення кліента А, якія з’яўляюцца ў адпаведзі кліента Б, рашаюцца за дапамогою tenant_id, які ёсць на збераганых частках і па кожным запыты, а не за сэнтэнцыямі запыту.
  • Масштаб і вартасць. Затрымкі і вітраты на адпаведзь па кожны запыт у большых карпусах дасягнення не выказаны ніяк у семы крэтарыях.

Усе сямь вароц можа працаваць, калі даныя яшчэ трапляюцца. Шырокія рамкі адказваюць на некарэктныя адказы; яны не адказваюць на пытанні пра безпеку.

Апяслы

  • Пашырэнне пошуку адказу, чыя частка ўжо была адправлена ў запіт. Большы ліст адказоў значыць больш шуму, што робіць некарэктныя значэнні болей правдападобнымі.
  • Фіксацыя толькі адобразаванага запіту. Тыя часткі, якія не былі адзначаны і не былі адсечаны, выглядаюць ідэнтычна, таму вы налаштовваеце пошук, калі прычына ў бюджэце, або наадворса.
  • Іспытанне адмовы як спосабу рашэння. Калі адказ знаходзіцца ў табліцы, яку парсер сплюснуў, адмова ад адказу проста маскіруе баг у прыеме даных пад маской прыемлівай манеры.
  • Дадаванне метаданых частак пасля запуску. Адключэнне версіі або шляху раздэлу пазней перапісвае кожную частку, а паўторны ўключэнне ёй ёсць дорогі працэс.
  • Суперчанні ўжо па прынцыпу: чы гэта адказ занадта загальны. Гэта застаецца прычынай дыскусій, пакуль тэставы кэпсул не пакажае точны адказ, які яго і мусіў даць.

Як гэта выкорыстоўваць

Уявіце гэты працэс як ланцуг: некарэктны адказ означае, што якісь ланок не працаваў, а дыягназа — гэта выявленне последнага ланка, дзе застаўся тэкст адказу.

  • Пачніце фіксавацыю чатырох поль яшчэ пры першым касанні да налаштаванняў. Адна звістка на запіт завершае большасць дыскусій яшчэ першым іх пачаткам.
  • Спачатку адрыхтуйце адзін тэст: чы тэкст знаходзіцца без частак, у частцы, якая працягнулася за межы запіту, чы сам у запыце? Гэты адказ вядомае, на якім этапе і які тып парадксу можа быць эфектывным.
  • Дадзіце сістэме можласць сказаць, што яна не ведае. Тэставы набор, у яком кожны запыт мае адказ, ніколі не пакажае відсутняй контэнт.
  • Зберагаеце doc_id, version, section_path і updated_at для кожнага фрагмента з момента першага запісу, дадзіце tenant_id і acl_principals, калі важліва права доступу.
  • Адзінайце рэшту до момента, калі конкрэтныя проблемы будуць неабяжныя. Графічны, мультымадальны і агентны способы адзыскання кожны з іх ствараюць свой варыант сітуацыі, калі даныя не адзысканы, і ніхто з іх не павінен быць стандартным.

Этапы разніцяюцца залежна ад вашай архітэктуры адзыскання, але чатыры запісваныя польні застаюцца аднаковымі ў всіх варыантах.