Ад ацэнак да самапаляпшальных агентаў: пяць эпох ацэнкі агентаў
Ацэнка агентаў сёння — гэта аўдыт трас. Як дэтэрмінаваныя праверкі, LLM- і агенты-суддзі, дыягностыка і мета-абвязка ствараюць бяспечны цыкл паляпшэння.
Крыніцы: From Evals to Self-Improving Agents
Короткая версія
- Раней для ацэнкі агента дасілася чытаць яго пасляпэўнюю адказ. Цяпер жа трэба чытаць усю працу агента.
- Рукапісныя, дэтэрміністычныя тэсты застаюцца ціннымі, хоць яны можаюць выявіць толькі тыя проблэмы, якія хтось ужо прыгледзеў.
- Суддзя-мадэль мовы падходзіць для ацэнкі выходных даных па правілах. Суддзя, які сам ёсць агентам, выявляе проблэмы ў парадку выканання задання, у выкарыстоўванні інструментаў і ў рабочым працэсе.
- Далей ідзе дыягназыс на аднойчынных дадзеннях: выяўленне патэранаў неудач, якія павтараюцца ў тыячах рэальных запускаў.
- Агент, які сам сабе паспрабоўвае паспрабаваць падняць свою карыстнасць, патрабуе мета-інструментаў — тэлеметрыі, дыягназысу, пропанованых способаў выправлення, тэстаў у ізольаваных умовах, паўтарной перацэнкі, поступовага выводу ў эксплуатацыю і спосабу стварэння абставіннасці для таго, каб самі ацэнкавальнікі застаўаліся чыстымі.
Чаму самыя выходныя даны ўжо недастатні
Першыя прыкладнікі на базе LLM былі корачы і пераважна лінейныя: заходзіў запіт, выходзіла адпаведная адпаведна, а потым хтось яе перакантролюваў. Агенты змянілі такую структуру. Яны плануюць свае дзеянні на калькі крокаў, выклікаюць інструменты, чытаюць і запішваюць стан, рэдагуюць файлы, восстанавляюцца пасля невыконаных дзеянняў, даваюць заведаменні падагентам і залішаюцца актыўнымі працоўная перыоды часу.
Тое, што застаецца пасля такой сістэмы, — гэта траекторыя ўздзейснення. У яй зберагаецца запіт, кантэкст сістэмы, усе, што было запрашана, проміжныя міркуванні, кожны вызов інструменту і адпаведныя спостэрэнні, пракаты, адказы на памылкі, запісы ў памяці, выкарыстаны час, таймінг і фінальны выхід. Для цэлей ацэнкі гэтыя запісы сталі справжнім артыфактам выканання задачы.
Таму атрыбутаванне рэзультатаў павінна перайсці да фармата аўдытавання. Правільна па выгляду адпаведзь можа стаць на фоне няправільнага выкарыстоўвання інструмента, праігнораванага абмежэння, нерэлевантнага рэзультата пошуку, цыклу праказаў, які ніхто не бачыў, паслаба выбранага кантэкста, рызыкаванага способу вярнення да нормальнага стану чы ўзгадкі без падстав. Гэтыя недагодзі ёсць дарогімі, таму што яны накапліваюцца за многія запускі і тыха разрушаюць надзеямнасць.
У такім разе ацэнка выступае як слой кантролю. Яна аб’еднвае рэальныя лог-файлы, крытэрыя ацэнкі, оценкі агентаў, аналіз асновных прычын, перагляд сітуацый у «сандбоксе», наборы тэстаў на рэгрэсію і процедуры развяртання. Мета — не чалавек, які пераглядае кожную абмянку, а мета-сістэма, якая фіксуе шаблоны абэранняў, практыкуе способы ўладзення ямі, тэстуе іх на паўзледзячых і складных кейсах і прысылае людзям толькі тыя сітуацыі, дзе ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ў
Перакрантаванні на адміністрацыі правілах застаецца фундаментам, таму што яны выявляюць все, што можа быць загадзя запісана. Код практыкуецца за дапамою тэстаў на елементы, перакрантавання тыпаў, інструментаў для аналізу коду, сканераў безпекі, тэстаў на адпаведнасць кантракту і стварэння кэпшотаў. Структураваны выхід практыкуецца за дапамою перакрантавання схемы, обав’язковых поль, дазволеных значэнняў, фарматавання дат, перакрантавання правільнага JSON і лімітаў палітыкі.
Ожывайце іх там, дзе адначытая рэзультатка ёсць явная. Яны працуюць быстра, коштаюць мало, даюць той самы адказ ў кожны раз і лёгкія да дыбагавання. Але ёсць проблема — паверхносць перакрантавання: тэстуецца толькі тое, што хтось запамятаў зашыфраваць.
Тое, што можна перакрантаваць іх, включае практыкуванне тэстаў, ступень павернення тэстаў, ступень павернення асэрцыяў пра працэсы, адпаведнасць схемы, час выканання, павторнасць і ступень тое, насколькі точна можна знайсці падзею. Яны падходзяць для API, змян у кодзе, выкарыстоўвання дадзеных, форм, рэгулюемых практык і задач, якія прыкрэплены да строгіх правілаў.
Вторы слой: мадэль мовы як суддзя
Суддзі, які выкарыстоўваюць большыя мовныя модулі, прыменяюць іх таму, што багато адмовленняў ШЫ стаюцца наследкам прынцыпоў якосці. Адпаведзь можа выглядаць павольна і ўсё ж залішаць чыясці нез’ясаванымі. Кантактна адпаведзь можа быць лёгкаю для чытання, але ўсё ж не відображаць сутнасці. Паведамленне падтрымкі можа звучаць впэўнена, але пры этым порушаць правіла.
Шаблон заключаецца у тым, што мадэль оцінюе выходны рэзультат на адпаведнасць прапісам, напрыклад, ў аспектах фактычной точнасці, выпанавання інструкцый, полноты, тону, безпекі, якосці цітатаў і загальнай корыстнасці, і дае адпаведзь у вастоце з пазначкай, балам, абгрунтаваннем і падтрымлюючымі доказамі. Гэты падход ёсць паслядовным, калі выходны рэзультат мае звычную структуру, але ўсё ж трэба здзейсніць суджэнне, і ён дазволяе расшырваць працэс перагляду без неабходнасці чытання усяго людзькім адміністратаром.
Самэ тут і выходзяць проблемы — калі правілы нечыяры. Папрашыце суддзю шукаць „хорашае адказа“ і тады за граматыку і стылістыку даецца награда. Калі папрашыце яго пераканаліцца ў доказах, абмежэннях і можлівых прычынах нявярных рэшэнняў, ён становіцца набагато корыстнейшым.
Суддзі заслуговуюць на сваю справядлівую ацэнку: насколькі стабільныя ў яных балы, як часта сходзяцца ў думках разныя суддзі, насколькі правядомыя ў яных аргументы, насколькі адлеглыя доказы, як часта яны неправаліва прызнаюць адказ правільным чы ў нявярным, і насколькі точна яны следуюць людскім крытэрыям. Яны ацэнююць кантакты, адказы на падтрымку, якасць пісьменнага твору, перагляд правіл, якасць выкарыстоўвання інфармацыі і адказы, якія базуюцца на глыбокіх аргументах і маюць чысткія крытэрыі.
Трэція гэтава: агент як суддзя
Агенты за сабой заставаюць траекторыі, таму суддзя, які бачыць толькі канечны рэзультат, працягваець найсільнейшыя сігналы. Агент-суддзя чытае весь прыем, укладаючы ў сябе запросы, спосаб пры выборэ кантэксту, вызовы інструментаў, абазаваныя на спостэрэннях, пракаты, вырэдзаныя файлы, адбытыя тэсты і канечны продукт. Ён ставіць цілявыя запытанні: чы рэшты быў правільна выбраны? Чы неудачны тэст быў проігнораваны? Чы кантэкст быў застарэлы? Чы змяніліся некалякія файлы? Чы агент зупініўся раней, чым завершыў работу?
Гэта мае значэнне, таму што неудачы агентаў часта ёсць тонкімі. Рэзультат можа прыкрыць паверхневую перакананасць, тады калі сам пат падготовкі рэзультата адкрывае асалідны дыфект.
Корыстныя меры включаюць перакананне ў тым, чыя была правільная траекторыя, насколькі хораша была роутаванне інструментоў, як агент восстанавіўся, як ён выкарыстоўваў доказы, чы задача была завершана, насколькі добра былі выявлены схованыя нештаты і чы правільныя былі ескаляцыі. Кодаванне, даследжэнні, даны, агенты браузера і рабочых пралэцэсаў — усе гэта мае прынесенне, так сама як і ўсё там, дзе маршрут мае такое ж значэнне, як і пункт прызначэння.
Чэтырты ўрак: дыягностыка следаў
Чэтырты ўрак адступае ад адзінаковых запускаў. Агент дыягностыкі чытае тыя тысячы следаў і спытаецца, што змянілася. Можа, нештаты пасіліліся пасля практычнай праверкі. Можа, для аналізу табліцы быў выбраны неправільны інструмент. Можа, затрымкі вырастаюць, калі пры выкарыстанні вяртаецца занадта многа файлоў. Можа, агент QA пазначае галюцынацыі, але прыймае трэбаванні, якія былі прыхілены.
Яго задача — прыяздзіць змяну ў выконанні да конкрэтнай прычыны: выбор кантэксту, формулюванне запіту, направлення інструменту, настройка рабочага прайсупутку, паведамленне модэлю, якосць адзысквання інфармацыі або сам код. Недастатнька толькі інформацыя пра падышчу балу. Рэзультатам павінна быць конкрэтная мера адраджэння, такая як правкі запіту, дадзенне дапаможнага кейса для ацэнкі, змяна порога направлення, апдэйт навыка, змяна коду або прагатэнне пра змяны.
Якосць у гэтым аспекце залежыць ад таго, насколькі дакладна пакрываюцца всі следы, насколькі точна называюцца корэнныя прычыны, насколькі эфектыва выяўляецца адхыленне, як кластэруюцься абыякія, насколькі надзеяна атрыбуцыя прычыны, насколькі добрае прыдумана мера адраджэння і насколькі рызыкавана яна з точкі зору рэгрэсій. Гэта падыходзяць для платформ агентаў у працэўнай асяроддзі, актыўных агентаў падтрымкі, асістэнтаў практыкавання коду, агентаў рабочых прайсупуткаў для падпрыемстваў і ўсіх тых элементаў, якія часта апдэйтуюцца.
Пяты слой: закрыцце цыклу
У верхней частцы цыкл заканчываецца. Збіраецца тэлеметрыя, дыягназуецца парадоксальныя нештатныя станы, ствараецца можлівы рашэнне, якое працаваецца ў сэндбоксе, пасля чаго яго пераглядаюць у співвароце з ідэальнымі набрамі дадзеных і пакульнымі логамі, а ў падсумку ўвядзаюць у эксплуатацыю паэтапна. У такі момент самапрагненне стае частынай інжынернага працэсу, а не проста атмасферай.
Агент не павінен вводзіць змяны толькі таму, што адна з метрыкі адразу паднялася. Патрэбны контрольныя механізмы: тэсты на рэгрэсію, адвэрсарыяльныя сцэнарыі, контрафактычныя запіты, трафік тыпу „канарэй”, планы на анулювання змян і праграмы, якія дазволяюць прызваць людзя для втручання.
Атакі на сістэму ацэнкаў ёсць найбольшая апасцярожнасць. Агент можа научыцца задаваць сабе задоволенне без выканання справжней працы. Агент, які працуе з кодамі, можа сховаць бяг, агент, які працуе з адпрацоўкамі, можа выдумаць дэталі, які паднімаюць візуальную оцэнку, а агент, які працуе з тэкстамі, можа следаваць фразам з крэтыярыў і такім чынам адмаўліць голас аўтара. Таму ацэнкавальнікі патрабуюць додатковых ацэнкаў, выкарыстоўваючы незалежныя перакананні, стандарты, створаныя людзьмі, аўдыты ў разы разнак у думках, багатаслоўную перапрацоўку якасці і рэгулярную перэкалібрацыю крэтыярыў.
Выведзенне ацэнкаў у ролі сістэмы кантролю
Найглыбэйшыя змяны ўтрымліваюцца ў аперацыйнай сферэ. Команды павінны выкарыстоўваць ацэнкі як сістэму кантролю платформы агентаў, а адлучаная програма дае адпаведзі на пяць запытанняў:
- Чы была завершана задача? Адпаведзь на гэты запытанне мае значэнне, так сама як і следаванне інструкцыям, точнасць фактов, салідарнасць з правіламі і крэтыярыі успеху, спецыфічныя для данай задачы.
- Чы гэты маршрут быў правільны? У разе вікорыстоўвання інструментаў трэба разглядаць, калкі з іх працавалі, якія доказы іх падтрымвалі, якія спробы паўтарэння адбыліся, што зламалася без паведамлення і чы адбылася ескалія ў правы момент.
- Чаму змяніўся парадакт работы? Падвышэнне навантажэння можа быць наследкам запытоў, паведання модэлю, процэса выкарыстоўвання дадзеных, праград маршрутызацыі, налаштавання рабочага прайсупутку, бягаў інструментаў чы коду, і для дыягназы трэба аддзеліць сімптамы ад прычын.
- Можна лягкадушна запропанаваць спосаб выправлення? Перш чым выдаваць рашэнне, кандыдаты праходзяць тэсты ў сэндбоксе, пераглядаюць старыя лог-файлы, тэстуюць адпраўнія кейсы чы сэты для выяўлення рэгрэсіі.
- Хто аўдытуе аўдытара? Суддзі таксама можу змініцца — стаць болей паўнаклоннымі, жорсткімі чы лёгкамі да абману, таму патрэбны наборы для калібравання, крытэрыя, перакананыя людзьмі, перакананні на адміншчыну чы багатаслоўныя працэсы контролю якасці.
Дэтэрміністычныя пераконтрэнні раскідваюць вядомыя неяксамасці, суддзі LLM ацэнююць якасць, суддзі-агенты пераглядаюць маршруты, агенты дыягназу паказваюць паўтараючыяся шаблоны, а правілы meta-harness вяршыць вынік, чы рошэнне пра палёгкасць ёсць безпечным. Людзі застаюцца ў цыкле, але на вышэйшых роўнях: менш паўтараючыхся пераглядоў, больш захоўніх мер, адрабатавання асаблівых кейсаў, калібравання і праектаванне правілаў.
Верненне рэзультатаў у працоўны рэжым
Калі сістэма ацэнкі ўжо працюе, наступны крок — выучыцца на практычным выкарыстоўванні. Тэлеметрыя супляўдае даны для дыягназу, дыягназ удосконаляе працэс ацэнкі, ацэнкі керуюць оптымізацыяй, а падтвердзеныя змяны вяртаюцца ў стадыйнае развертванне. Два працэсы працуюць паралельна.
Адзін падход — гэта якасны аналіз. Адказы пра вырабоцтва, даны з выкарыстоўванняя прыладоў, статыстыка, незавершаныя заданні, апыткі звяжацца з падтрымкай і бягавыя проблемы прыладоў не должны застаўацца толькі на панелях керування. Яны павінны пераходзіць у працэс ацэнкі. Калі корыстувальнікі продовжваюць правіць той самы адказ, гэта ўжо новы кейс для тэставання. Калі даны паказваюць неправы выбор прылады, гэта ўжо патрабуе перагляду траекторыі выканання задання. Калі статыстыка паказвае падышчу ў певным етапе, гэта сцэнарый, які варта пераглянуць занова.
Іншы падход — гэта сістэматычная оптымізацыя. Калі спецыфікацыі, код і рэзультаты ацэнкі ўжо чыткі, налаштаванні стаюць набагато болей методычнымі. Спецыфікацыі опісваюць бажаную працэздатнась, код містыць логіку, абмежэнні, прылады і шляхі ўздоўж задання, а рэзультаты ацэнкі даюць показнікі, якія вярнююць, чы не паднялася якосць. На аднойчынку з гэтымі трыма элементамі прылады можу прапанаваць шырокі спектр змян: швыдкія правкі, змены праград, корэкціі шляхоў, дадатковыя ацэнкі чы змены ў кодзе.
Цыкл, крок за крокам:
Сігналы рэальнага выкарыстання спрыяюць падтрымцы працэздатнасці агента, што ў свою чаргу стварае адказы на патрэбы оптымізацыі програмы агента. Гэтыя адказы перадаюцца ў сандбокс, праходзяць тэсты на рэгрэсію, запускаюцца пад контролем, а пасля ствараюць новыя сігналы рэальнага выкарыстання.
За гэтым падходам ацэнкі не ўжо ёсць одноразовым рэзультатам. Гэта ёсць цікл работы, які стварае можлівасць для падтрымкі агента: вучыцца на рэальным выкарыстанні, ператвараць гэты дадзенынь на болей тачныя ацэнкі, налаштовваць агента на адпаведнае выкарыстанне гэтых ацэнак і выпускаць толькі тыя версіі агента, якія перажываюць пераканальні тэсты.
Спадневана літэратура
- Knowledge Graphs for Agentic AI: Four Patterns That Go Beyond Vector RAG — Апшуканне за дапамою вектараў знаходзі схожы тэкст, а не сувязаныя факты. Чатыры патэрны графаў для агентаў: стварэнне падказак на адпаведныя даныя, планаванне, пераканальнае выкарыстанне рэзультатаў і самакорэкцыя.
- Развітак пры адказе агентаў AI: кантракты, трэйсы і суддзі — Спрыяйце адказам як CI/CD для агентаў: версіі запытанняяў як кантракты, аналіз запускаў з OpenTelemetry і Tempo, а пасля тэставанне за дапамогою дэтэрміністычных перакананняў і суддзі на базе LLM.