Хто оцінюе оценювача? Пераконтроўка набораў інструментаў для оценкі агентаў пры ўпэўненні ў ўпэўненасці ў ўсіх ўмовах ўжыцця.

У 2026 году практычна кожная команда, якая выпускае агента AI, таксама запускае набор для адзінакоўвання, які включае панелі керування, паказчыкі ступеня успеху, контрольныя пункты CI і суддзіў LLM, які оцінююць траекторыі працы агента за встановленымі крытэрамі. Усё гэта свідчыць пра строгасць падходу і, здаецца, паказвае разліку межы продакшн-сістэмы і дэмаверсіі, якая проста два разы працавала.

Але як толькі задаецца наступны, законны пытанне, стае тыха. Хто пераканаўся, што гэты набор адзінакоўвае самэ тое, што трэба, правільна адзінакоўвае і ўсё ж гаворыць правду паўгода пасля яго стварэння? Практычна ніхто. Індастрыя пасвятыла два гады стварэнню інструментаў для оцінкі агентаў і ледве пачала ствараць інструменты для оцінкі сэльвесных інструментаў. Гэты разлік вялікі ўжо зараз у продакшн-сістэмах, і ён проявляецца кількома прыгляднымі спосабамі.

Прыпуск, які ніхто не выказвае

За большасцю прыстроек ацэнкі агента стоіць невыказаная прыпуск: успех означае, што агент паводзіўся правільна, а невыплнення — што ён так не зрабіў. Як толькі гэта прыймаецца, такі комплект стае «чорнай скрынкай», якой люды адразу даваюць доверлівасць. Індыкаторы показуюць зелены колер, злучэння PR адбываецца, і каманда пераходзіць да наступных задач.

Даследжэнні следаў агента пачалі ствараць працяпіны ў гэтым падходзе. Адна з даследжэнняў аналізавала 58 следаў, якія сістэма ацэнкі выдала як успешныя, і выявіла, што 83 процэнта з гэтых прыкладоў мелі прыхованыя праваленні ў процедурах чыстацы або безпецы, якія ніколі не выявлялася пад час ацэнкі па крытэрыям успеху чы невыплнення. Агент даваў правільныя адпаведзі і отрымваў ідэальную оцэнку, пры тым што шлях, які ён выбраў, на самай працэ пацяпіў. Разлік між рэзультатам і працэсам — гэта самэ тое, што мае выявляць сістэма ацэнкі, і гэта самэ тое, што большасць такіх сістэм з метаю дызайну не можа побачыць.

Чатыры тыпы неудач патэрнаў заслугуюць на аднародныя назвы. Кожны з іх трэба ліквідаваць окрэма, а команды зазвычай зазначаюць толькі той патэрн, які ўжо завдаў ўплыву.

Зміна крытэрыяў оцэнкі. Усё, што мае сэмантычны значэнь, як правіло, оцэнюецца за дапамогою LLM, адколі пераконтроль на адпаведнасць правілам не можа паведаміць, чыў «наступны пятніцу» быў пераканвертаваны у правільную дату. Але сам крытэрый оцэнкі таксама ўжо ў вобразе, і вобразы зміняюцца. Команды, якія выкорыстоўваюць дзейнаўкі працы працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўнікаў працоўніка

Ілюзія рэзультата. Ацэнка толькі канечнага стану стырае цікавую частку весьго працэсу. Агент можа выкорыстаць неправы інструмент, чатыры разы пераслаць той самы некарэктны аргумент, але заўсёды, за дапамогою ўдачы чыя-то настойчывасці, дасягнуць правай адпаведзі, а прыстрой, які чытае толькі фінальную паведамленне, запісае яго як успешны.

Прыватныя способы неудач. Публічныя крэйтэрыі, такія як BFCL чыя-то tau-bench, дапамагаюць пораўняваць модэлі, але яны не можу пазначыць неудачы, якія відбываюцца ўнутры сэрвісу самай команды: нуль у необавязковым полі, баг з часовым поясам у аргуменце з датай, несувярэннае калькуляцыя валюты ў полі з грошамі. Такія неудачы належаць інструментам команды і ніколі не з’яўляюцца на загальнай табелі лідэраў. Калі паверкі або ацэнкі або ўсё адбываецца за дапамогою публічных крэйтэрыяў, то верыфікатор не бачыць самых важлівых аспектаў — тых частак сістэмы, якія ніхто іншы не тэставаў.

Тэмная сторона косту. Найменш выявляемая, а можа, і найболей значныя. Апарат для аналізу можа ацэніць агента як точнага па кожнай з меркаваных характэрыстыках, але ніколі не спытаецца, чы рэалізуе агент сабе сам крытыкі. Адны з вядомых прыкладаў — агент, які падтрымаў усі дванаццаць паказначыкаў якосці, але быў адключаны з эксплуатацыі, таму што кожнае успешнае рашэнне коштаў больш, чым людскі працэс, які ён мяў заменіць. Рэйтынгі якосці былі точныя. Аднак не існавала меркі для адпаведнага пытання, якае вялікая мерой запячатала яго долю.

Агент з броніравання, які меў ідэальны рэйтынг, але зазнаў няудачы

Уявіце, што агента з бронювання попросілі знайсці авіарэйсы на „наступную пятніцу“. З рэўістара, які містыць дзесяткі інструментаў, ён выбірае правільны, таму выбір інструмента дае ідэальны бал 1,0. Потым ён адправляе дату як простую строку, не спробававшы спачатку распрацаваць відносны выраз. API адпавядае памілкай па верыфікацыі, і агент чатыры разы перадае тую ж самую неякісную строку, перш чым прагнуцца і завершыць працу.

Гэты аналіз дае два показнікі: ідэальны 1,0 за выбір інструмента і 0 за завершэнне задання. Жадны з іх не вказвае, што самэўце пашло не так: адмова у выкарыстоўванні аргументаў, памілкова адпаведзь, якую агент ніколі не прачытаў, чы ўсё тое ж сама логіка перапрыбуткі з незмененым вхідным дадзеннем. Дзеярожны аналіз оцэнкі вызывання інструментаў паказаў, што пераконтаванне толькі таго, чы быў вызваны правільны інструмент, перакантруець намер уместо самай екзекуцыі, а намер не быў тым, што зламалася.

Гэта ўсё проблема ў скраценай версіі. Комплект выдаў два чыслы — ніякі з іх не быў абоўсюды некальканы, але оба былі беспарадныя для адпаведнага пытання: што трэба вылечыць?

Практыкі, якія дапамагаюць

Калі комплект для ацэнкі стае аб’ектам, які заслуговае на сае власныя перакананні ў якосці, структура працы выглядае інакш. Калькі прыzwычкаеў адрозніваюць команды, якія выкрываюць проблемы рана, ад тых, якія даведваецца да гэтага ценай большых наследкав:

• Свой шар мета-ацэнкі. У серйозных рэалізаціях праця цяпер дзеліцца на ацэнку рэзультатаў, ацэнку кожнага крока праграмы і шар, які перакананні ацэнкаўчыкаў адносна адна другой, так што балы адзінаго суддзі не спрымваліся як абсалютная правда.

Пераканаленне на выконанне заместо падабілення тэксту. Найболей надзеяныя тэсты пераглядаюць, што на самай працоўны спосаб змянілася ў рэальным свеце. tau-bench чытае стан базы дадзеных, SWE-Bench выкананяе рэальныя тэсты, а tau2-bench's pass-at-k спытваецца з’ясавіць, чы робат адносна стабільна дасягае успеху праз паўтарэнныя спробы. Аналогічныя наборы прыладоў таксама должны перашкаджаць і паўнастаць рэальныя змяны, незалежна ад таго, што адзвячае робат.

Косц адносна якосці. У фінансовых аспектах аргументуецца за вылічэнне косцу на адну успешную рэзультату як ключовага паказніка разам з точнасцю, які вылічваецца з самага пачатку, а не пазней, калі керавальнік бюджэту пачынае ставіць запытанні.

Разныя рэгламенты ацэнкі. Полныя ацэнкі з начала да канца коштаюць дужа дорага, таму што кожная задача выклікае два вызовы модэля — агента і судды, а набор з ста задач з пяцьіма тэстамі кожна прыблізна удвойвае суму за ацэнку. Команды, якія контролююць гэта, выдзеляюць шырокія, безкоштовныя і дэтэрміністычныя пераконтроўкі, якія выконваюцца пасля кожнага зберагання коду, ад слабых, дорогіх ацэнкаў, якія запускаюцца толькі тады, калі змяны паўтараюцься ў кодзе агента.

Набор, які застаецца актуальным. У няўздышлівай даследжэнні рынку большасць учаснікаў заявілі, што ўсе ўжо ацэнкі не даюць павноценных рэзультатаў, таму што рэальны трафік адхіляецца ад первіснага набора тэстаў, і стаўка з ім стае неконтрольнаю. Набор, які не змінюўся з моменту запуску, не ёсць безнэпакідным. Ён ацэнюе сістэму, якая ўжо не існуе.

Чатыры крокі для набора, які ўжо ў вас ёсць

Для кампаніі, якая располагае наборам для адміністрацыі і хочаць яго параболіцаваць, а не проста ўпаваць у яго, чатыры кроку можаць зменшыць большасць прычын для сумневаў:

1. Взяце дзесяць-дваццаць прыкладаў з рэальнай працы, якія набір адзначыў як успешныя, і ручна прачытайце кожную цэлую траекторыю, а не толькі адпаведны адпаведнік. Колькі з гэтых успэхоў скрывае процедурны бяг, являецца рэальным показнікам таго, насколькі можна даваць доверлівасць панелі керавання.
2. Зазначыце версію модэлю для адгукнення і тэкст крэтырыяў, а таксама фіксуйце іх разам з кожным рэзультатам, такім чынам, ўзлёт версіі модэлю будзе выглядаць як адзін зазначаны прыклад, а не як таёмны занепад якасці.
3. З самага пачатку сачыце за костам за кожны успешны рэзультат, нават якшо ніхто яго ўжо не прасіў.
4. Створыце невялікі набор для выяўлення занепада якасці на базе рэальных працовых абыектаў, а не толькі сінтэтычных прыкладаў. Публічныя стандарты вялікія падставы, а історыя інцыдэтаў самай кампаніі дапамагае працаваць з наступным няпрыемным занепадам якасці.

Нічыя з гэтых альтэрнатываў не можа заменіць цэлы комплект. Гэта проста не дазволяе спрыятаць комплекту як аднаму элементу, які ўзяты занадта серьзэзна, каб яго пераглядаць.

Швыя адказы

Што значыць параболка праверкі комплекту для агентаў? Гэта означае застосаванне таго ж рэгулярнага аналізу да сістэмы ацэнкі, які сістэма застаўляе для самага агента, прабуючы выявіць, чы рэцэнзент, крэтырыя і працэс ацэнкі даскледжваюць тое, што прызначалі.

Чаму змінююцыся балы, калі рэцэнзентам выступае LLM? Рэцэнзентам выступае мадэль. Калі яе прадаўцы ўнесаюць змяны або яе заменяюць на новейшую версію, балы можу змяніцца, нават якшо агент, які ацэнкаваецца, не змяніўся.

Можаць камуністычныя тэсты заменіць спецыяльны комплект? Не. Яны дапамагаюць пораўняваць модэлі па распашчытых задачах, але не выявляюць проблемы, якія вынікаюць у зв’язку з власнымі інструментамі, дадзеннямі і спецыяльнымі кейсамі команды.

Чы гэты высокі парагэт успеху дастыканы, каб агент застаўся ў эксплуатацыі? Не сама по сабе. Агент можа парадзіцца добра па точнасці і якосці траекторыі, але ўсё раве будзе адключаны, калі вартасць адзінаго успешнага рэзультата не падтрымвае яго прыносу.

Як часта трэба пераглядаць чы перабудаваць гэты комплект? Пастоянна, ў меру зьмены навантажэння ў эксплуатацыі. Адваротнае відношэнне да первіснага набора тэстаў, таму прыклады, атрыманы з рэальных неудач, павінны прыходзіць рэгулярна, а не толькі пад час запуску.

Тэзі, якая стоіць за панеллю керування

Набор тэстаў не ўтварае доказа таго, што агент працуе. Гэта тэза пра тое, што значыць «працаваць», напісаная тым, хто яго створыў, атэставаная суддзёй, чыя праграмы можу змініцца, на наборы тэстаў, якія пачынаюць «старэць» яшчэ з моменту стварэння. Калі такую тэзу спрыяжваюць з абавесцю правдой, агенты выходзяць у прыемлівым відзорэ на всіх панелях керування, але працуе паскудна ў тых задачах, якія справаўляюць значэнне. Ручны аналіз дзесяці траектарыяў, як опісана вышэй, быстра паказвае, сколькі саме панель керування маскавала.

Спадні матэрыялы

• Атэстацыя агентаў з дапамогою бота для паціяжаў: рэзультат проты траектарыя, вораты і pass^k — Практычны прыклад атэстацыі агентаў для бронівання паціяжаў: вісі рэзультата і траектарыя, дэтэрміністычныя вораты перад ваговымі баламі, 2x2 матрыца і разлік pass@k і pass^k.

Праектаванне плану кантролю для ацэнкі АІ-агентаў у працэсе вырабніцтва — Як стварыць непаўзлівую ацэнку агентаў: раздзелэнне планаў выканання і кантролю, асэрцыі на аднойчыні, «золатыя» наборы дадзеных, контрольныя пункты CI, тэставанне на всіх этапах жыццёвага цыклу і чарткі для запуску.

AGI — гэта проблема навучэння, а не проблема зберогаў — Аргумент пра тое, што самэ непаўзлівае навучэння, а не большыя вагі, ёсць тым, чаго не хапяе ў АІ, з апісам сама-апдэйтавальнага цыклу, які пераканальвае кожную маленькую змяну.