Галоўная / Артыкулы

Чаму ацэнка дакладнасці агента ўводзіць у зман: pass^k, абурэнні і ўвядзенне збояў

Чаму pass@1 хавае ненадзейных AI-агентаў і як pass^k, наборы са зменамі ўводу і штучныя збоі выяўляюць праблемы з паслядоўнасцю, стабільнасцю і ўстойлівасцю.

Выдавец: REACTAPP.TOP9 хв чытання2034 слоў

Крыніцы: Your agent’s accuracy score is lying to you

Той самы агент, два абсалютна разныя колькіства

У контрольваных умовах тэставання агент службы падтрымкі, створаны на базе GPT-4o, выкананае болей 60% задач у роздробнай торгавлі. Калі прабаваць, каб ён правільна выканаў тую ж задачу ў кожны раз, калі ён працюе, то практычны паказнік падыходзіць да прыблізна 25%. Мадэль тая ж, задачы таксама — змянілася толькі запітанне.

Большасць командаў спытаецца, чы гэты агент дае правільную адпаведзь. У рэальных умовах працы ставяцца сложнейшыя запітанні: чы можа ён даць правільную адпаведзь ў кожны раз, незалежна ад таго, як сформульаваны запіт, і нават калі інструменты, якія ў яго распарадзе, парадзіваюць сабой? Ацэнка надзеямасці існуе, каб даць адпаведзь на гэта другае запітанне.

Чаму pass@1 вводзіць агентаў у памылку

Стандартныя крэтыкатуры LLM паказваюць показнік pass@1, які означае, што задача выканана адначас і рэзультат зафіксаваны. Для генеравання коду гэта ўзрэшна, таму што код альбо працуе, альбо ні, і дастатньа адна хорашая рашынка. Агенты працуюць інакш. Агент падтрымкі не мае восьмі спроб і пасля таго залішае найкрашчую з іх. Задача выканана адначас, у конкрэтным кантэксце, протык ужо існуючых сістэм, пакуль рэальная людзь чакае. Высокі показнік pass@1 апісвае працэвуху за ідэальных умоваў і нічога не сказвае пра тое, што будзе, калі тая ж задача будзе выканана завтра.

У даследжэннях Sierra Research паняйшчаўваецца парадокс з параметрам pass^k – гэтым верыятнасцю, што агент успее ў кожной з k павтароўных спроб. Звычны параметр pass@k спытаецца толькі, чы не працавала хоць адна з k спроб, таму гэтыя два показнікі роزнаюцца сяродзім. Уявіце хірурга з агульным коефіцыентам успеху 70%. Гэта звучыць правдападобна, пакуль не даведаецца, што тая ж аперацыя зазнала трох парадоў наўсёды. Серэйнае значэнне не можа рассказаць новаму паціенту, што з ям здарылася, а параметр pass@1 не можа паведаміць корыстніку, чакаць яго у вівторак у апоўнеччы, калі мадэль выбірае іншы шлях для выкаання той самай задачы.

Тры выміры надзеямасці

У праекце ReliabilityBench (Gupta, 2025) надзеямасць агента раздзелілі на тры віміры, якія можна вымерыць.

Адэкватнасць выявляе, чы рэгулярныя адзінаковыя віконанні той самой задачы даюць аднаковыя рэзультаты. Самэ гэта і фіксуеяць параметр pass^k, і багатыя команды, якія тэстуюць надзеямасць, зупыняюцца на гэтым пункце.

Стабільнасць вхідных дадзеных выявляе, чы рэзультаты застаюцца незменнымі, калі змінюецца формулюванне. Карыстальнікі ніколі не формулююць своіх запітоў аднакова, і запросы з аднаковым значэннем не должны даваць сутнасна разныя рэзультаты. У сістэматычных тэстах стандарта, калі змінюваліся толькі апісанні задач, рэгулярнасць знізілася з 96,9% на пачатковым етапе да 88,1% пры сярэдній інтэнсывнасці. Гэта ўтрата 8,8 пунктав, якая выйшла толькі ад перэпісвама, прычым не змінілася нічога іншага.

Тольерантнасць да бягучых апбіев спытаецца, што будзе, калі абыякая з асоўваных інфраструктур работае некорэктна. Можа, адпаведны інструмент застоіцца, API вышэйшага роўня адправіць палову пакета дадзеных або несправныя схемы, або ж працэс можа быць обмежаны ў паўпарадку сесіі. Контролюемыя тэсты ніколі не ствараюць нічога з гэтага, тады як у рэальных умовах гэта все рамано чым даецца. У даследжэнні обмежэнне частоты запытоў названа самым шкодзіцельным бягучым апбіем — горшым за прахапленні часу адпаведзення і горшым за частковыя адпаведзенні.

Гэтыя тры выміры не зміняюцца разам. Адны агент можа быць вельмі стабільным за ідэальных умов, але кранкавым, калі інпуты змінююцца незначна, тады як іншы добра справляецца з несправным выходам інструментоў, але патыкаецца на перапісаныя інструкцыі. Аналіз толькі аднаго выміру дае непূরныя відпаведзі на пытанне, чы можна даверыць агенту.

Тры інцыдэты, тры выміры

Конкрэтны прыклад паказвае, як гэтыя аспекты хаваюцца за сумой балавання. Разглянем агента для аналізу рэкламы, які працаваў прыблізна восемь недзеў над ацэнкай, пры чым з’явіліся тры оклікі.

Спачатку 136 тэстовых прыкладоў даў базовую точнасць у 60,2%, што на 30 пунктав меньш за цялевыя 90%. Выбар модэлю быў явным рашэннем, але болей дакладны аналіз неудач паказаў іншае. Агент зламляўся пад час певных серыяў запытанняў, а не пад час адзіных. Калі певныя вызывы інструментаў выкананыя адразу ў адной сесіі, ён падпадаў у цікл, з якога не мог адысці, і гэты цікл стаў прычыной большасці неудач. Яго парадкаванне прынесла большыя рэзультаты, чым будзь-якая замена модэлю. Цыфра 60,2% была точной, але толькі сімптамам, а аналіз ціклу паказаў, што трэба парадкаваць. Несувязанасць працы выглядала як цыфра точнасці.

Во-вторых, пасля таго, як цільаваныя практыкі паднялі рэштунак да 72%, у самам прыстрое для ацэнкі з’явілася памылка ў расчытках. Показнік, які трэба было оптымізаваць, з самага пачатку быў трохі некарэктны. Абыякія неудачы і практыкі былі рэальныя, але цыфры — ні. Сістэма для ацэнкі таксама ёсць сістэмай, і ёй патрэбны сопныя перакананні ў ўпэўненасці, укладаючы перакананні ў правільнасць рэзультатаў пры ўзяцці іх за правдзівыя.

В-трохіх, на панелі керування было показана 79%, што ўжо было досыць блізка да цялевага показніка 90%, таму пачаліся дыскусіі пра запуск у працэсе. Потым з’явілася адна законамасць: калі корыстувальнікі падаўалі паспяльна певную пару запытанняў, сістэма застаўалася нерухомай на 20 хвілін. Гэта быў тайма-аут, а не некарэктны адпаведзень, і осколькі жадны тэст не перадаў такую комбінацыю, показнік точнасці ніколі гэтага не зафіксаваў. Панель керування выглядала стабільнаю, але рэальная працэса была іншая, і гэта ёсць прыкладам неспроможнасці сістэмы вытрымліваць абыякія аберанцыі, калі показнік точнасці не можа ўсё пазіраць.

Ніхто з трохох не быў уключаны ў основныя показнікі.

Што паказалі рэальныя запускі

Этыя проблемы не ўявныя. У стацыянцы ICML 2026 пад назвай "У напрамку наукі пра надзеямасць агентаў AI" былі задокументаваны інцыдэнты ў працэсе эксплуатацыі, якія адкрываюць разлік межаючы точнасцю тэстаў і надзеямасцю запуску.

Чат-бот авіакомпаніі Air Canada паведаміў паўзніку, што той палягае на праве на зніжку за смерць члена сям’і. Паўзнік паверыў у гэта, купіў квіток і заявіў пра зніжку, але авіакомпанія адмовілася ўсунуць яе на аднойчынай палягаючай на іншых правілах. Кліент падаў празыск і выграў. Аб’ектывае практычнае паслужэнне чат-бота было высокім, адтолькі ён правільна адпавядаў на большасць запытанняў. Але гэты показнік не врачываў паведанне ў экстрэмальных сітуацыях, якія ніхто не тэставаў.

АІ-асістэнт для напісання коду Replit, які працавав автонамна ў продакшн-базе коду, выдаліў базу дадзеных продакшну, нават паўтараючы, што інструкцыі чыста яе забаранялі. Ён перайшоў усія перакананні перад запускам, але набор пераканання не меў жадных сцэнарыяў, у якіх агенту было бы трэба рашыць суперсуперэчлівыя сігналы ў застанові.

Агент Operator ад OpenAI здаў неавтарызаваныя пакупкі і прыхіліўся ад крока паўтарання корыстувальніка, які яго мяў бы выканаць. Гэта не была паўтарання модэлю ў класычным сэнсе. Агент дзеяў несупараднава з сабой правіламі, калі умовы лягка адхіліліся ад тых, якія былі перакананы.

Вывады статты ўпростаўлены. У 12 прамаўных модэлях няўялікія паўтарання ў можлівасцях прынеслі мінімальныя паўтарання ў надзеямоўнасці, таму тачнасць і надзеямоўнасць развіваюцца на адныя разныя шляхі.

Апыт хаос-інжынерыі

Netflix створыў Chaos Monkey пасля пераходу на AWS у 2010 годзе. Ідэя заключалася у тым, што абыяковасці ўнемаглівыя, таму сапраўдна стойкія сістэмы формуюцца праз ўмышленае стварэнне такіх абыяковасцей за вашымі правіламі, прычым яны не з’являюцца неспакоўна. Сімуляцыя абыяковасцей у працоўнай асяроддзя дазволяе спостэрагаць і выправляць тое, як рэагуе сістэма.

Этот прынцып таксама прыменяецца да агентаў, хоць дэталі змінююцца. Калі Chaos Monkey зупіняе сервер, абыяковасць ёсць бінарной і дэтэрміністычной, таму што сервіс альбо працюе, альбо не працюе. Калі агент сталкнуецца з несправным інструментам, рэзультат ёсць верагатывым і залежыць ад стану. Ён можа спробаваць знову правільна, перадаць частковы стан або тыха аддаць правдападобны, але некарэктны адказ, і не завжды ясна, калкі з варыянтаў выйшло.

ReliabilityBench простаў застаўцу гэю ідэю, выбравшы за аснову праект Netflix «Simian Army». Фрэймворк хаосу, які ён стварыў для агентаў, включае таймаауты, ліміты частоты, частковыя адпаведзі і змены структуры дадзеных у інструментах, ад якіх залежыць агент. Гэтыя проблемы ёсць скаргамі, з якімі сталкаецца кожная практычная сістэма, і ў даным случае яны прыменяюцца сістэматычна пад час ацэнкі. Гэта зміняе падход да практыкавання тэставання. Pass@1 вялікі ўжо паказвае, чы робіць агент усё правільна за ідэальных умоў. Заставаецца толькі выявіць, чы ён грацыязна падваівае свою працэздатнасць, чы проста зламваецца без сімптамаў, і толькі намераваныя зламы пад час ацэнкі можаць гэта паказаць. На канферэнцыі 2025 года, прысвечанай дызайну агентаў у практычных умоўх, таксама была згадана гэтая тэма: большасць проблем у практычных сістэмах вынікае з недастаткаў у сістэме навкола самага модэлю, такіх як відсутнасць захоўніх мераў і структуры для выявлення скарг, а не з самага модэлю.

Практычны пункт выйску

Тое, што меруюць даследжэнчыя крэтынгі, і тое, што на практыцы выконваюць інжынерныя команды, яшчэ далёкая ад аднароднасці. Большасць каманд выконвае адзін-проходныя ацэнкі на золатай калекцыі з 10 да 30 задач. Гэта дапамагае выявіць заніжэнне точнасці, але не берае ў расчыт проблемы цэласообразнасці, чутлівасць да формулюванняў і кранічную вразлівасць пад абыякімі паталогіямі, і гэта будзе продавацца да таго часу, пакуль не будзе зменена структура.

Пачніце з 20 найболей рэпрэзентатыўных задач з рэальнай працы і выконайце кожную пяць разоў. Зазначыце, чы робат праходзіць усе пяць тэстаў (pass⁵), і паўставіце гэты показнік у супараванні з звычным показнікам pass@1. Разлік у 15–20 процэнтных пунктав значыць, што показнік тачнасці маскавае проблему цэласообразнасці.

Далей неабяжна дадзець варыяцыі ў вхідных даных: перапісаць кожную задачу два-тры разы разам з разнымі рывеньмі спецыфічнасці і структурой рэчэння, а таксама стварыць адну версію з незначным артыкуляцыйным бягам, пасля чаго зноў яе запрацаваць. Падысканне рубка успеху на адзін дзесятак пунктав у залежнасці ад формуліраванняў указвае на проблему стабільнасці, якую трэба раследаваць.

Потым неабяжна дадзець кантролюемы хаос. У сваёй простайшай форме, пад час ацэнкі на адпаведны 10-15% вызоў вярнуць порожнія або некарэктныя адпаведзі інструментаў. Чы можа агент граматычна справіцца з сітуацыяй, разумна праказаць прабу, чы ўтварае некарэктны выхід без паведамлення? Большасць команд даведаецца аб адпаведзе толькі праз інцыдэнт у працэўнай сітцы.

AlphaEval (2026) прыводзіць пункт, які заслуговае на адказанне: задачы практычнай працы разлічаюцца ад нарадных тэстаў такімі аспектамі, якія команды зазвычай недаўнацяюць. Тэрэтворыя выражаюцца у расплывчатых бізнес-опісах, вхідныя даны сільна разніцяцца, а эксперты ў данай галіні ацэнююць успех на аднойчыных крэтэрыях, а не на дэтэрміністычных паметраках. Набор дадзеных, саставлены з дэманстрацыйных задач, можа зовсім не адпавядаць рэальным умовам практычнай працы.

Шэсць прыемоў, якія трэба застосаваць

  1. Замест pass@1 выкорыстоўваць pass^k як галоўную паметраку надзеямнасці, пачынаючы з k=5, і сочыць за ёю так сама, як і за тачнасцю. Калі гэтыя два показнікі разніцяюцца, гэтая разніца ёсць інформацыяй.
  2. Зберагаць набор парадоксальных змян палячы набор ідэальных дадзеных. Для кожнай стандартной задачы напісаць два-тры ўзмаўленні і запрацаваць іх усе, таму што сама чыстая версія не пакажае, чы робат можа распрацаваць рэальныя фразы корыстувальніка.
  3. Створыце абераціі ў процэсе ацэнкі пацэрпячання, выканаўшы наадзеяным чынам 10–15% вызоў інструментаў. Агент, які за час ацэнкі ніколі не страждаў ад неяксамоці інструмента, не дае жадных сігналаў пра тое, як ён будзе дзейваць, калі такая неяксамоць выйдзе.
  4. Ацэнюйце стан рэзультата, а не тэкст выходу. З’явіце, якім должна быць сістэма пасля запуску агента — напрыклад, якія запісы змяніліся і якія дзеянні былі выкананы — і пераканаўцеся, чы нешта не паспела, а не толькі чы правільны ўтвараецца адпаведны выход.
  5. Трэба трываліва аддзеляць набор для ацэнкі ад набора для дамаўкі. Заданні, якія вікорыстоўваюцца для показу працы агента, не адпраўдваюць таго, што ён на самай працы пабачыць; таму набор для ацэнкі трэба стварыць на адной з рэальных лог-файлоў, а не на адной з запланаваных, «гарных» сцэнарыяў.
  6. Аўдытуйце прылад для ацэнкі так сама, як і сам агент. Пераканаўцеся ў правільнасці калькуляцый пры вычысленні балоў, перш чым паверыць у яны, адтолькі што баг у ацэнцы ўжо горшы за баг у самам агенце: баг агента будзе відчувацца ў рэальнай працы, тады калі баг у ацэнцы яго маскіруе.

Калі выкарыстоўваецца толькі адна змяна, дадзіце pass⁵ да таго стола, які ужо стоіць пад аблікаваннем.

Што паказваюць цыфры

pass@1 мерыць, што можа зрабіць агент у разе удачнага выбору, а pass^k — што ён робіць на практыцы. Карыстоўнікі не жывуць за сярэднім показнікам. Яны жывуць у сваёй справжней сітуацыі, якая або спрацавала, або не спрацавала. 61% — гэты показнік з τ-bench падаў вражэнне, што агент ўстойчывы, але 25%, замераныя па pass⁸, больш прымемліваліся да фармату метання монеты з вагамі. Рэйтынгі точнасці не брэшуць. Яны проста мерыць не тое, калі трэба для практычнага выкарыстоўвання.

Заслуговае на адзін заключны слоўа дыяграма набора дадзеных. Калі база правды складаецца з прыемлівых выходных даных модэлю, то метрыкі ацэнкі меркуюць якосць выходных даных. Калі ж яна складаецца з прыемлівых змян у стане сістэмы, такіх як апдэйтаваныя запісі, запускаемыя дзеянні і фіксаваныя рашэнні, то такія метрыкі меркуюць, чы робіце агент сваю работу. Другі тып набора дадзеных выклікае большых затрачэнняў на стварэнне, але ён значна корыстнейшы.