Тэст рубрычнага фільтра, які перазапускае памылковае фінальнае дзеянне агента

Функцыя Claude Outcomes ад компаніі Anthropic стварае цэлы цыкл, які багато команд самі настраююць: агент-рабочы практыкуе адпаведны адказ, другі компонент оцэнюе яго за певным крытэрыям, а калі адказ некарэктны, рабочы мае можлівасць спробаваць знову. Сама ідэя настолькі простая, што ёю можна прабавацца без готовага рашыранага продукту, таму была створана спрошчаная версія ў контролюемых умовах з выходамі агента, оцэнкавальным крытэрыям і толькі адной можлівасцю перапрабаваць.

Запітанне

У тэсце ставіцца адно запітанне: калі агенту трэба прымець структураванае рашэнне, чы не зменшае цыкл перапрабавакоў на адпаведнасць крытэрыям колькасць некорэктных фінальных дзеянняў?

Тут важліві фінальні дыі, тому што багато помілок рэального агента не пов’язані з якасцю тэксту. Відповідзь можа віглядаты добрэ, JSON-анотаціі можуць буты правільнімі, але обрана дыя все одно можа буты неправільною. У працэсі підтрымкі гэта можа перэтворытыся на операційну помілку. Напрыклад, калі агент повертае DENY, дэ правільнім було б NO_ACTION: оберэжній фармат адказы не ратуе сітуацію.

Настройка

У тэстування вікорыстовувалося трыдцяць сінтэтычніх віпадків підтрымкі і одна мадэль gpt-5.4-mini. Такій зразок не можа вважатыся базовім для параўнання. Ключове значэння мае тыя, як віглядалі помілкі: які з ніх було віправлено, які пропушчэно, і дэякі з ніх коштувалі дорого.

Кожэн віпадок містыць короткій сценарый кліента, правіла і спіс дозволеніх фінальніх дый:

APPROVE
DENY
ASK_CLARIFYING_QUESTION
ESCALATE
NO_ACTION

Змагаліся два ціклы. У базовай версіі запіт праходзіць безпосерэдня да агента, а ўсе рэзультаты яго дзеяння фіксуюцца. У версіі з контролем суддзя па крэтарыі пераглядае першую адпаведзь, а калі ёна не падходзіць, агент вяртаецца, каб спробаваць знову, на гэты раз ведаючы прычыны непаспэшнасці.

Дыяграма ніжэй ўтварае стыслы кансультатыўны матэрыял па працэсах агентаў, калі рашэнні залежыць ад рэзультатаў. У яй паказаны крэтарыі, якія пераглядаюць запрошанае дзеянне за правіламі політыкі прыемлівання, перш чым будзе прынятая заканчыцкая адпаведзь.

Правілы былі спецыяльна створаны так, каб былі жорсткімі: існуе закрыты ўзел дзеянняў, чыста апісаныя обмежэнні політыкі і можлівасць толькі адной пракушцы, калі перагляд па крэтарыі не ўспехоўвае.

Baseline:
case -> agent -> final action

Gated:
case -> agent -> rubric judge
if failed -> retry once
retry answer -> final action

Эталонныя сцэнарыі былі сінтэтычнымі, але створаныя на адпрацоўкі звычайных практычных абмежэнняў:

Быў выкарыстоўваны рэальны прадаўцу LLM, а не дэтэрміністычны сімулятор, таму што цікавае — гэта тое, як мадэль насправды паводзіцца пасля таго, як яе першыя адпаведзі з’являюцца і практычна перакантролююцца.

Суддзя, які не мае кнігі з адпаведзямі

Суддзя, які ужо знае адпаведзь, паслабіў бы сэнс задачы. Кожны сцэнарый мае expected_action, але гэя значэнне вжываецца толькі для аналізу пасля завершэння працы, і суддзя яе ніколі не бачыць. Тое, што бачыць суддзя, — гэта дзеянне, якое выбраў агент, і ён перакантролюе гэта дзеянне па аб’ектыўным правілам.

Уявіце запіт на вырачэнне грошаў, які мае незаканчаны працэс анулявання платэжа ў працэсе апрацоўкі платэжаў. NO_ACTION можа стаць правым рашэнням, адтак як саме практыка платэжаў адпавядае за ўсуненне гэтай проблемы, і падтрымка не должна выносіць рашэння ў гэтым пытанні. Слабы суддзя проста пераканалася б, чы не выбраў модэль NO_ACTION; гэта адпавядае перакананню за дапамою кіяна з адпаведнымі рашэннямі. Гэта падходзіць для офлайн-оценкі, але не ўтварае стандартнага крэату для пераканання.

Справжній крэат ставя іншае пытанне: калі выдана рашэння DENY, чы агент неправалява падтрымку як орган, які выносіць рашэння, калі насправе іншы працэс апрацоўкі кейсу?

У часе рэалізацыі зазвычай не трэба схованага кіяна з адпаведнымі рашэннямі. Натоўпае — перакананне, чы запропанная дзеянне не парадуруе чыстае кантракты. У гэтым случаў кантракт быў просты: выбраць адна заканчальная дзеянне і не выбіраць такое, якое суперасходзіцца з правіламі кейсу.

Што сталося

Прыгнуўшы за адной разам усе 30 прыкладаў, базовы агент памыліўся ў 6 фінальных дзеяннях. Калі былі даданы суддзя і можлівасць перапрыбутку, толькі 2 дзеяння засталіся неправымі.

Прырост рэальны, але самыя цыфры могу вводзіць у глухое калітка. Гэты цыкл не даў агенту жадных новых, шырокіх навыкаў. Ён працаваў толькі там, дзе суддзя мог указаць конкрэтную суперсечнасць між выбраным дзеянням і правіламі, якія паказваюць прыклады непаводзкаў.

Што пацярпела правільнае рашэнне

Гэты цыкл выправіў 4 з 6 непаводзкаў базовага агента. Большасць выправленняяў сталася ў тых прыкладах, дзе базовы агент быў занадта швядкі ў адмове. Правілы не падтрымвалі негайнае затверджэння, але і не вымагалі адмовы. Лепшы варыянт быў папросіць раз’яснення або чакаць на іншы працэс работы.

Прыняты запрос пра зміну электронной пашты абанку. Ён прыйшаў з новага прыстрою, процедура MFA не была завершана, а запрошчык знаў код поштовага індэкса для вырачоўкі. Палітыка выклекала завершэнне процедуры MFA або іншую затверджаную перацэнку права ўласнасці, прычым падтрымка могла бы продавацца толькі пасля гэтага. Базовая адпаведзь была DENY, хоця чакалася адпаведзь ASK_CLARIFYING_QUESTION. Закрыць запрос было прытэмна, калі ўсё шчэ існаваў спосаб для затверджанай перацэнкі, таму правым крокам было запітаць. Суддзя адхіліў рашэнне пра адмову, сказавшы, што гэта было прытэмна, і пасля перапрыбутку мадэль змянілася на ASK_CLARIFYING_QUESTION.

Іншы случай, які быў вылечаны, стосаваўся замены прыстрою. Кліент прагнуў, каб служба падтрымкі пераслала новы прыстрой, але таго ранку ужо была створэна заява RMA, якая чакала скануўання на складзе. Базовы алгорытм выбраў DENY, а запланаваныя дзеяння — NO_ACTION. Рашэнне про адмову было некорэктным, адтолькі кліент не параджаўся крэтынамі для такой адмовы. Працэс замены ужо штоў у працы, таму служба падтрымкі не должна была стварыць дублікат заявы RMA. Перапрыбутак выправіў сітуацыю, выбрав NO_ACTION.

Оба прыклады паказваюць практычную цэннасць гэтага патэрану. Гэты механізм не зробіў мадэль значна розумнейшай; ён проста змусіў вылечыць адзін конкрэтны несувяз межа выбранымі дзеяннямі і правіламі полісы.

Што ён не мог вылечыць

Два засталія неудачныя рэштання гавораюць больш, чым сумарны бал. У обох случаях ход задачы вяліся як звычна, пры чым апэктаваная дзеянне была NO_ACTION, і заканчоўны адпаведны рэштанак застаўся DENY нават пасля перапрыбутку.

У першым случае запіт на вярненне грошай мелі нераскрытыя прэтэнзіі ў ходзе платэжаў. Палітыка забраняла службе падтрымкі выдаваць вярнення, калі прэтэнзія была актыўная, адтуды што рашэнне па платэжах ёй належыць. У другім случае пакупальнік хацеў ручнае звалічэнне выдачы тавару, калі ўсё яшчэ трывала перагляд на прэдмет шахрайства, і палітыка забраняла службе падтрымкі выдаваць тавар у такім стане. У обох случаях адпаведны спеціяліст знайшоў проблему і вернуў неудачныя крэтыры, а перапрыбутак такі ж застаўся з неправым дзеяннем.

Гэта змінюе спосаб пры адгукцыі да шаблона для практычнага вікорыстоўвання. Сістэма можа зафіксаваць, што якае-небудзь дзеянне порушыла правілу, але фіксацыя не ўсуне проблему. Падазроўваючы, што мадэль не можа розразліць „адказацыю на запрос“ ад „непрынятнасці удзеле, таму што іншы працэс вырашае“, нават пазначаная адказа можа застацца без змян. Тое, што ўсё выглядае безпечна, не значыць, што дзеянне правільнае, а код DENY выглядае як консерватыўны выбор, пры тым застаючыся неправым, калі агент не мае права ў данай справе.

Дзе можна яму даваць доверлівасць

Успех у такіх сітуацыях залежаў ад можлівасці пераканальна пераглядаць рэзультат. Агент выбіраў з закрытага калекцыі, правіла політыкі былі чытка апісаны, і адгукнуўшыся могаў параўняць выбранае дзеянне з конкрэтным правілам. Перапрыбуткі, калі яны залежаць ад рэзультата, здобліяюць большую доверлівасць у такіх віпадках:

Больша абераглівасць неабходна, калі рэзультат ёсць суб’ектываўным:

Яго не трэба спрыяваць як загальны слой надзернення. Заставайце яго для тых сітуацыяў, дзе неправільныя дзеянні караюцца настолькі сільна, што гэта пакрывае расходы на дадатковы вызов модэлю, і дзе бажаны рэзультат можна зафіксаваць у контракце.

Змены, якія варта адкаліць у працоўным рэжыме

Адна настройка мае прывілейны значэння: трэба спрыяваць павтаральныя непаспраўныя дзеянні як адгук пра дызайн. Калі агент продовжвае плутаць DENY і NO_ACTION, трэба падкрэпіць апісанні дзеяння, дадаць прыклады або перэрабіць контракт робочага прайскуранта. Іншы спроба рэдка калі вярна лікуе недастатак у розумэнні.

Таксыяванне часу выканання таксама трэба аддзержаць ад офлайн-ацэнкі. У часе выканання суддзя прыменяе обмежэнні, тады калі офлайн-ацэнка вылічае фінальныя дзеянні за адпрацаванымі спадзячаннямі. Іх злічыненне паслабляе сістэму. Таксама каратэйская выканаць логаванне кожнай пракаты, якая включае першае дзеянне, невыпаныя крэтэрыя, паслядрэжанае дзеянне і фінальны вердыкт, адколі сумешанне паслядрэжэнняў і ўсіх іншых дзеянняў часта сказвае больш, чым загальная тачнасць.

Вывык

Таксыяванне на выходны рэзультат ёсць эфектывае, калі „завершэнне“ можа быць запісана як кантракт. У гэтым случае кантракт быў просты: выбраць адно фінальнае дзеянне, якое не нарабляе насуперак правілам. Пад такім умовам цыкл з таксыяваннем зменшыў колькасць неправільных фінальных дзеянняў з 6 з 30 да 2 з 30.

Самэ тыя застаўленыя неудачы — гэта там, дзе павінна быць увага да процэсу вырабаткі. Суддзя з’явіў проблему, а практыка знова выклікала некорэктную дзеянне. Таму вопыт не толькі ў тым, чы можа сістэма оцаніць рэзультат, але і ў тым, чы можа весь цікл перакласты гэю оценку на правільнае рашэнне. Гэта тыя доказы, якія трэба запытваць пры тым, калі які-небудзь цікл, заснованы на рэзультатах, прабуе вплыць у рэальны рабочы працэс.

Да далейшага чытання

Документацыя API Anthropic пра візначэнне рэзультатаў і артыкул ў кніге-практыкуме пра агентаў, якія пераканальваюць сабе свою работу, паводзяцься пра функцыі керовання, якія відпаваюць гэтам эксперыменту.