Галоўная / Артыкулы

Праблема бясплатнага верыфікатара: чаму цыклы агентаў спыняюцца, калі праца — не код

Цыклы агентаў кадавання працуюць, бо кампілятары і тэсты правяраюць бясплатна. Па-за кодам такога верыфікатара няма: чатыры «субсідыі», даныя пра збоі і тэст аракула.

Выдавец: REACTAPP.TOP6 хв чытання1331 слоў

Крыніцы: Loop Engineering for Enterprise Agents: The Free Verifier Problem

Сягледзе, багато прадавцоў сэрцаваюць інжынерыю цыклаў як наступны ўзлёт пасля інжынерыі запытанняў, і дэманстрацыі ўсё ж рэальныя. Уместа таго, каб ручна ствараць запыт для агента-кодавальніка, вы ствараеце цыкл навакола яго. Ён запускаецца за пазначаным графікам, працуе на аізольаванай галузі, апрацоўваецца другім агентам і фіксуе свой стан у файле, так што кожны запуск продыржвае з пярэднега. Борыс Чарны, які керуе Claude Code у Anthropic, сказаў, што яго задача — пісаць цыклы. Адды Османі з Google даў гэтаму патэрану назву, і як Claude Code, так і OpenAI Codex зараз прысвячаюць шэсць тых самых прымітыў як вбудованыя функцыі.

Гэта працуе, і гэта працуе з прычыны, якую людзі, якія яго продаюць, рэдка кажуць ваўчым голасам. Гэтая прычына не паўтараецца ў іншых відах работ.

Цыклі ў кодаванні працуюць таму, што сама база коду мае свой верыфікатор. Кампайляр, перакладчык тыпаў і наборы тэстаў мгновенна ацэнююць кожную спробу практычна без жадных затрат. Раздзел на стваральнік і перакладчык, які часта вважаецца механізамам доверы ў розробцы цыклів, коштуе дужа мало ў програмнаму забезпечэнні, адколі половіна з яго ўжо існавала ў рэпазітарыі ўчора, перш чым з’явіўся які-небудзь агент.

Калі перанесці той самы цыкл у працэс адзначэння праваў, затверджэння закупкаў чы выправлення проблем кліента, то верыфікатора не будзе. Яго трэба стварыць самостайна, і майжэ ніхто не включае гэта ў бюджэт. Гэта лепшы показнік таго, чы працэс з агентскім програмам будзе застаўляцца на пачатковым етапе.

Чаму код просты, а ўсё іншае — ні

Серэд шасці прымітыў цыклів не всі працуюць аднакова эфектывна. Запланаваныя запускі, канектары, навыкі і памяць легка перэносяцца ў іншыя сферы з мінімальнымі трудносцямі. Два з іх — ні.

Ізоляцыя ў першую чаргу. Рабочыя дрэвы git па сесіях дазволяюць Spotify запускаць дзесяткі сесій агентаў паралельна на адной базе коду, без таго, каб агенты адні другіх паспалі. Іх внутрэшня сераўісная асяроддзе для розработкі, Xirp, зафіксаваў аднаўсе 36 000 сесій учорга тыячах інжынераў, і самэ рабочае дрэва стаўяцься ў тыяму, каб такая паралельнасць застаўалася безпечной. У загальнай бухгалтэрскай кнізе няма git worktree. Корпаратывныя агенты запішываюць даны у спільныя сістэмы зберагання, а два агенты, якія працуюць з адной ентытэю адночасова, ствараюць проблему цэліснасці даных, а не конфлікт злічэння.

Парадакранае — гэта другі этап, і ён ўскладнены. У кодзе запытанне «Чы гэта працавае?» апаводзяецца машынай за кальканы секунды. У корпаратыўным працэсе гэта ўзгляд, які часта не можа быць вядомым пакуль не паглядзіць чалавек, іноды толькі пасля заканчэння месяца, а інколі толькі пасля запытку ад рэгулятора. Claude Code оцінюе рэзультаты за дапамою аддзельнай модэлі, таму што сама оцэнка ёсць занадта ўжылкавай. Гэта правільны дызайн, а паza кодам гэта і частка, яку трэба стварыць з нуля.

Што паказваюць показнікі працы пра неудачы

Хутчэй тут доказы відмовляюцца быць анекдатычнымі.

Тэліметрыя Foundra, якая абарачвае 6,259 агентаў, якія былі выкорыстаны, і апошнія 4,5 мільйонаў запускаў, паказвае, што рэальны успех заданняя складае 56,6%, што прыблізна на 37 пунктав меней, чым стандартны показнік. Павтарэнне пагоршвае сітуацыю, а павтарэнне — гэта самэ тое, што робіць цыкл. У тэстах tau-bench агенты, якія пасягаюць 60% успеху ў аднай спробе, падыходзяць да прыблізна 25% успеху, калі ім трэба дасягнуць успеху восьмі разоў паспяльна.

Цыфры з аналізу таксонаміі падтрымліваюць гэтыя даныя: 46% прыкладоў концэпцый дасягаюць фазы практычнага выкорыстання, 14% распространяюцца ў всій арганізацыі, а прыблізна 5% пахаваюць значны ўплыв на прыбыць і збыт. Kartner прыпускае, што да канца 2027 года больш чым 40% праектаў з агентным ІІ будуць анульваны.

Сама атрыцыя не ўсё, што цікава. Цікава тое, дзе з’яўляюцца неудачы. Яны сабіраюцца ў месцах пераходу між крокамі, у некальканосных даных і у слепых пунктах монітарынгу, а не ў самых можымасцях мадэлі. Саме ў гэтых трох віддзелах компіляр мог бы выявіць проблему ў цікле програмавання, а ў корпаратыўных ціклах няма автаматычнага оценяльніка.

Ішчо адна цыфра падае з апытнага дзеяння LangChain са удзелам пада 1 300 спецыялістаў: 89% команд, якія выкорыстоўваюць агентаў, маюць можлівасці для абзірнасці, пры тым толькі 52% выконваюць оцэнкі паўнастаі, а 37% — онлайн. Практычна всі сочыць, але малая частка оцэнюе. Цікл, які стэжыцца, але не оцэнюецца, не практыкуеяцца. Ён вырабляе ўсё тое ж, што і раней, але шырэй і быстрэй, пры чым панелі керування паказваюць, што ён яшчэ працуе.

Што база коду дае ціклу без прычыны

Кожны, хто пераносіць цыкл з IDE у бізнес-працэс, должны врачуваць чатыры аспекты, якія git і кампайляр надаюць безкоштовна, а таксу кожнага з іх, калі праца не ў фармаце коду.

1. Арбітр. Тэсты і кампайляр праз колькісць секунд пасля кожнага запуску вяртаюць рэзультаты «працюе» або «не працюе», без жадных затрат. За межамі коду няма стандартнага арбітра. Ёго трэба стварыць, сформавўўшы набор дадзеных для ацэнкі, тое значыць, чалавек павінен вярнуцца да канстантных крытэрыяў «правільнасці» для колькісці сотняў рэальных кейсаў, перш чым цыкл можа працаваць без нагляду. Гэты элемент часта адхоўляецца, але самэ ён вялікія ўплыв на тое, чы робіць цыкл сваю справу.

2. Атрыман даўжэйшага стану. За дапамогай git revert анулюванне няправільнага дзеяння не каштуе нічога, і самэ гэта якостнае асоблівасць робіць автонамны кодавальны агента прыемным. Надаслены ліст пастане надасленым. То ж самае стосуецца паблікованага запісу ў журнале чы адправленага запіту. Калі за памылкі плаціцца, цікавае ўстановіць контрольную точку да дзеяння, а не яго вылечэнне пасля яго, і выбір месца для гэтай контрольной точкі ўжо ёсць архітэктурным рашэннем.

3. Ізоляцыя. Рабочая дрэва дазволяюць многім агентам працаваць у аднам рэпазітарыі без суперскуплення дзеянняў. Сістэмы зберагачаў дакументаў не маюць такога, таму ізоляцыю трэба рэалізаваць за дапамогай скапаваных лізынгаў, блокавання па ентытам чы за дапамогай проміжнага шару, дзе агент пішае прычыну перш чым ён дасягне рэальной сістэмы.

4. Паўтрактаванне. Кожна змена коду — гэта разлік з ім’ям автара і історыяй змян, якія можна пераглядзець чырвоць месяцаў пазней людзінай, якая тады не была прысутня. У корпаратыўных цыклах часта выконваюцца дзеянні праз спяльны акаунт службы, што зменшае весь след до фразы «гэта зрабіла інтэграцыя». З ухваленнем Закона ЕС пра ШЫ з 2 серпня 2026 года гэта ўжо не проста операцыйны прынуджэнне.

Можна назваць гэта проблемай безкоштовнага пераканальніка: эканаміка праектавання цыклаў залежыць ад чатырох субсідыяў, якія плаціць толькі кодавая база.

Тэст аб’екта

Першы крок выкананыя раней за будаванне любай архітэктуры.

Неабходна выявіць, што будзе паўтрактаваць завершэнне працы, і хто будзе плакаць за гэта. Калі на гэтыя пытанні нельга ўтварыць адпаведны адказ за адну фразу, то тое, што вы ствараеце, — гэта не цыкл. Гэта працэс, які працуе вечна пад апошнікам автаноміі.

Чалавек можа быць адказам. Тое, калі старшы спеціяліст па рэгулюванні прэтэнзій пераглядае прыклад з 30 кейсаў кожны тыдзень, лягае ў канцэнтрацыю валіднага адказу, і гэта мае відчутны косц. Тверджэнне, што агент сам сабе пераканаецца, не падпадае пад крэтынты. Лабораторыям вэлічына гэтага праблемы вядома, і самэ гэта адказвае на пытанне, чаму Claude Code выкарыстоўвае аддзельную модэль як інструмент ацэнкі.

Парадакт, які вытрымаецца

Для команд, якія ствараюць фрэймворкі агентав у вялікіх падпрыемствах, гэты парадакт зазвычай вытрымаецца пад час стыкання з рэальнасцю.

Выберыце рабочы план, які ў максымальнай меры набліжаецца да рэальнага выпалення. Перш чым дадаць які-небудзь прымітыв працы, запісайце адказ адказчыка на адной лініі. Калі для гэтага патрэбна больш за адна рэчы, рабочы план не готавы, і жадная оркестрацыя гэта не змяніць.

Далей установіце рэгламент ацэнкі ў співвядзеўнані з распадам 89/37. Калі у вас ёсць панелі керування, але няма онлайн-ацэнак, тады у вас ёсць толькі задача cron і рахунак за монітарынг, а не цыкл. Дадзіце аднаго оценяльніка да шляху выпуску аднаго рабочага працэсу і надаце яму права на блакаванне. Оценяльнік без такіх прав ёсць проста атласка.

На заканчанне трэба спрыятаць чатыро субсідыям як лініі бюджэту, а не як прыміткам да дызайну. Кожна з тых рэчаў, якія кодбаза давала безкоштовна, стае справжнім інжынерным рашэннем, калі праца ужо не ёсць кодам, і ігнараванне гэтага стварае большую частку разліку межа 46% праектаў, якія прайшлі ў працэс вырабоцтва, і 5% праектаў, якія паўтараюць эфекты P&L.

Цыкл — гэта не таму, дзе лежыць сложнасць. Сложнасць — гэта тое, што дазволяе заявіць, што праца завершана, хоць код ніколі не вымагаў яе стварэння.