Проблема безкоштовного верифікатора: чому цикли агентів зупиняються, коли робота вже не є кодом.
Цикли агента кодування працюють тому, що компілятори та тести перевіряють їх безкоштовно. Поза кодом немає безкоштовного верифікатора: чотири субсидії, дані про невдачі та тест оракула.
Джерела: Loop Engineering for Enterprise Agents: The Free Verifier Problem
Багато постачальників зараз пропонують інженерію циклів як наступний етап після інженерії запитів, і демонстрації справжні. Замість того, щоб вручну формулювати запити для кодувального агента, ви створюєте навколо нього цикл. Він запускається за графіком, працює на ізольованій гілці, оцінюється іншим агентом та записує свій стан у файл, щоб кожен запуск продовжувався з попереднього стану. Борис Черний, який керує проектом Claude Code в Anthropic, каже, що його робота полягає у написанні таких циклів. Адді Османі з Google дав цьому патерну назву, і тепер як Claude Code, так і OpenAI Codex пропонують ті самі шість примітивів як вбудовані функції.
Цей підхід ефективний, і є причина, про яку ті, хто його продає, рідко говорять вголос. Ця причина не поширюється на інші види роботи.
Цикли в коду функціонують тому, що сама база коду містить власний верифікатор. Компілятор, перевірювач типів та набір тестів миттєво оцінюють кожну спробу майже безкоштовно. Розділення на творця та перевірювача, яке часто вважається механізмом довіри у розробці циклів, коштує дуже мало у програмному забезпеченні, адже половина цього вже існувала у репозиторії ще до появи будь-якого агента.
Якщо перенести той самий цикл у процес обробки заявок, схвалення закупівель чи виправлення проблем клієнтів, жоден верифікатор не буде присутній. Його доводиться створювати самостійно, і майже ніхто не включає це до бюджету. Це найкращий показник того, чи програма-агент застрягне на початковій стадії.
Чому код є простим, а все інше — ні
Серед шести примітивів циклів не всі функціонують однаково добре. Заплановані виконання, з’єднувачі, навички та пам’ять легко переносяться в інші сфери майже без перешкод. Два з них — ні.
Ізоляція є пріоритетом. Робочі дерева git для кожної сесії дозволяють Spotify запускати десятки сеансів агентів паралельно над одним кодовим базисом, без ризику їх взаємного пошкодження. Їхня внутрішня середовище розробки з використанням агентів — Xirp — зафіксувало понад 36 000 сеансів серед тисяч інженерів, і саме робоче дерево забезпечує безпеку такої конкурентності. Загальний бухгалтерський облік не має git worktree. Корпоративні агенти записують дані у спільні системи зберігання, а два агенти, які працюють над одним об’єктом одночасно, створюють проблему цілісності даних, а не конфлікт злиття.
Перевірка — це другий етап, і він є найдорожчим. У коді запитання «Чи це спрацювало?» отримує відповідь від машини протягом кількох секунд. У корпоративному робочому процесі це судження, яке часто не можна зробити, доки хтось не перевірить, іноді — не до закінчення місяця, а інколи — лише тоді, коли це запитає регулятор. Claude Code оцінює результати за допомогою окремої моделі, оскільки самооцінка є занадто лояльною. Це правильний підхід, а поза кодом це та частина, яку потрібно створювати з нуля.
Що говорять показники продакшну про збої
Тут докази вже не є анекдотичними.
Дані телеметрії Foundra, які охоплюють 6 259 розгорнутих агентів та близько 4,5 мільйонів виконань, показують, що рівень успішності завдань у реальних умовах становить 56,6%, що приблизно на 37 пунктів нижче за базові показники продуктивності. Повторення погіршує ситуацію, а саме повторення і є суттю циклу. У тесті tau-bench агенти, які досягають рівня 60% при одній спробі, опускаються до приблизно 25%, коли їм потрібно досягти успіху вісім разів поспіль.
Дані функції «лійки» підтверджують це: 46% концепцій досягають стадії впровадження, 14% поширюються по всій організації, а близько 5% дають вимірюваний ефект у вигляді прибутку чи збитків. Gartner прогнозує, що до кінця 2027 року понад 40% проєктів з використанням агентних систем ШІ будуть скасовані.
Сам процес зношення не є найцікавішою частиною. Цікаво те, де виникають збої. Вони накопичуються у «швах»: під час передачі даних між етапами, через неорганізовані вхідні дані та сліпі зони у моніторингу, а не через обмеження самої моделі. Саме в цих трьох місцях компілятор виявив би проблему під час виконання коду, проте у корпоративних циклах немає автоматичного оцінювача.
Ще один показник походить з опитування LangChain серед понад 1 300 фахівців: 89% команд, які використовують агентів, мають можливості для спостереження, проте лише 52% проводять офлайн-оцінки, а 37% — онлайн-оцінки. Майже всі спостерігають, але дуже мало хто оцінює. Цикл, який спостерігають, але не оцінюють, не виправляє себе. Він продовжує створювати те саме, що й раніше, тільки швидше, при цьому панель керування підтверджує, що він все ще працює.
Що безкоштовно надає кодова база циклу
Будь-хто, хто переміщує цикл з IDE у бізнес-процес, повинен врахувати чотири аспекти, які git та компілятор надають безкоштовно, а також вартість кожного з них, коли робота не є кодом.
1. Оракул. Тести та компілятор повертають результат «пройшло» чи «не пройшло» після кожної роботи протягом кількох секунд безкоштовно. Поза межами коду немає стандартного оракула. Щоб його отримати, потрібно створити набір для оцінки з позначками, що означає необхідність того, щоб хтось визначив, що означає «правильно», для кількох сотень реальних випадків, перш ніж цикл може працювати без нагляду. Цей елемент часто скорочують, а саме він визначає, чи буде цикл функціонувати належним чином.
2. Відкат. За допомогою git revert скасування помилкової дії не коштує нічого, і саме ця властивість робить автономного кодувального агента прийнятним. Надісланий електронний лист залишається надісланим. Те саме стосується опублікованої запису в щоденнику чи поданої заяви. Коли помилки мають наслідки, циклу потрібна контрольна точка перед виконанням дії, а не її виправлення після неї, і вирішення питання про те, де розташувати цю контрольну точку, є архітектурним рішенням.
3. Ізоляція. Робоча структура дозволяє багатьом агентам працювати в одному репозиторії без конфліктів. Системи запису не мають такої можливості, тому ізоляцію потрібно досягати за допомогою обмежених ліцензій, блокування за окремими об’єктами чи проміжного рівня, де агент записує дані перед тим, як вони потраплять у справжню систему.
4. Походження. Кожна зміна коду — це запис про відмінності з ім’ям автора та історією змін, яку можна переглянути через кілька місяців людиною, яка не була присутня під час роботи. У корпоративних циклах часто використовується спільний обліковий запис, що зводить весь слід до формулювання „це зробила інтеграція“. З моменту набрання чинності Закону ЄС про ШІ з 2 серпня 2026 року це вже не просто операційна проблема.
Це можна назвати проблемою безкоштовного верифікатора: економіка проектування циклів залежить від чотирьох субсидій, які оплачує лише кодова база.
Тест оракула
Перш ніж починати роботу над архітектурою, потрібно визначити, що буде свідчити про завершення роботи та хто буде нести за це витрати. Якщо на обидві запитання неможливо відповісти одним реченням, те, що ви створюєте, — це не цикл. Це процес, який триває вічно під маркою автономії.
Відповіддю може бути людина. Те, що старший спеціаліст з розгляду претензій щотижня переглядає вибірку з 30 випадків, вважається достовірним джерелом інформації, і це має певну ціну. Твердження про те, що агент сам себе перевіряє, не є достатнім. Лабораторії вже стикалися з цим, що пояснює, чому Claude Code використовує окрему модель для оцінки.
Послідовність, яка витримує випробування часом
Для команд, які створюють фреймворки агентів у великих компаніях, ця послідовність зазвичай виживає під впливом реальних умов.
Виберіть робочий процес, який найбільше наближений до фінальної версії. Перш ніж додавати будь-які елементи циклу, запишіть відповідь джерела інформації в один рядок. Якщо для цього потрібно більше одного речення, робочий процес ще не готовий, і жодна оркестрація це не змінить.
Далі встановіть рівень охоплення оцінкою відповідно до співвідношення 89/37. Якщо у вас є панелі керування, але немає онлайн-оцінок, у вас є лише завдання cron та рахунок за моніторинг, а не цикл. Додайте одного оцінювача до шляху розгортання одного робочого процесу та надайте йому право блокувати. Оцінювач без цього права є лише звітом.
Нарешті, розглядайте чотири субсидії як статтю бюджету, а не як примітку до дизайну. Кожен з елементів, які кодова база надає безкоштовно, стає справжньою інженерною роботою, коли це вже не просто код, і ігнорування цього пояснює більшу частину різниці між 46% проектів, які потрапляють у продакшн, та 5%, які мають вплив на прибуток та збитки.
Проблема не в циклі. Проблема полягає у тому, хто може оголосити роботу завершеною, хоча код ніколи не змушував вас її виконувати.