Главная / Статьи

Проблема бесплатного верификатора: почему циклы агентов застаиваются, когда работа уже не является кодом

Циклы агента кодирования работают благодаря тому, что компиляторы и тесты выполняют проверку бесплатно. Вне кода нет бесплатного верификатора: нужны четыре вида субсидий, данные о сбоях и тест оракула.

Издатель: REACTAPP.TOP6 мин чтения1331 слов

Источники: Loop Engineering for Enterprise Agents: The Free Verifier Problem

В настоящее время многие поставщики представляют инженерию циклов как что-то, что приходит после инженерии промптов, и демонстрации действительно существуют. Вместо того чтобы вручную задавать команды кодирующему агенту, вы создаёте вокруг него цикл. Он запускается по расписанию, работает на изолированной ветке, оценивается вторым агентом и записывает своё состояние в файл, чтобы каждый запуск продолжался с момента предыдущего. Борис Черный, руководитель проекта Claude Code в Anthropic, сказал, что его работа заключается в написании таких циклов. Адди Османи из Google дал этой концепции название, и теперь как Claude Code, так и OpenAI Codex предлагают шесть базовых элементов в качестве встроенных функций.

Этот подход действительно работает, и есть на то причина, которую его продавцы редко озвучивают. Однако эта причина не применима к другим видам работы.

Циклы в коде работают благодаря тому, что сами исходники содержат встроенный инструмент проверки. Компилятор, проверщик типов и набор тестов мгновенно оценивают каждую попытку выполнения практически без затрат. Разделение на создателя и проверщика, которое часто считается механизмом доверия в проектировании циклов, стоит совсем недорого в программном обеспечении, поскольку половина необходимых компонентов уже находилась в репозитории до появления любого агента.

Если перенести тот же цикл в процесс обработки заявок, процедуру утверждения закупок или меры по устранению проблем у клиента, никакой проверщик не появится. Его придется создавать самостоятельно, и почти никто не включает такие расходы в бюджет. Это лучший показатель того, застрянет ли программа-агент на этапе пилотирования.

Почему код прост в использовании, а всё остальное — нет

Из шести примитивов циклов не все одинаково хорошо подходят для разных задач. Запланированные выполнения, соединители, навыки и память легко адаптируются к другим областям с минимальными трудностями. Два других примитива — нет.

Изоляция — это приоритет номер один. Благодаря рабочим деревьям git в рамках сессии Spotify может одновременно запускать десятки агентских сессий над одним и тем же кодовым базисом, при этом агенты не могут повредить друг друга. Его внутренняя среда разработки с использованием агентов Xirp зафиксировала более 36 000 сессий с участием тысяч инженеров, и именно рабочие деревья обеспечивают безопасность такой одновременной работы. У общей бухгалтерской книги нет git worktree. Корпоративные агенты записывают данные в общедоступные системы хранения, и когда два агента одновременно работают с одним объектом, это является нарушением целостности данных, а не конфликтом слияния.

Проверка — это второй этап, и он самый дорогостоящий. В коде вопрос «работает ли это» получает ответ от машины за секунды. В корпоративном рабочем процессе это суждение часто невозможно сделать до тех пор, пока кто-то не проверит, иногда — до закрытия месяца, а порой — только тогда, когда об этом спросит регулятор. Claude Code оценивает результаты с помощью отдельной модели, поскольку самостоятельная оценка слишком снисходительна. Это правильный подход, а вне контекста кода это та часть, которую приходится создавать с нуля.

Что говорят показатели производства о сбоях

Здесь доказательства уже не являются анекдотическими.

Данные телеметрии Foundra, охватывающие 6 259 развернутых агентов и примерно 4,5 миллиона запусков, показывают, что уровень успешного выполнения задач в реальных условиях составляет 56,6%, что примерно на 37 пунктов ниже эталонных показателей. Повторные попытки ухудшают ситуацию, а именно это и делает цикл. В тесте tau-bench агенты, показывающие результат около 60% при одной попытке, снижают свои показатели до примерно 25%, когда им необходимо добиться успеха восемь раз подряд.

Цифры из анализа соответствуют этим данным: 46% концепций демонстрируют потенциал для внедрения в производство, 14% находят применение во всей организации, а примерно 5% оказывают заметное влияние на прибыль и убытки. Gartner прогнозирует, что к концу 2027 года более 40% проектов в области ИИ с использованием агентов будет отменено.

Сам процесс износа не является самым интересным аспектом. Интересно то, где происходят сбои. Они скапливаются в «швах»: при передаче данных между этапами, из-за неструктурированных входных данных и слепых зон в мониторинге, а не из-за ограничений самих моделей. Именно в этих трех областях компилятор выявил бы проблему в цикле программирования, но в корпоративных циклах нет автоматической системы оценки.

Ещё один показатель получен в результате опроса LangChain среди более чем 1 300 специалистов: 89% команд, использующих агентов, обеспечивают возможность наблюдения за их работой, однако только 52% проводят оценку в автономном режиме, а 37% — в онлайн-режиме. Почти все наблюдают за процессом, но лишь немногие его оценивают. Цикл, за который наблюдают, но который не оценивается, не может самостоятельно исправиться. Он продолжает генерировать то же самое, только быстрее, при этом панель управления подтверждает, что он всё ещё работает.

Что библиотека кода бесплатно предоставляет циклу

Любой, кто перемещает цикл из среды разработки в бизнес-процесс, должен учитывать четыре аспекта, которые git и компилятор предоставляют бесплатно, а также стоимость каждого из них, когда речь идет не о коде.

1. Оракул. Тесты и компилятор сообщают о результатах «успешно» или «неудачно» при каждой запуске в течение нескольких секунд без какой-либо оплаты. Вне контекста кода не существует стандартного оракула. Чтобы иметь его, необходимо создать специальный набор данных для оценки, что подразумевает необходимость определения того, что считается «правильным», на основе нескольких сотен реальных случаев, прежде чем цикл сможет работать автономно. Эта статья расходов часто сокращают, но именно она определяет, будет ли цикл функционировать корректно.

2. Возврат к предыдущему состоянию. С помощью команды git revert отмена неправильной операции не требует затрат, и именно это свойство делает автономного кодинг-агента приемлемым. Отправленное письмо остается отправленным, как и опубликованная запись в журнале или поданная заявка. Когда за ошибки приходится платить, циклу необходим контрольный пункт перед выполнением действия, а не его исправление после него, причем определение местоположения этого контрольного пункта является архитектурным решением.

3. Изоляция. Рабочая ветвь позволяет нескольким агентам работать в одном репозитории без конфликтов. В системах хранения данных чего-то подобного нет, поэтому изоляция должна обеспечиваться с помощью ограниченных лицензий, блокировки по отдельным объектам или промежуточного уровня, на котором агент вносит изменения до того, как они попадут в реальную систему.

4. Происхождение изменений. Каждое изменение кода представляет собой отчет о различиях с указанием автора и истории изменений, который может быть проверен спустя месяцы человеком, не участвовавшим в работе. В корпоративных циклах часто используется общий учетный аккаунт, из-за чего вся информация сводится к фразе «это сделала система интеграции». С вступлением в силу закона ЕС об ИИ с 2 августа 2026 года это уже не просто операционная проблема.

Это можно назвать проблемой бесплатного верификатора: экономика проектирования таких циклов зависит от четырех факторов, которые оплачивает только кодовая база.

Тест оракула

Перед любой работой над архитектурой необходимо сделать один шаг.

Необходимо определить, что будет свидетельствовать о завершении работы, и кто будет нести за это расходы. Если на оба вопроса невозможно ответить одним предложением, то то, что вы создаете, — это не цикл. Это процесс, который работает бесконечно под маской автономности.

Ответом может быть человек. Проверка выборки из 30 случаев старшим специалистом по рассмотрению претензий каждую неделю считается надежным источником информации, и за это есть определенная цена. Утверждение о том, что агент сам себя проверяет, не является достаточным критерием. Лаборатории уже сталкивались с этой проблемой, и именно поэтому Claude Code использует отдельную модель в качестве оценщика.

Последовательность, выдерживающая испытание временем

Для команд, разрабатывающих фреймворки агентов в крупных предприятиях, такой порядок действий, как правило, выдерживает проверку реальными условиями.

Выберите рабочий процесс, ближайший к финальной стадии реализации. Прежде чем добавлять любые элементы циклической структуры, запишите ответ от источника информации в одну строку. Если для этого требуется более одного предложения, рабочий процесс еще не готов, и никакая оркестрация этого не изменит.

Далее установите показатель охвата оценки с учётом соотношения 89/37. Если у вас есть панели управления, но нет онлайн-оценок, у вас есть лишь задача cron и счёт за мониторинг, а не цикл. Добавьте одного оценщика в путь выпуска одного рабочего процесса и предоставьте ему право блокировки. Оценщик без таких полномочий — это просто отчёт.

Наконец, рассматривайте четыре вида субсидий как статью бюджета, а не как примечание к дизайну. Каждый из элементов, предоставленных кодовой базой бесплатно, превращается в настоящую инженерную работу, когда речь идёт не о коде, и игнорирование этого объясняет большую часть разницы между 46% проектов, попадающих в производство, и 5% проектов, оказывающих влияние на прибыль и убытки.

Проблема не в самом цикле. Проблема заключается в том, кто будет объявлять работу завершённой, хотя код никогда не заставлял вас её выполнять.