Главная / Статьи

Принципы проектирования рабочих процессов агентов для инженерных команд в производственной среде

Принципы проектирования рабочих процессов агентов в производственной среде: контракты завершения, честное состояние, сводки утверждений, идемпотентные внешние действия, отслеживание и оценка.

Издатель: REACTAPP.TOP10 мин чтения2247 слов

Источники: What building agents taught me about production engineering

Внедрение агентов в реальные бизнес-процессы меняет вопросы, которые ставятся перед тем, как доверять автоматизации. Откуда взялись доказательства? Что системе разрешено изменять? Что произойдет, если процесс прервется на полпути? Эти вопросы имеют большее значение, чем выбор фреймворка, особенно когда такие задачи, связанные с выводом продукта на рынок, как исследование клиентов, рассылка электронных писем, создание контента и последующие действия, интегрируются с бизнес-системами. Приведенные ниже принципы основаны на подобной практике и предназначены для использования при следующей разработке.

Представьте себе обычную задачу: провести расследование по аккаунту, написать значимое сообщение и оставить его там, где человек сможет его просмотреть. Модель может помочь с расследованием и написанием текста. Всё, что связано с этим процессом, включая программное обеспечение, должно хранить доказательства, обрабатывать отзывы и нести ответственность за любые изменения, происходящие вне рамок рабочего процесса. Подготовка черновика может быть завершена задолго до получения разрешения от внешних сторон, поэтому доказательства, разрешение и результат требуют отдельной проверки.

Определите, что означает «завершено», прежде чем выбирать фреймворк

Разные рабочие процессы определяют процедуру завершения работы по-разному. Задание по работе с клиентом считается завершённым, когда документ сохранён вместе с исходными материалами, оценкой релевантности и примечанием о том, что всё ещё остаётся неясным. Процесс общения с контрагентом считается завершённым, когда почтовый провайдер получил именно тое сообщение, которое человек одобрил. Это разные этапы выполнения обязательств, и ни один из них не гарантирует, что получатель открыл письмо.

Как только это зафиксировано, ситуация с кодом меняется. В ходе исследований может законно не найтись достаточно доказательств. Проект может быть готов, пока его рассмотрение ещё не завершено. Действие, выполняемое сторонними лицами, может быть принято провайдером, но окончательная доставка всё ещё может оставаться незавершённой.

Пусть модель занимается тем, что требует интерпретации: выбором подходящего источника, выявлением релевантного контекста или объяснением рекомендации. Пусть код обеспечивает соблюдение правил, установленных явно: обязательные поля, разрешенные инструменты и лимиты выполнения. Схема может подтвердить наличие ссылки на источник, но необходима проверка доказательств, чтобы убедиться, что этот источник действительно подтверждает сделанное утверждение.

Именно здесь проявляется разница между рабочими процессами и агентами. Anthropic рассматривает рабочий процесс как заранее определенный путь, а агента — как среду, в которой модель осуществляет управление. Один продукт может сочетать оба подхода, поэтому настоящий вопрос заключается в том, где свобода становится дорогостоящей.

Заставьте состояние отражать то, что действительно произошло

Прежде чем рабочий процесс будет расширяться, необходимо тщательно продумать модель данных. Поле с названием status быстро становится неоднозначным, когда ему приходится описывать одновременно исследование, рассмотрение, выполнение и доставку. Разделение этих аспектов имеет практическую ценность. Если черновик сохраняется, но уведомление о рассмотрении не отправляется, следующий шаг может попытаться отправить уведомление заново, не создавая нового черновика, и любой, кто проверяет ход выполнения, сможет увидеть оба факта.

Для утверждения требуется такая же точность. В данной конфигурации оно связано с операцией, учётной записью, получателем и всем содержимым сообщения. Рабочий подход заключается в том, чтобы сделать носитель данных неизменяемым и получить его хэш-сумму из канонической версии. Перед отправкой исполнитель сравнивает то, что он собирается сделать, с тем, что было утверждено, проверяет срок действия и текущие права, а затем отправляет тот же сохранённый носитель данных. Хэш-сумма позволяет обнаружить любые изменения. Вопрос о том, кто может утверждать, регулируется механизмами контроля доступа.

Модель не должна иметь возможности одобрить себя сама путем возврата значения approved: true. Приложение регистрирует разрешение через надежный механизм проверки. Для некоторых задач с низким влиянием можно вместо этого использовать явную постоянную политику, причем в обоих случаях разрешения должны оставаться ограниченными по сфере применения и подлежащими проверке.

Один логический владелец на каждый запуск

Фреймворки вроде LangGraph помогают определять состояния и переходы, тогда как инструменты рабочих процессов, такие как n8n, обрабатывают триггеры, маршрутизацию и предсказуемое перемещение данных. Возникает другой вопрос, когда работа выходит за рамки временных ограничений: какой компонент несет ответственность за запуск?

В данной архитектуре один логический владелец отвечает за планирование, идентификацию выполнения задачи и управление её состоянием. Делегированному компоненту выполнения передаётся ограниченная по объёму задача, и он возвращает структурированный результат, который владелец проверяет перед тем, как продолжить работу над рабочим процессом. Это шаблон приложения, не содержащий информации о том, как конкретные инструменты могут интегрироваться друг с другом.

В кратком описании аккаунта делегирование может включать указание названия аккаунта, разрешённых источников, прав доступа к инструментам, схемы вывода данных, а также лимита по времени или стоимости. Результат должен позволять отличить завершённое описание от случаев недостаточности данных, сбоев инструмента или достижения лимита выполнений, чтобы родительский рабочий процесс мог соответствующим образом реагировать на каждую ситуацию, не рассматривая заключительный абзац ответа модели как сигнал управления.

Окружающее программное обеспечение представляет собой среду управления агентами: код, который обеспечивает контекст, предоставляет инструменты, контролирует выполнение и отслеживает прогресс. Работа Anthropic над агентами, работающими в течение длительного времени, служит примером того, как четкие записи прогресса помогают последующим сессиям продолжить незавершенную работу. Выбор тех записей, которые следует сохранять, зависит от задачи.

Для бизнес-работопроцессов необходима постоянная запись, хранящаяся вне чата модели. В документации LangGraph проводится различие между состоянием потока в формате чекпоинтов и данными, сохраняемыми между потоками, при этом указывается, что чекпоинты, хранящиеся только в памяти, теряются при перезапуске. Выбор хранилища — это вопрос операционной работы. Контекст — подходящее место для хранения предпочтений по стилю, а система разрешений — для текущих авторизаций. Загруженная страница или повторно используемый инструмент могут служить информацией для выполнения задачи, но никогда не должны расширять возможности самой задачи. Несколько рабочих процессов могут обслуживать одного логического владельца, при условии, что механизмы координации предотвращают конфликтующие переходы состояний.

Предоставьте каждому шагу собственный контекст

Для исследований необходим доступ к источникам информации и возможность записывать сомнения. Для написания текста требуются утвержденное описание задачи, примеры эффективных сообщений и внутренние правила. Когда каждому шагу предоставляется соответствующий контекст, его поведение становится проще для оценки. Разные роли могут быть настроены в рамках одной среды выполнения и не обязательно подразумевают наличие дополнительных агентов или инфраструктуры.

Навык представляет собой набор процедур, которые необходимо повторять: источники для проверки, формат вывода, способы его подтверждения. Контроль за выполнением этих процедур по-прежнему осуществляется средой выполнения через доступ к инструментам и ограничения на ресурсы. Просьба к сотруднику в файле навыка не отправлять данные является лишь советом, тогда как исключение возможности отправки из его полномочий представляет собой реальное ограничение.

Наборы навыков и настроек также требуют периодического пересмотра. Два разумных указания могут вступить в конфликт при одновременном применении. После выполнения задачи агент может предложить обновление памяти, но его самооценка не доказывает улучшения. Любая корректировка должна указывать источник, соответствующий диапазон действия и результаты оценки перед тем, как изменить поведение, которым пользуются другие.

Рассматривайте внешние действия как собственную проблему выполнения

Точно описывайте эффекты инструментов. Создание локального файла, подготовка черновика у поставщика и отправка сообщения — это три отдельные операции, каждая из которых требует своих прав. Адаптеры должны преобразовывать ответы поставщика в четко определенные статусы, а тесты интеграции должны проверять результативное состояние поставщика.

Для операций записи с серьезными последствиями следует использовать сервис выполнения, который проверяет авторизацию в последний момент перед отправкой. Для этого необходимы подтверждающие данные и сетевые пути, поскольку проверка в одном вспомогательном инструменте мало чем поможет, если другой скрипт сможет получить доступ к провайдеру с теми же учетными данными.

Восстановление становится наиболее сложным, когда ответ не поступает. Представьте, что сервис-провайдер получил сообщение, но соединение прервалось до того, как обработчик смог сохранить результат. Обработчик понимает, что пытался выполнить действие, но не может сказать, приведёт ли повторная попытка к дублированию операции. Для действий в ходе нескольких попыток следует использовать один идентификатор, а каждой попытке — свой собственный. Если провайдер поддерживает идемпотентность, он опирается на стабильный ключ для каждой запланированной операции, причём гарантия обеспечивается условиями контракта с этим провайдером. В документации Stripe, например, описано, как сравниваются параметры и как долго существуют ключи; повторное использование ключа после истечения срока его действия может привести к формированию нового запроса.

Если существует надежный способ проверки статуса, используйте его. Если поставщик гарантирует безопасное повторное выполнение операции с теми же параметрами ключа и данных, попытка повтора может решить проблему. Если оба метода не сработали, зарегистрируйте результат как неизвестный и урегулируйте ситуацию или обратитесь к человеку. Отсутствие результатов при поиске не является доказательством того, что операция никогда не выполнялась, особенно если данные поставщика могут задерживаться. В описании AWS по вопросам безопасных попыток повтора приводятся аргументы в пользу включения информации об идентификаторе запроса в контракт API, чтобы трекинг клиентом и поведение поставщика совпадали.

Хранилище транзакционных запросов предотвращает исчезновение подтверждённых действий между записью в базу данных и их отправкой, но оно само по себе не может помешать поставщику обработать повторный запрос. Точка контроля также позволяет возобновить локальную работу, однако не может решить проблему неизвестного внешнего результата. После неоднозначного истечения времени ожидания доказательством может служить поддерживаемый поиск, событие или задокументированная идемпотентная перепроцессация. Локально сгенерированный идентификатор действия не делает API идемпотентным.

Измерение на границах

Вызовы инструментов — хороший способ наблюдения за поведением агента. Трейс должен связывать запуск, версию артефакта, решение по авторизации и каждую внешнюю попытку. Собирайте аргументы и результаты инструментов избирательно, с использованием маскировки и механизмов контроля доступа, поскольку хранение всех необработанных данных само по себе создаёт проблемы.

Отчет должен отвечать на практические вопросы. Были ли результаты исследования пригодны к использованию? Привела ли проверка к отклонению проекта? Ожидает ли задание рецензента или сбой произошел при уведомлении? Было ли действие принято, отклонено или оставлено без решения?

Эти различия также способствуют улучшению оценки. Для процесса работы с учетными записями начните с обычных примеров плюс небольшого набора сложных случаев:

  • Источники противоречат друг другу, и в отчете необходимо сохранить это противоречие.
  • Сообщение редактируется после одобрения, что означает, что для его выполнения требуется новое разрешение.
  • Одна и та же задача поступает дважды, и нельзя создавать два отдельных логических действия.
  • Провайдер выполняет действие, но затем связь прерывается, поэтому механизм восстановления должен соблюдать то, что провайдер действительно гарантирует при повторных попытках.

Зарезервируйте детерминистические проверки для таких аспектов, как корректность схем и соответствие утверждениям. Для оценки релевантности и степени подтверждения утверждения доказательствами используйте четко определенную шкалу оценки и проанализированные примеры. Оценка с помощью модели может быть полезна, при условии что вы проверяете, насколько точно она соответствует человеческому суждению. Рекомендации Anthropic по оценке разделяют зафиксированные действия агента и конечное состояние среды и предлагают повторять попытки, поскольку агенты могут вести себя по-разному каждый раз. Эти подходы подходят для тестирования всего рабочего процесса.

Для рабочего процесса разработки следите за тем, как часто черновики принимаются без изменений, сколько времени тратят рецензенты, и за общей стоимостью выполнения за каждый принятый результат, включая стоимость неудачных попыток. Важна также степень охвата: сколько подходящих запросов принесли полезные результаты. Если ее игнорировать, система может казаться более стабильной просто за счет отказа от сложных задач.

Выпускайте поведение как единый блок

Редактирование промпта может изменить поведение системы при сохранении неизменности образа контейнера, поэтому для выпуска необходим манифест, связывающий версию кода с рабочим процессом, промптами, схемами, адаптерами инструментов, настройками модели и политикой разрешений. Каждая запускная операция фиксирует версию выпуска, в рамках которой она происходила. Это облегчает последующее расследование, хотя точное воспроизведение ситуации не гарантируется, поскольку модели могут меняться, поставщики — изменяться, а исходные данные — исчезать. Сохранение соответствующих версий входных данных или разрешенных снимков помогает позже объяснить полученные результаты.

Задачи, выполняющиеся в течение длительного времени, создают ещё одну проблему: старый чекпоинт может не соответствовать более новой схеме состояния. При развертывании необходимо явно решить, следует ли завершить эти запуски на старой версии, мигрировать их или остановить для дальнейшего анализа. Откат только образа рабочего процесса может не восстановить совместимое поведение.

Процесс выполнения задач возобновляется в ключевых моментах: сразу после сохранения объекта, пока ожидается проверка, а также до и после его отправки. Если работников несколько, база данных может отклонять устаревшие записи с помощью условных обновлений или механизмов блокировки. Предотвращение дубликатов вне системы по-прежнему зависит от способа её работы и условий контракта с поставщиком.

Первая реализация может быть простой: достаточно сервиса, надежной базы данных и фонового процесса. Для более крупных кластеров необходимы отдельные учетные данные, ограничение количества попыток и механизм блокировки новых внешних записей. Kubernetes становится целесообразным, когда его функции планирования или управления удовлетворяют выявленные потребности.

Сосредоточьтесь на одном рабочем процессе, пока не освоите его полностью

Продукты вроде Agent постоянно меняют то, что легко создавать, и их изучение того стоит. Тем не менее целесообразно сохранять достаточную стабильность, чтобы понимать ход выполнения работы. При составлении краткого описания задачи или сортировке сообщений в почтовом ящике необходимо сохранять неизменными параметры входных данных, полезных результатов и критерии оценки на протяжении всего процесса улучшения реализации. Затем новую модель или среду выполнения можно оценивать по аналогичным примерам, требованиям к правам доступа и процедурам восстановления работы.

Использование другого инструмента превращается в конкретный вопрос: может ли он более четко отразить процесс передачи задач, сократить усилия проверяющего или восстановить прерванную работу с меньшим количеством ручных действий, и оправдывает ли это необходимость миграции и последующего обслуживания? Именно такой вывод следует учитывать: определите, где логика оправдывает затраты, четко обозначьте полномочия и сохраняйте достаточно доказательств, чтобы понимать, что происходило после того, как модель перестала функционировать.

Связанные материалы

  • Прекратите выполнять желания ИИ-агентов: процесс разработки, ориентированный на спецификации, для небольших команд — Как небольшая команда выпускает продукт с использованием ИИ-агентов: написание спецификаций, взаимная проверка двумя семействами моделей, тестирование во время работы, слияние результатов вручную и оркестратор, который запоминает информацию.
  • Инжиниринг контекста для многоподразделенных систем: почему происходят сбои при передаче данных между шагами — Агенты редко терпят неудачу внутри одного шага. Они терпят неудачу между шагами, когда поступает неверный контекст. Как проектировать состояние, маршрутизацию и качество контекста в LangGraph.
  • Что изменилось в API OpenAI Agents для создания агентов с длительной работой — Узнайте, как управляемый механизм агентов обрабатывает песочницы, сжатие контекста, поиск инструментов, субагентов и MCP, и какое это влияние на безопасность, отладку и проектирование.