Главная / Статьи

Почему именно система управления агентами, а не модель, определяет, что становится реальностью.

Обновление CRM с таймером отсрочки показывает, почему агентам необходимы контракты на инструменты, состояния с неизвестным результатом, идемпотентные попытки и подтверждение завершения, а также механизмы контроля, которые стоит сохранить.

Издатель: REACTAPP.TOP6 мин чтения1450 слов

Источники: The Model Is Not the Agent. The Harness Is the Product.

Предположим, агенту необходимо изменить контакт для доставки в учётной записи клиента. Он находит соответствующую запись, готовит изменения и обращается в CRM. Затем звонок теряет связь. Возможно, изменения не были сохранены. Возможно, они были сохранены, но ответ так и не поступил. Возможно, CRM всё ещё обрабатывает запрос.

Уверенный ответ «Готово» ничего не решает, так же как повторный звонок без понимания того, что произошло в первый раз. Это вымышленная ситуация, но она выявляет реальную проблему в дизайне. Запрос на действие и подтверждение его результата — это разные этапы. Модель может безупречно выполнять запрос, в то время как продукт продолжает терять связь с реальностью, и именно за это отвечает механизм координации.

Что такое механизм координации

В данном случае «оболочка» представляет собой механизм, объединяющий во время выполнения вызовы моделей, контекст, инструменты, правила выполнения и отслеживание прогресса. Она может состоять из нескольких компонентов, и для её создания не обязательно писать собственную фреймворк-систему. Контроль доступа осуществляется сервисами идентификации, стабильные записи хранятся в базах данных, а бизнес-правила — во внешних системах. «Оболочка» связывает все эти элементы и координирует их деятельность.

Краткая формула описывает её функцию: модель предлагает решения, а «оболочка» определяет, что становится реальностью.

Модели могут планировать, анализировать данные и определять, завершено ли выполнение задачи; суть не в том, что программное обеспечение выполняет мыслительные процессы за пассивную модель. Суть заключается в том, что система должна соблюдать установленные ею ограничения даже в случае ошибочных выводов модели.

Описание цикла работы агента Codex от OpenAI показывает его механику: подготовка входных данных, запрос к модели, запуск необходимых инструментов, передача полученных результатов обратно и продолжение процесса до тех пор, пока модель не выдаст сообщение. Это последнее сообщение завершает один тур. Однако оно само по себе ничего не доказывает относительно того, изменилась ли запись клиента.

Это не делает данное решение полным продуктом. Качество модели, пользовательский опыт, экспертиза в конкретной области и возможности интеграции по-прежнему имеют большое значение. Для выполнения простой задачи по написанию текста достаточно одного вызова модели. Для редактирования записи в CRM также требуется разрешение на действие и подтверждение от системы о том, что произошли изменения.

Инструменты как контракты

Инструмент под названием «обновление информации клиента» недостаточно проработан. В нем не указано, какой именно клиент и какой аккаунт, что может измениться, и что произойдёт, если коллега отредактирует запись после того, как агент её прочитал. Советы Anthropic по созданию инструментов предусматривают чёткое определение целей, наличие полезных значений возврата и тестирование на реалистичных задачах. Описания помогают сделать выбор модели, в то время как код, лежащий в их основе, должен обеспечивать соблюдение правил.

В примере с контактом для доставки контракт может включать:

  • Кто: идентификатор решённого клиента в рамках аккаунта, к которому агенту разрешено обращаться.
  • Что: только те поля контакта для доставки, которые указаны в запросе.
  • Защита: версия записи, которую агент видел в последний раз, если система её отображает.
  • Идентификатор: стабильный идентификатор запроса, при условии что сервис может использовать его для удаления дубликатов.
  • Ответ: структурированный статус, подтверждающие доказательства и ошибки, на основе которых человек или программа может принять меры.
  • Это предлагаемые варианты, и не каждая система CRM их предоставляет.

    Границы имеют большее значение, чем утешительные формулировки. Предупреждающая строка с указанием «обновлять только авторизованных клиентов» является советом. Сама служба должна проверять истинную идентичность, аккаунт, целевые данные и разрешенные поля. Для операций чтения также необходимо определение объема: загрузка всей базы данных клиентов не является безвредной только потому, что ничего не было изменено. В статье Anthropic о контроле над моделью Claude предлагается использование многоуровневых механизмов контроля для самой модели, среды выполнения и внешнего контента.

    В такой конструкции запросы, выходящие за рамки разрешенного, отклоняются до любых операций записи. Конфликт версий превращается в решение относительно измененных данных, а не в разрешение на перезапись.

    Когда результат неизвестен

    После истечения времени ожидания система должна зафиксировать неизвестный результат. Это не является ни успехом, ни неизбежной неудачей. Неизвестное состояние считается допустимым в процессе выполнения, но это не даёт права пытаться снова.

    Восстановление становится проще, когда три вида состояний сохраняются раздельно:

    1. Рабочий контекст: информация, необходимая модели для принятия следующего решения.
    2. Запись выполнения: что планировалось, что было выполнено, кто дал разрешение и что остаётся нерешённым.
    3. Внешнее бизнес-состояние: данные, хранящиеся в CRM в настоящее время.

    Краткое содержание чата может помочь снова запустить модель, но оно не должно быть единственной памятью о важной операции. У чекпоинтов тоже есть ограничения, поскольку в реальном мире всё продолжает меняться после их сохранения, и кто-то мог за это время изменить контакт. Дизайн управляемых агентов от Anthropic показывает, почему сроки их существования должны быть разными: журнал сессий, инструменты управления и среда выполнения существуют отдельно, так что новые инструменты могут продолжить работу на основе сохранённых событий. В более мелких приложениях такое разделение может сохраняться в рамках одного сервиса. Главное — возможность восстановления, а не воспроизведение распределённой структуры.

    Для примера с контактом запишите желаемую операцию перед её отправкой. После истечения времени ожидания запросите у сервиса статус операции или ищите другие надёжные доказательства. Если при повторном запросе отобразится новый контакт, это покажет его текущее состояние. Однако это не обязательно указывает, какой именно запрос его создал. Все сообщаемые данные должны соответствовать тем доказательствам, которые имеются.

    Повторные попытки должны быть идемпотентными

    Фраза «попробовать три раза» указывает на продолжительность попыток, но не говорит о том, безопасна ли ещё одна попытка. В руководстве AWS Builders' Library описывается более строгий подход в рамках рекомендаций по идемпотентным API: вызывающий пользователь предоставляет идентификатор запроса, сервис распознаёт повторную попытку и записывает дубликат вместе с изменениями.

    Локальный идентификатор не может однократно выполнить внешнюю запись. Сервис должен соблюдать условия контракта, включая правила параметров и сроки хранения данных. В случае CRM правило восстановления имеет три варианта:

    • Если авторитетные доказательства подтверждают завершение операции, проверяются необходимые условия после выполнения и операция завершается.
    • Если контракт сервиса позволяет безопасное повторение, запрос отправляется заново с использованием того же идентификатора операции и идентичных параметров, при соблюдении установленных ограничений.
    • Если результат остается неоднозначным и повторение небезопасно, процесс приостанавливается и запрашивается помощь.

    Создание нового идентификатора запроса только для повторения неопределенной операции противоречит цели. Когда у CRM нет возможности отчитываться о статусе операций или надежно устранять дубликаты, варианты действий сокращаются. Это ограничение должно учитываться при проектировании продукта, а не маскироваться более убедительными подсказками.

    Явные выходы из цикла

    Полезный цикл осуществляет наблюдение, принятие решений, действия и проверку, а также требует четких способов выхода из ситуаций.

    Продукт должен различать следующие конечные состояния:

    • Завершено: необходимый результат был проверен и подтвержден.
    • В ожидании одобрения: для выполнения следующего шага требуется лицо с более высокими полномочиями.
    • Заблокировано из-за входных данных или зависимостей: для продвижения дела не хватает чего-то, что агент не может предоставить.
    • Отменено или сверх бюджета: выполнение завершилось без подтверждения успеха.

    Попытки повторного выполнения в рамках одной последовательной операции по-прежнему должны соответствовать правилам восстановления. Многократные неудачи не являются прогрессом лишь потому, что агент продолжает работать. Система должна сохранять достаточно доказательств для обоснования своих решений: соответствующие вызовы инструментов, возвращаемые статусы, проверки авторизации и проверки результата, причем конфиденциальные данные не должны попадать в журналы, если только они не необходимы и не защищены.

    Оценка также осуществляется по тем же правилам: необходимо изучить изменённую среду, а не просто прочитать окончательное сообщение. Идеальный ответ с указанием неверного контакта считается неудачей. Хорошо обоснованная пауза после неуспешной операции записи может считаться правильным результатом.

    Не создавайте больше, чем необходимо

    Это не аргумент в пользу использования максимально возможного набора инструментов. В ходе экспериментов компании Anthropic с долгосрочно работающими приложениями компоненты удалялись по одному, и каждый из них переоценивался по мере совершенствования моделей. Дополнительная оценка помогала с более сложными задачами, но становилась избыточной, когда более сильная модель уже показывала хорошие результаты.

    Выделяются два вида компонентов. Контрольные механизмы продукта включают такие требования, как авторизация, восстановление и отчетность за завершение работы. Специфические для модели структуры поддержки устраняют существующие слабые места с помощью повторного планирования, корректирующих указаний или дополнительных проходов оценки. После любого обновления модели необходимо снова протестировать такие структуры поддержки. Контрольные механизмы продукта следует сохранять столько, сколько это необходимо продукту. Цель — создать наименьшую систему контроля, которая все же обеспечивает безопасность работы, ее прозрачность и возможность восстановления.

    В вымышленной задаче CRM окончательное сообщение должно быть конкретным: информация о проверенной записи, поля, которые теперь соответствуют запросу, и всё, что осталось нерешённым. Неизвестный результат указывается как неизвестный. Действие, ожидающее утверждения, обозначается как задача с отложенным одобрением. Запуск, прерванный из-за бюджетных ограничений, никогда не считается успешным.

    То, что делает агента достойным доверия, — это не упорство. Это способность видеть, что он сделал, восстанавливаться, когда что-то ломается, и руководствоваться установленными для него рамками.