Головна / Статті

Принципи проектування робочих процесів агентів для інженерних команд у продакшені

Принципи проектування робочих процесів агентів у продакшені: контракти завершення, чесний стан, зведення схвалень, ідемпотентні дії ззовні, відстеження та оцінки.

Видавець: REACTAPP.TOP10 хв читання2247 слів

Джерела: What building agents taught me about production engineering

Використання агентів у реальних бізнес-процесах змінює питання, які потрібно поставити перед тим, як довіритися автоматизації. Звідки походять докази? Що системі дозволено змінювати? Що робити, якщо процес зупиниться на півдорозі? Ці питання мають вищу вагу, ніж вибір фреймворку, особливо коли такі завдання, як дослідження клієнтів, робота з електронною поштою, створення контенту та подальші дії, пов’язані з бізнес-системами. Наведені нижче принципи ґрунтуються саме на такій практиці та призначені для наступної версії розробки.

Уявіть собі звичайне завдання: дослідити обліковий запис, написати корисне повідомлення та залишити його там, де людина зможе його переглянути. Модель може допомогти з дослідженням та написанням. Усе навколо неї, тобто програмне забезпечення, має зберігати докази, обробляти перегляди та нести відповідальність за будь-які зміни поза межами робочого процесу. Підготовка чернетки може завершитися задовго до того, як буде надано дозвіл ззовні, тому докази, дозвіл та результат потребують окремої перевірки.

Вирішіть, що означає „завершено“, перш ніж обирати фреймворк

Різні робочі процеси визначають процедуру завершення роботи по-різному. Завдання щодо обробки акаунту вважається завершеним, коли документ збережено разом із вихідними матеріалами, оцінкою релевантності та приміткою щодо того, що все ще залишається сумнівним. Процес зв’язку з клієнтом вважається завершеним, коли постачальник електронної пошти отримує саме те повідомлення, яке людина схвалила. Це окремі зобов’язання, і жодне з них не свідчить про те, що одержувач відкрив листа.

Як тільки це записано, ситуація з кодом змінюється. Дослідження можуть законно повернути занадто мало доказів. Чернетку можна створити, поки її перегляд ще не завершено. Зовнішню дію може прийняти постачальник, а її остаточна доставка все ще може бути незавершеною.

Нехай модель береться за те, що потребує інтерпретації — наприклад, вибір хорошого джерела, виявлення релевантного контексту чи пояснення рекомендації. Нехай код забезпечує дотримання чітких правил: обов’язкові поля, дозволені інструменти та обмеження щодо виконання. Схема може підтвердити наявність посилання на джерело, але чи підтримує це джерело зроблене твердження, все одно потребує перевірки на наявність доказів.

Саме тут проявляється різниця між робочими процесами та агентами. Anthropic розглядає робочий процес як заздалегідь визначений шлях, а агента — як середовище, у якому модель керує діями. Один продукт може поєднувати обидва підходи, тож справжнє питання полягає у тому, де свобода має свою ціну.

Змусіть стан відображати те, що насправді сталося

Модель даних потребує ретельного обмірковування ще до того, як робочий процес почне розвиватися. Поле під назвою status швидко стає неоднозначним, коли йому доводиться описувати одночасно дослідження, перегляд, виконання та доставку. Розділення цих етапів має практичну цінність. Якщо проект збережено, але сповіщення про перегляд не надійшло, наступний крок може спробувати надіслати сповіщення знову, не створюючи нового проекту, і будь-хто, хто перевіряє виконання, зможе побачити обидва факти.

Схвалення також вимагає такої ж точності. У цій конфігурації воно пов’язане з операцією, обліковим записом, одержувачем та всім текстом повідомлення. Ефективний підхід полягає у збереженні незмінності даних та отриманні їхнього дайджесту з канонічної версії. Перед надсиланням виконавець порівнює те, що він збирається зробити, з тим, що було схвалено, перевіряє термін дії та поточні права, а потім надсилає саме ті дані, що зберігалися. Дайджест виявляє лише зміни. Питання про те, хто може схвалити, належить до сфери контролю доступу.

Модель не повинна мати можливості схвалити себе шляхом повернення значення approved: true. Додаток фіксує авторизацію через надійний механізм перевірки. Деякі завдання з низьким впливом можуть використовувати пряму постійну політику, проте у будь-якому випадку дозволи мають залишатися обмеженими та підлягати перевірці.

Один логічний власник на кожен запуск

Фреймворки на кшталт LangGraph допомагають опрацьовувати питання стану та переходів, тоді як інструменти робочих процесів, такі як n8n, керують тригерами, маршрутизацією та прогнозованим переміщенням даних. Інше питання виникає, коли робота перетинає межі часу виконання: який компонент несе відповідальність за запуск?

У цій схемі один логічний власник відповідає за планування, ідентифікацію виконання та авторитетний стан. Делегованому середовищу виконання передається обмежена робота, і воно надсилає структурований результат, який власник перевіряє перед тим, як продовжити роботу з потоком завдань. Це шаблон застосування, який нічого не говорить про те, як інтегруються конкретні інструменти.

Для короткого опису облікового запису делегування може вказати назву облікового запису, дозволені джерела, права доступу до інструментів, схему результату та бюджет часу чи витрат. Результат, який надходить, має дозволяти відрізнити завершений опис від недостатніх доказів, збою інструменту чи досягнення ліміту, щоб верхній рівень потоку завдань міг реагувати на кожен з цих випадків, не сприймаючи останній абзац відповіді моделі як сигнал керування.

Навколишнє програмне забезпечення — це інструментарій агента: код, який забезпечує контекст, надає інструменти, керує виконанням та відстежує прогрес. Робота Anthropic над агентами, які працюють протягом тривалого часу, є прикладом того, як чіткі записи прогресу допомагають наступним сеансам продовжити незавершену роботу. Вибір тих записів, які потрібно зберігати, залежить від завдання.

Для бізнес-робочого процесу потрібен постійний запис, який зберігається поза чатом моделі. У документації LangGraph проводиться розмежування між станом потоку, який зберігається у форматі чекпоїнтів, та даними, які зберігаються між потоками, попереджаючи, що чекпоїнти, які містять лише інформацію в пам’яті, втрачаються під час перезапуску. Вибір сервера зберігання — це питання операційного управління. Контекст є правильним місцем для зберігання запам’ятованих уподобань щодо стилю, а система дозволів — для поточних авторизацій. Завантажена сторінка чи повторно використовувана навичка можуть надавати інформацію для виконання завдання, проте ніколи не повинні дозволяти розширювати можливості цього завдання. Кілька працівників можуть обслуговувати одного логічного власника, за умови, що механізми координації запобігають конфліктам у переходах стану.

Надайте кожному кроку власний контекст

Дослідження потребують доступу до джерел та місця для фіксації сумнівів. Написання тексту вимагає схваленого опису завдання, зразків ефективних повідомлень та внутрішніх правил. Коли кожен крок має відповідний контекст, його поведінку легше оцінити. Різні ролі можуть бути налаштовані в одному середовищі виконання та не обов’язково означати наявність додаткових агентів чи інфраструктури.

Навичка — це набір процедур, які ви повторюєте: джерела для перевірки, результат, який потрібно отримати, спосіб його підтвердження. Забезпечення дотримання правил все одно здійснюється середовищем виконання через доступ до інструментів та обмеження ресурсів. Вказівка працівнику в файлі навички не надсилати щось — це лише порада, тоді як відсутність у нього облікових даних для надсилання — це реальне обмеження.

Накопичені навички та налаштування також потребують періодичного перегляду. Дві розумні інструкції можуть вступити у конфлікт, коли їх завантажують разом. Після виконання завдання агент може запропонувати оновлення пам’яті, але його самооцінка не є доказом покращення. Корекція має містити інформацію про її джерело, відповідний діапазон та оцінку перед тим, як змінити поведінку, якою користуються інші.

Розглядайте зовнішні дії як проблему їх власного виконання

Точно описуйте ефекти інструментів. Створення локального файлу, підготовка проєкту у постачальнику та надсилання повідомлення — це три окремі операції, кожна з яких має власні дозволи. Адаптери повинні перетворювати відповіді постачальника на чіткі статуси, а тести інтеграції — перевіряти кінцевий стан постачальника.

Для операцій запису з серйозними наслідками використовуйте сервіс виконання, який перевіряє авторизацію в останню хвилину перед відправкою. Дані автентифікації та мережеві шляхи мають підтверджувати це, адже перевірка в одному допоміжному засобі мало що дає, якщо інший скрипт може отримати доступ до постачальника за тими самими данами автентифікації.

Відновлення є найскладнішим, коли не надходить жодної відповіді. Уявіть собі, що провайдер отримує повідомлення, а з’єднання втрачається ще до того, як працівник зможе зберегти результат. Працівник знає, що намагався, але не може визначити, чи не призведе повторна спроба до дублювання дії. Для кожної спроби слід використовувати окрему ідентичність, а для всіх дій — одну і ту саму. Якщо провайдер підтримує ідемпотентність, він спирається на стабільний ключ для кожної запланованої операції, а гарантія походить з умов контракту цього провайдера. У документації Stripe, наприклад, описано, як порівнюються параметри та як довго існують ключі, і повторне використання ключа після закінчення терміну його дії може призвести до створення нового запиту.

Якщо існує надійний спосіб перевірки статусу, скористайтеся ним. Якщо постачальник обіцяє безпечне повторне виконання за тим самим ключем та навантаженням, спроба знову може вирішити проблему. Якщо обидва підходи не спрацюють, зафіксуйте результат як невідомий та узгодьте ситуацію або зверніться до людини. Відсутність результатів у пошуку не є доказом того, що дія ніколи не виконувалась, адже дані постачальника можуть затримуватися. У поясненні AWS щодо безпечних повторних спроб наводиться аргумент на користь включення ідентифікатора запиту до контракту API, щоб відстеження клієнтом та поведінка постачальника збігалися.

Транзакційна скринька вихідних повідомлень запобігає зникненню підтвердженої дії між записом у базі даних та її відправкою, але сама по собі не може завадити постачальнику обробити повторну заявку. Пункт перевірки також дозволяє продовжити роботу на локальному рівні, проте не може вирішити проблему невідомого зовнішнього результату. Після неоднозначного таймауту доказом може бути підтримуваний пошук, подія чи задокументована ідемпотентна повторна обробка. Локально створений ідентифікатор дії не робить API ідемпотентним.

Вимірювання на межах

Виклики інструментів — це гарне місце для спостереження за поведінкою агента. Трекування має поєднувати запуск, версію артефакта, рішення щодо авторизації та кожну зовнішню спробу. Слід вибірково фіксувати аргументи та результати інструментів із застосуванням цензури та контролю доступу, адже зберігання кожного необробленого даних створює власні проблеми.

Звіт має відповідати на практичні запитання. Чи можна було використати докази дослідження? Чи призвела перевірка до відхилення проєкту? Чи очікує робота на рецензента, чи зламалося сповіщення? Чи була дія прийнята, відхилена чи залишена нерозв’язаною?

Ці відмінності також покращують оцінку. Для процесу роботи з обліковими записами почніть зі звичайних прикладів та невеликої кількості складних випадків:

  • Джерела не узгоджуються, і у звіті потрібно зберегти цю розбіжність.
  • Повідомлення редагується після схвалення, що означає, що для виконання потрібна нова авторизація.
  • Одна й та сама задача надходить двічі, і не слід створювати дві логічні дії.
  • Провайдер виконує дію, а потім з’єднання втрачається, тому процес відновлення має дотримуватися того, що провайдер насправді гарантує під час повторних спроб.

Залиште детерміністичні перевірки для таких аспектів, як коректність схем та відповідність схвалень. Щодо релевантності та того, наскільки добре докази підтримують твердження, використовуйте визначений критерій оцінки та переглянуті приклади. Оцінка за допомогою моделі може допомогти, за умови, що ви перевіряєте, наскільки точно вона відповідає людському судженню. Рекомендації з оцінки від Anthropic розділяють зафіксовану роботу агента від кінцевого стану середовища та пропонують повторювати спроби, оскільки агенти можуть діяти по-різному щоразу. Ці ідеї підходять для тестування всього робочого процесу.

Для робочого процесу редагування стежте за тим, як часто чернетки приймаються без змін, скільки часу витрачають рецензенти, та за загальною вартістю виконання на кожен прийнятий результат, включаючи витрати на невдалі спроби. Важливо також враховувати ступінь охоплення: скільки заявок дали корисні результати. Якщо цього не робити, система може здаватися більш стабільною просто через відмову у складних завданнях.

Випустіть поведінку як єдину одиницю

Редагування запиту може змінити поведінку системи під час виконання, навіть якщо зображення контейнера залишається незмінним, тому для випуску необхідний маніфест, який пов’язує версію коду з процесом роботи, запитами, схемами, адаптерами інструментів, налаштуваннями моделей та політикою дозволів. Кожен запуск фіксує версію випуску, під якою він відбувся. Це уможливлює подальше розслідування, хоча точне відтворення ситуації не гарантується, оскільки моделі змінюються, постачальники змінюються, а вихідні дані можуть зникнути. Зберігання відповідних версій вхідних даних чи дозволених знімків допомагає пояснити результати пізніше.

Робота, яка виконується протягом тривалого часу, створює ще одну проблему: старий чекпоїнт може не відповідати новій схемі стану. Під час розгортання необхідно чітко вирішити, чи завершити ці запуски на старій версії, мігрувати їх чи зупинити для перевірки. Просте скасування лише зображення робочого процесу може не повернути сумісну поведінку.

Процес виконання завдань знову починається у важливих моментах: відразу після збереження об’єкта, поки триває перевірка, а також до та після відправки. Якщо працівників кілька, база даних може відхиляти застарілі записи за допомогою умовних оновлень чи токенів блокування. Зупинка дублікатів поза системою все ще залежить від способу її роботи та умов контракту з постачальником.

Перше розгортання може бути простим: достатньо сервісу, стійкої бази даних та фонового працівника. Окремі облікові дані, обмеження кількості спроб та механізм припинення нових зовнішніх записів — це те, що потрібно перед використанням великого кластера. Kubernetes стає корисним тоді, коли його функції планування чи керування відповідають вашим потребам.

Залишайтеся при одному процесі роботи, поки не зрозумієте його повністю

Продукти агентів постійно змінюють те, що є дешевим для створення, і їх дослідження варте уваги. Проте варто залишатися достатньо стабільними, щоб розуміти виконувану роботу. Для створення короткого опису проекту чи сортування повідомлень у поштовій скриньці необхідно зберігати фіксовані межі вхідних даних, корисних результатів та огляду, поки реалізація не покращиться. Тоді нову модель чи середовище виконання можна буде оцінити за аналогічними прикладами, дозволами та вимогами до відновлення роботи.

Використання іншого інструменту стає конкретним питанням. Чи може він чіткіше описати процес передачі завдань, скоротити зусилля перевіряючих чи відновити перервану роботу з меншою кількістю ручних кроків, і чи виправдовує це міграцію та подальше обслуговування? Саме такий підхід варто застосовувати: вирішуйте, де логіка оправдовує свої витрати, чітко визначайте повноваження та зберігайте достатньо доказів, щоб знати, що сталося після того, як модель припинила працювати.

Пов’язана література

  • Припиніть виконувати бажання AI-агентів: процес розробки, орієнтований на специфікації, для невеликих команд — Як невелика команда може використовувати AI-агентів у роботі: написання специфікацій, взаємна перевірка двома родинами моделей, тестування під час виконання, об’єднання даних людьми та оркестратор, який запам’ятовує інформацію.
  • Інженерія контексту для багатоагентних систем: чому відбуваються збої між кроками — Агенти рідко зазнають невдач у межах одного кроку. Вони зазнають невдач між кроками, коли надходить неправильний контекст. Як проектувати стан, маршрутизацію та якість контексту в LangGraph.
  • Які зміни в API OpenAI Agents щодо створення агентів, які працюють довго — Дізнайтеся, як керований механізм агентів використовує сандбокси, стиснення контексту, пошук інструментів, підагентів та MCP, та як це впливає на безпеку, налагодження та проектування.