Головна / Статті

Чому саме Agent Harness, а не модель, вирішує, що стане реальністю.

Оновлення CRM з таймером завершення показує, чому агентам потрібні контракти на інструменти, стани з невідомим результатом, ідемпотентні спроби та підтвердження завершення, а також контролі, які варто зберегти.

Видавець: REACTAPP.TOP6 хв читання1450 слів

Джерела: The Model Is Not the Agent. The Harness Is the Product.

Припустимо, агенту потрібно змінити контакт для доставки у обліковому записі клієнта. Він знаходить відповідну запис, створює проект змін та звертається до CRM. Потім дзвінок закінчується. Можливо, зміни не вдалося внести. Можливо, вони були внесені, але відповідь загубилась. Можливо, CRM все ще працює над цим.

Впевнена відповідь „Зроблено“ не вирішує жодної з цих проблем, так само як повторний дзвінок без знання того, що сталося вперше. Це вигадана історія, проте вона виявляє справжню проблему з проектуванням. Запит на виконання дії та підтвердження її результату — це різні процеси. Модель може бездоганно виконати запит, тоді як продукт все одно втрачає зв’язок із реальністю, і саме це має вирішувати механізм керування.

Що таке механізм керування

У цьому підході «обладнання» — це те, що під час виконання об’єднує виклики моделей, контекст, інструменти, правила виконання та відстеження прогресу. Воно може складатися з кількох частин, і нікому не потрібно писати фреймворк, щоб мати його. Контроль доступу залишається у сервісах ідентифікації, стійкі записи зберігаються в базах даних, а бізнес-правила — у зовнішніх системах. «Обладнання» знаходиться між цими елементами та координує їх.

Коротка формула це описує: модель пропонує, а «обладнання» керує тим, що стає реальністю.

Моделі можуть планувати, інтерпретувати дані та вирішувати, чи завершена робота, тож суть не в тому, що програмне забезпечення виконує міркування навколо пасивної моделі. Суть у тому, що система мусить дотримуватися своїх обмежень навіть тоді, коли оцінка моделі є неправильною.

Опис агента Codex від OpenAI розкриває механізм його роботи: підготовка вхідних даних, запит до моделі, виконання необхідних інструментів, передача їхніх результатів назад та продовження процесу до тих пір, поки модель не надішле повідомлення. Це останнє повідомлення завершує один тур. Однак саме по собі воно нічого не доводить щодо того, чи змінилася інформація про клієнта.

Це не робить цей інструмент повним продуктом. Якість моделі, користувацький досвід, експертиза в конкретній галузі та можливості інтеграції також мають велике значення. Для виконання простого завдання з написання тексту достатньо одного виклику моделі. Для редагування запису в CRM також потрібні дозволи на виконання дій та підтвердження від системи про здійснені зміни.

Інструменти як контракти

Інструмент під назвою „update customer“ недостатньо описаний. У ньому не вказано, який саме клієнт та який рахунок, що може змінитися, та що відбувається, якщо колега редагує запис після того, як агент його прочитав. Рекомендації Anthropic щодо створення інструментів передбачають чітке визначення завдань, корисних значень повернення та тестування на реалістичних завданнях. Описи допомагають обрати правильну модель, тоді як код, що стоїть за ними, має забезпечувати дотримання правил.

У прикладі з контактом для доставки договір може включати:

  • Хто: ідентифікатор клієнта, який було вирішено, у межах рахунку, до якого агент має право звертатися.
  • Що: лише поля контакту для доставки, вказані у запиті.
  • Захист: версія запису, яку агент останній бачив, якщо система її відображає.
  • Ідентичність: стабільний ідентифікатор запиту, за умови, що сервіс може використовувати його для усунення дублікатів.
  • Відповідь: структурований статус, підтверджувальні докази та помилки, які може використати людина чи програма для дій.
  • Це пропоновані варіанти, і не кожен CRM їх пропонує.

    Межі мають більше значення, ніж заспокійливі формулювання. Попереджувальна нотатка «Оновлювати лише авторизованих клієнтів» є порадою. Сам сервіс має перевіряти справжню ідентичність, обліковий запис, ціль та дозволені поля. Для читання також потрібен чіткий діапазон: завантаження всієї бази даних клієнтів не є безневинним лише через те, що нічого не було змінено. У статті Anthropic про обмеження функцій Claude пропонується багатошаровий контроль над моделлю, середовищем виконання та зовнішнім контентом.

    У такій схемі запит, що виходить за межі діапазону, відхиляється ще до будь-яких змін. Конфлікт версій стає питанням змінених доказів, а не дозволу на перезапис.

    Коли результат невідомий

    Після закінчення тайм-ауту система має зафіксувати невідомий результат. Це не є ані успіхом, ані обов’язковою невдачею. Невідомий стан є законним станом виконання, і це не є дозволом на спробу знову.

    Відновлення стає простішим, коли три типи станів залишаються окремими:

    1. Робочий контекст: інформація, яка потрібна моделі для прийняття наступного рішення.
    2. Стабільний запис виконання: те, що було заплановано, що було виконано, хто схвалив, та все, що ще залишилося нерозв’язаним.
    3. Зовнішній бізнес-стан: інформація, яку наразі має CRM.

    Підсумок чату може допомогти знову запустити модель, але він не повинен бути єдиним записом важливої операції. У чекпоїнтах також є обмеження, адже у реальному світі все продовжує розвиватися після їх збереження, і хтось міг за цей час змінити контакт. Дизайн керованих агентів від Anthropic пояснює, чому терміни життя мають бути окремими: журнал сеансу, інструментарій та середовище виконання існують окремо, щоб новий інструментарій міг продовжити роботу з збереженими подіями. Дрібніші додатки можуть зберігати це розділення в межах одного сервісу. Важливо — здатність до відновлення, а не відтворення розподіленої структури.

    Для прикладу зв’язку запишіть бажану операцію перед її надсиланням. Після закінчення тайм-ауту запитайте у сервісу про статус операції або шукайте інші надійні докази. Якщо повторний запит показує новий контакт, це свідчить про поточний стан. Однак це не обов’язково вказує, який саме запит цього спричинив. Усе, що повідомляється, має відповідати тому, що підтверджують докази.

    Повторні спроби потребують ідемпотентності

    Фраза «спробуйте три рази» вказує на тривалість спроб, але не говорить про те, чи безпечна ще одна спроба. Бібліотека AWS Builders’ Library описує більш суворі вимоги у своїх рекомендаціях щодо ідемпотентних API: користувач надає ідентифікатор запиту, сервіс розпізнає повторну спробу та записує її разом із змінами.

    Локальний ідентифікатор не може здійснити одноразове зовнішнє записування. Сервіс має дотримуватися умов контракту, включаючи правила параметрів та терміни зберігання даних. У випадку CRM правило відновлення має три варіанти:

    • Якщо авторитетні докази підтверджують завершення операції, перевірте необхідні умови після завершення та завершіть процес.
    • Якщо умови контракту сервісу дозволяють безпечне повторення, надішліть дані знову, використовуючи ту саму ідентичність операції та ту саму мету, залишаючись у межах встановлених обмежень.
    • Якщо результат залишається неоднозначним, а повторення є небезпечним, зупиніть процес та зверніться за допомогою.

    Створення нового ідентифікатора запиту лише для повторення невизначеного записування суперечить початковій меті. Коли CRM не має можливості повідомляти про статус операції чи надійно усувати дублікати, варіанти дій скорочуються. Це обмеження має бути враховане під час проектування продукту, а не приховуватися за більш переконливими попередженнями.

    Явні вихідні точки для циклу

    Корисний цикл спостерігає, приймає рішення, діє та перевіряє, і йому також потрібні чіткі шляхи виходу.

    Продукт має розрізняти ці кінцеві стани:

    • Завершено: необхідний результат було перевірено та підтверджено.
    • У очікуванні схвалення: наступний крок вимагає участі особи з більшими повноваженнями.
    • Заблоковано через вхідні дані чи залежність: для просування потрібно щось, що агент не може надати.
    • Скасовано або поза бюджетом: виконання завершилося без жодних ознак успіху.

    Повторні спроби під час триваючої роботи все одно підпорядковуються правилам відновлення. Постійні невдачі не є прогресом лише через те, що агент залишається зайнятим. Система має зберігати достатньо доказів для пояснення своїх рішень: відповідні виклики інструментів, повернуті статуси, перевірки авторизації та перевірки результатів, причому конфіденційні дані не повинні потрапляти до журналів, якщо вони не є необхідними та не захищені.

    Оцінка також ґрунтується на цьому ж правилі: потрібно перевірити середовище, яке було змінено, а не просто прочитати кінцеве повідомлення. Добре сформульована відповідь, у якій вказано неправильний контакт, є невдачею. Добре пояснена пауза після нерозв’язаної операції запису може бути правильним результатом.

    Не створюйте більше, ніж потрібно

    Це не є аргументом на користь найбільшого можливого пристрою керування. Експерименти Anthropic із довготривалими додатками передбачали поступове видалення компонентів та їх повторну оцінку у міру покращення моделей. Додаткова оцінка допомагала при складніших завданнях, але ставала зайвою, коли вже сильніша модель добре справлялася з роботою.

    Виникають два типи елементів. Контролери продукту включають вимоги щодо авторизації, відновлення та відповідальності за завершення роботи. Специфічні для моделі механізми підтримки допомагають подолати поточні слабкості шляхом постійного планування, коригувальних запитів чи додаткових проходів оцінки. Після будь-якого оновлення моделі знову перевірте ці механізми підтримки. Зберігайте контролери продукту стільки, скільки це необхідно для продукту. Метою є створення найменшої системи керування, яка все одно забезпечує безпеку, прозорість та можливість відновлення роботи.

    У вигаданому завданні CRM остаточне повідомлення має бути конкретним: запис, який було перевірено, поля, які тепер відповідають запиту, та все, що ще залишилося нерозв’язаним. Невідомий результат фіксується як такий. Завдання, що очікує схвалення, містить інформацію про дію, яка чекає на підтвердження. Виконання, перерване через бюджетні обмеження, ніколи не вважається успішним.

    Те, що робить агента гідним довіри, — це не наполегливість. Це здатність бачити, що він зробив, відновлюватися після збоїв та дотримуватися встановлених меж.