Агенти дорого платять за очікування: порівняння опитувань, блокування та завдань
Критерії оцінки трьох способів, якими агент може чекати на повільну операцію в хмарі: опитування, блокування та завдання MCP, вартість токенів для кожного з них, а також правила для розробників інструментів.
Джерела: Your Agent Doesn’t Know How to Wait
Майже кожен API хмарної інфраструктури містить однакову функцію призупинки. Виклик create не повертає готовий ресурс. Він повертає квитанцію:
{
"name": "operations/abc-123",
"status": "RUNNING",
"done": false
}
Базі даних потрібні кілька хвилин, щоб запуститися, і тим часом у абонента є лише ідентифікатор відстеження. Це є прикладом операції з тривалим виконанням, або LRO, і вона належить до категорії процесів, пов’язаних із налаштуванням інфраструктури, навчанням моделей, міграціями баз даних та транскодуванням відео. Для людини за терміналом це звичайна процедура: виконати команду, почекати та відпочити з кавою.
Для штучного інтелекту це серйозна проблема з проектуванням. Дослідження, які порівнювали способи обробки часу очікування, показали різницю у витратах у 5 разів, збільшення кількості генерованих токенів у 11 разів та серйозні проблеми з одночасністю виконання. Більшість розробників інструментів не усвідомлюють, що при написанні визначень своїх інструментів вони обирають певний шлях вирішення. У порівнянні брали участь три підходи до виконання однакових завдань із використанням однієї й тієї самої моделі: опитування всередині циклу агента, блокування на сервері та передача завдання на обробку системі керування.
Чому очікування є дорогим
Агент — це мовна модель, яка працює у циклі. Він отримує мету та певні інструменти, обмірковує ситуацію, викликає інструмент, перевіряє результат та вирішує, що робити далі. Кожен цикл є кроком, і крок — це не окремий HTTP-запит. На кожному кроці вся розмова повертається до вікна контексту: системний запит, кожна з визначень інструментів, мета та всі попередні виклики та відповіді. Отже, загальна вартість завдання приблизно дорівнює кількості кроків, помноженій на розмір контексту на кожному кроці.
Тепер уявіть, що агент перевіряє статус операції. Він викликає функцію get_operation та бачить значення RUNNING; щоб вирішити, що робити далі, необхідно провести повний процес інференції над усім накопиченим контекстом. Він викликає функцію знову, знову бачить значення RUNNING та оплачує ще один повний процес обробки. Для реалізації функції очікування використовується модель типу frontier, ціна якої вказується у доларах за мільйон токенів.
Нижче зустрічаються чотири терміни:
- Кроки: кількість викликів інструментів, здійснених агентом. Чим менше, тим краще.
- Оплачувані токени: показник витрат, який дозволяє дешевше оцінювати використаний кешований контекст — приблизно в десять разів дешевше, ніж свіжий вхідний даний. Саме ця цифра відображається у рахунку за послуги хмари.
- Набір інструментів: все, що дозволено агенту викликати, чи то через сервер MCP, чи шляхом введення команд CLI у термінал.
- Завдання: фонові операції, які передаються на обробку хмарній платформі чи середовищу MCP, щоб основний потік агента залишався вільним.
Як проходив тестування
У тесті використовувався Evalbench проти однієї й тієї самої хмарної бази даних у трьох конфігураціях:
- MCP Toolbox — сервер із заздалегідь налаштованою базою даних.
- Базовий сервер MCP, який надає функції створення, читання, оновлення та видалення даних, а також інформацію про статус операцій.
На кожному рівні складності було 12 завдань, які виконувалися за допомогою Claude Opus на фіксованій версії CLI з автоматичним оцінювачем. Серед складних завдань два виконувалися протягом тривалого часу: клонування інстанції та створення інстанції з високою доступністю. Ці три налаштування обробляють процес очікування по-різному.
Три способи очікування
Запитування всередині циклу
Сервер повертає ідентифікатор операції, і агент продовжує ставити запити всередині свого циклу обробки:
create_instance() → operations/abc-123
get_operation(abc-123) → RUNNING
get_operation(abc-123) → RUNNING
... ×10 ...
get_operation(abc-123) → DONE
Десять повних запусків у контексті моделі лише для того, щоб дізнатися, що клонування все ще триває.
Блокування на сервері
Сервер надає інструмент, який підтримує відкритий зв’язок до тих пір, поки операція не досягне кінцевого стану:
create_instance() → operations/abc-123
wait_for_operation(abc-123) → DONE (one call, eleven minutes later)
Це лише один крок. Час очікування проходить на сервері, за який береться плата у дуже малій кількості центів на годину, а не в контексті моделі, де оплата становить долари за мільйон токенів. Проблема полягає у тому, що блокування відбувається суворо послідовно, і поки виклик залишається відкритим, потік агента заморожується.
Завдання, які передаються системі
Замість того, щоб блокувати агента чи витрачати токени на запити, агент передає операцію виконавцю завдань у фоновому режимі:
Bash(cmd, run_in_background: true) → task_id: task-8921
... agent configures network rules, audits schemas, writes migration scripts ...
TaskOutput(task-8921, block: true) → done
Завдяки розширенню MCP Tasks початок виконання завдання та отримання його результату стають окремими подіями. Агент запускає завдання, отримує ідентифікатор легкого завдання та переходить до інших корисних справ. Коли йому нарешті потрібна база даних, він перевіряє цей ідентифікатор або чекає на сигнал про завершення. Лише така схема дозволяє агенту одночасно чекати на кілька операцій або поєднувати тривале очікування з продуктивними обчисленнями.
Скільки коштує тест клонування
Під час оцінки клонування (клонування інстанції, очікування до готовності, підтвердження стану) основна операція у кожному середовищі триває близько 13 хвилин у реальному часі. Різниця у часі була незначною, але економіка токенів суттєво відрізнялася:
- MCP Toolbox із його блокуючим очікуванням показав найкращі результати за всіма показниками: 4 кроки, 211 854 оплачених токенів, 765 секунд.
- Базовий сервер MCP із десятьма запитами зайняв найбільше часу — 864 секунди при 23 кроках.
- Альтернативний CLI мав найвищі витрати: 328,316 оплачуваних токенів та 14,108 токенів вихідних даних протягом 19 кроків.
Єдине затримуюче очікування скоротило кількість кроків на 80%, кількість оплачуваних токенів — на 26% порівняно з базовим опитуванням, а витрати — на 35% порівняно з альтернативним CLI. Крім того, цей підхід завершив роботу першим, оскільки агенти, що використовували опитування, постійно прокидалися для додаткових процедур обробки даних.
Найбільш вражаючим показником є кількість токенів вихідних даних — вони у CLI в 11 разів більші. Без інструментів MCP агенту довелося написати власний скрипт для повторних спроб у bash:
while true; do
st=$(cloud-cli operations list --project=production-db \
--instance=staging-replica --format='value(status)' | head -1)
[ "$st" = "DONE" ] && break
sleep 20
done
У тексті було зазначено, що цей цикл було виконано тричі у трохи різних формах, оскільки кожна спроба зазнала невдачі через проблеми з чистим моніторингом. У кінцевому підсумку було вирішено здатися та встановити таймер будильника на п’ять хвилин раніше. Одна автономна модель витратила 14 000 токенів вихідних даних, щоб заново створити функцію wait_for_operation з нуля, причому зробила це погано. Агент, у якого немає можливості чекати, буде створювати її за високу ціну, і результат буде гіршим, ніж у інструменту, який так і не було випущено.
Керівництво для розробників API та інструментів
Розробка для агентів означає переосмислення конвенцій REST та gRPC з урахуванням обмеження, з яким вони ніколи не стикалися: кожен експонований байт перечитується на кожному кроці. Кожна з наведених нижче практик ґрунтується на чомусь вимірюваному.
Надайте модель очікування з різними рівнями
Різні ситуації вимагають різного часу очікування, тому надайте всі три рівні та дозвольте агенту вибрати:
create_instance() → { "operation": "operations/abc-123", "done": false }
get_operation(id) → Tier 1: inspect status, resume after interruption
wait_for_operation(id, timeout_seconds) → Tier 2: the 90% single-instance case
create_instance(async) → Tier 3: durable handle for parallel, fleet-wide work
Надання всіх трьох опцій майже не збільшує додаткових витрат, проте різниця між ними становила 55% від загальної вартості під час виконання однієї завдання клонування. Обмеження роботи лише першим рівнем змусило агента CLI створити власний механізм повторних спроб, що коштувало 14 108 токенів вихідних даних.
Вкладіть ідентифікатор операції у тіло JSON
Класичний REST розміщує посилання на операції у заголовках, таких як Location або Operation-Location. Сучасні шари виклику інструментів, включаючи MCP, OpenAI Tools та LangChain, часто відкидають HTTP-заголовки та передають до моделі лише JSON-поле даних.
Коли ідентифікатор відсутній у тілі запиту, модель не видає явного повідомлення про помилку. Вона замість перевірки операції звертається безпосередньо до цільового ресурсу. Це є дорожчим та менш прозорим, оскільки кінцеві точки ресурсів часто повертають коди 404 або застарілі дані під час ініціалізації, що робить активну обробку нерозрізненою від помилки. У одному випадку це призвело до 221 повторної виклику функції get_instance.
Додайте чіткі таймаути зі структурованими частковими результатами
Нескінченне блокування несе реальні ризики: втрата з’єднань, обмеження з боку балансувальника навантаження на 300 секунд та завдання, які застигають назавжди. Інструмент очікування з найнижчими загальними витратами не мав таймауту та у одному випадку блокувався протягом шістнадцяти хвилин, залишаючи агента без можливостей реагування у разі затримки виклику.
Рішенням є параметр timeout_seconds, який за замовчуванням дорівнює приблизно 300. При досягненні цього ліміту необхідно повернути структурований статус, який не є помилкою, замість того, щоб кидати виняток:
{
"done": false,
"operation": "operations/abc-123",
"elapsed_seconds": 300,
"status": "RUNNING",
"metadata": { "percent_complete": 65 }
}
Тепер модель може стежити за прогресом та вирішувати, чи чекати знову, виконувати роботу у фоновому режимі чи повідомити користувача, не активуючи процедури обробки помилок. Саме це поле відрізняє блокуюче очікування від ризикованої дії.
Проектування для завдань та асинхронних механізмів
Розробник сервера, який впроваджує MCP, отримує стандартизовану форму третього паттерну через розширення Tasks. Важливі кілька моментів:
- Нехай сервер визначає шлях виконання. Завдання керуються сервером. Оголошуйте io.modelcontextprotocol/tasks та повертайте CreateTaskResult замість звичайного результату, коли запит буде виконуватися довго. Не вимагайте від користувачів передавати прапорець асинхронності, оскільки клієнт обирає цей режим під час переговорів щодо можливостей.
- Повертати структуровані метадані обробки: taskId, початковий статус, ttlMs та pollIntervalMs, і переконуватися, що завдання створено назавжди перед надсиланням відповіді. Таким чином сервіси можуть стежити за прогресом без активації моделі, а клієнти — відновлюватися після збою.
- Підтримувати сповіщення про завершення. Якщо транспортний механізм це дозволяє, використовувати сповіщення типу push замість опитування клієнтом. Опитування залишається резервним варіантом, але сповіщення усувають зайві поїздки.
- Зберігати інформацію про завершені завдання та операції принаймні протягом 24–48 годин. Якщо контекст агента скорочується під час очікування, а потім він опитує про завершену роботу, він має отримати результат, а не код 404.
Підрахунок схем
Кожен інструмент стягує плату за кожен крок кожного завдання, включаючи ті, де він зовсім не використовується. Витрати приблизно дорівнюють кількості кроків помноженій на розмір контексту. Затримка через блокування покращує перший фактор, тоді як надмірний розмір схеми може скасувати цю перевагу через другий фактор. Сервер із найменшою кількістю кроків все одно може витратити найбільше токенів, якщо при кожному з них у контексті знаходяться великі схеми інструментів. Завдяки великій кількості інструментів, завантаженню визначень за потребою, використанню навичок чи додаванню функції пошуку інструментів розмір постійно присутньої схеми залишається невеликим.
Висновок
Затримка — це архітектурне рішення, яке впливає на економіку роботи агента, а не просто дрібна оптимізація. Заміна токенозатратного опитування на ієрархічні, блокуючі чи завдання-орієнтовані затримки зменшує накладні витрати, а спрощена структура інструментів допомагає агентам масштабуватися, не оплачуючи послуги моделей для підрахунку секунд.