Галоўная / Артыкулы

Агенты дорага плацяць за чаканне: апытанне, блакаванне і задачы

Бенчмарк трох спосабаў, якімі агент можа чакаць павольную хмарную аперацыю: апытанне, блакаванне і задачы MCP, кошт кожнага ў токенах і правілы для аўтараў інструментаў.

Выдавец: REACTAPP.TOP8 хв чытання1807 слоў

Крыніцы: Your Agent Doesn’t Know How to Wait

Практычна кожны апі-інтэфейс інфраструктуры хмараў мае аднаковыя механізмы паузы. Запыт на стварэнне не вяртаў готавага рэсурса, а вяртаў квітанцію:

{
  "name": "operations/abc-123",
  "status": "RUNNING",
  "done": false
}

Даблэту трэба калькі мінут, каб ён запрацаваў, і ў тым час у абяцаннікавацеля ёсць толькі ідэнтыфікатор абяцанні. Гэта ўзор дзейнасці з давальнічым часам, або LRO, і ён належыць да катэгорыі апрантавання інфраструктуры, навчання модэляў, міграцый даблэту і транскодавання відэа. Для чалавека за тэрміналам гэта стандартна процедура: запускаецца каманда, чакаецца, п’ёцца кафе.

Для АІ-агента гэта серьёзны пытанне падбору падходу. Бенчмаркі, якія парабягалі способы абыцання чакання, паказалі 5-кратную разніцу ў вартасці, 11-кратную перашкоду ў колькасці гэнераваных токэнаў і серьёзныя проблемы з канкурантнасцю. Большасць автараў інструментаў не усвядомляюць, што выбіраюць певны падход, калі пішуць ўпісы своіх інструментаў. У парабяганні былі рассмотрэны тры падходы да ідэнтычных завадзяў з аднаковым модэлем: польсінг унутрь цыклу агента, блакіранне на серверы і перадача абяцання задачы, карыстаючыся сістэмай керавання.

Чаму абяцанне ўскладнюе працу

Агент — гэта мадэль мовы, якая працюе ў цікле. Яна отрымае цель і калькі засобаў, прыменшвае ўсе можлівыя варыянты, вызывае адпаведны засоб, пераглядае рэзультат і вырашае, што робіць далей. Кожны цыкл — гэта адна ступень, і ступень — гэта не аддзінальны HTTP-запрос. На кожнай ступені весь дыялог падае знову ў вікно кантэксту: запрос сістэмы, кожна з вялічын засобаў, цель і всі паказваныя раней запыты і адпаведзі. Адноўсць задання ў сукупнасці становіць прыбліжна колькасць ступеняў, умножаная на розмер кантэксту на кожнай ступені.

Цяпер уявіце, што агент запытаеся пра статус аперацыі. Яны вызываюць функцію get_operation і бачаюць, што аперацыя ў працэсе, і ўмовліванне ў тым, што робіць далей, вымагае повнага аналізу всіх накопілаваных дадзеных. Яны вызываюць функцыю знову, знову бачаюць, што аперацыя ў працэсе, і плацяць за ўсё той жа повны аналіз. Для рэалізаціі функціі спячкі вікорыстоўваецца мадэль, якая коштуе долераў за мільйон токенав.

Ніжэй павтараюцца чатыры тэрміны:

  • Колькасць крокаў: сколькі разоў агент выканаў вызывы інструментаў. Чым менш, тым лепяй.
  • Запісаныя токены: паметрака косту, якая дае меншую вагу кэшаванаму кантэксту, прыблізна у дзесяці разоў дэшэўша за цэну свежага вхіднага дадзенага. Гэтыя цыфры паказвае рахунок у воблака.
  • Магчымасці інструментаў: все, што агент можа выканаць, будзь то праз сервер MCP або праз введэнне команд CLI ў шэл.
  • Заданні: фонавая работа, якая перадаецца сістэме harness або сэрвісу MCP runtime, што не блакуе галоўнага потока агента.

Як праходзіў тэст

У тэсты быў выкарыстоўваны Evalbench проты той самай хмарнай базы дадзенаў у трох наладжэннях:

  • MCP Toolbox — сервер з ужо створанай настройкай базы дадзенаў.
  • Базавы сервер MCP, які адкрывае простыя інструменты для стварэння, чытання, апдэйта і выдалення дадзенаў, а таксама статус аперацый.
  • Альтэрнатыўная наладка CLI (gcloud), без інструментаў MCP, калі агент вынужаны выкарыстоўваць каманды шэлу.
  • Па кожнай ступені сложнасці было 12 заданняў, якія выпалоўваліся за дапамогай Claude Opus на фіксаванай версіі CLI, пры чым за оцэнку выкананняя працаваў аўтаматызаваны суддзя. Серэд складных заданняў два выпалоўваліся пра длігі час: клонаванне інстанцыі і стварэнне інстанцыі з высокай доступнасцю. Тры спосабы наладкі адмаўляюць чаканне трохі іншымі спосабамі.

    Тры спосабы чакання

    Поллінг унутры цыклу

    Сервер вяртае ID аперацыі, і агент продовжае запытваць у своем цыкле рашэння:

    create_instance()      → operations/abc-123
    get_operation(abc-123) → RUNNING
    get_operation(abc-123) → RUNNING
    ... ×10 ...
    get_operation(abc-123) → DONE
    

    Дзесяць повных спроб працы з кантэкстам модэлю, і ўсё ж выявілася, што клонаванне яшчэ трывае.

    Блакаванне на серверэ

    Сервер апранае інструмент, які падтрымвае відкрытыя з’язкі, пакуль операцыя не досягне фінальнага стану:

    create_instance()           → operations/abc-123
    wait_for_operation(abc-123) → DONE   (one call, eleven minutes later)
    

    Гэта ўжо адны крок. Час працы без заданняў праглядаецца на серверы, за якія бераецца мінімальная плата — крыхта цэнтама за гадзіну, а не ў кантэксце модэлі, за якую платаецца ў долерах за мільйон токенав. Проблема ў тым, што блакіраванне адбываецца строго серыйна, і пакуль канект працюе, нітка агента застойваецца.

    Заданні, якія перадаюцца сістэме

    У замест на блакіраванне агента чы ў выкарыстоўванне токенав на запыты, агент перадае заданне на віконанне у фоновы працэс:

    Bash(cmd, run_in_background: true)  → task_id: task-8921
    ... agent configures network rules, audits schemas, writes migration scripts ...
    TaskOutput(task-8921, block: true)  → done
    

    За дапамою расшырэння MCP Tasks запуск работы і абрабатка яе рэзультата стаюць адзінамі незалежнымі запускамі. Агент запускае заданне, атрымлеўшы ідэнтыфікатор лёгкага задання, і пераходзіць да іншых корыстных задач. Калі яму нарэшце патрабуецца база дадзеных, ён пераканальваецца ідэнтыфікаторам або чакае сігналу пра завершэнне. Толькі такі падход дазволяе агенту чакаць на кальколькі операцыяй адночасова або супакоўваць дзяўны чаканне з продуктываю вычысленнем.

    Скількі коштаў тэст клонавання

    Пад час ацэнкі клонавання (клонаванне экземпляра, чаканне пакуль ён будзе гатовы, паўтарны адборт стану) асновная операцыя у кожным сераўе трывае або-але 13 хвілін у рэальным часе. Разлікі па часу былі незначныя, але эканоміка токенав значна разлікалася:

    • MCP Toolbox з яго блакіруючым чаканнем парадзіў усіма паметкамі: 4 крокі, 211,854 оплачваных токенав, 765 секунд.
    • Базавы сервер MCP, які адбываў польсінг дзесяць разоў, зайняў найбольш часу — 864 секунды за 23 крокі.
    • Звычайны кліент з альтэрнатыўным падходам мял наібольшыя вітраты: 328,316 оплачваных токенаў і 14,108 токенаў выходных рэзультатаў за 19 крокаў.

    Однаковая пастава ў чаканні дазволіла скорачыць колькасць крокаў на 80%, колькасць оплачваных токенаў — на 26% у пораўнанні з базовым методам запытанняў, а вітраты — на 35% у пораўнанні з звычайным кліентам. Кроме таго, гэты метод завершыў працу першым, адколькі агенты, якія выкарыстоўвалі метод запытанняў, павольваўся на дадатковыя прабыткі обработкі.

    Найболей выражаны показнік — гэта токены выходных рэзультатаў, якія ў кліенце былі у 11 разоў вышэй. Без інструментаў MCP агенту давелася самаму напісаць скрыпт для павторных спроб у Bash:

    while true; do
      st=$(cloud-cli operations list --project=production-db \
           --instance=staging-replica --format='value(status)' | head -1)
      [ "$st" = "DONE" ] && break
      sleep 20
    done
    

    У тэксце было напісана, што гэты цыкл выконваліўся тры разы ў аднойчы нешта іншых формах, адтак як кожна спроба зазнала няўдаласці ў чыстым монітарынгу. У канцы канцоў было вярнуцца да прыемнасці і задаць таймер працявання за пяць хвілін. Автонамны модэль выкарыстаў 14 000 токенав выходных дадзеных, каб занова стварыць функцыю wait_for_operation з нуля, і зробіў гэта пасляпліва. Агент, якому не была надана можлівасць чакаць, будзе ствараць такую можлівасць за вялікія затраты, і рэзультат будзе горшы, чым у інструмента, які не быў выпусканы.

    Кансалтацыя для дызайнераў API і інструментаў

    Дызайн для агентаў значыць перэосмысленне стандартаў REST і gRPC ў светле абмежэння, з якімі яны ніколі не сталкваліся: кожны выкладзены байт перачытваецца на кожным кроцы. Кожна з наведзеных ніжэй практык базуецца на чымсь, што можна змерыць.

    Заставіць можлівасць чакання на розных рэжымах

    Разныя сітуацыі выклікаюць разныя формы чакання, таму неабходна запростаць усе тры рэжымы і дазволіць агенту выбраць:

    create_instance()                       → { "operation": "operations/abc-123", "done": false }
    get_operation(id)                       → Tier 1: inspect status, resume after interruption
    wait_for_operation(id, timeout_seconds) → Tier 2: the 90% single-instance case
    create_instance(async)                  → Tier 3: durable handle for parallel, fleet-wide work
    

    Адаптаванне ўсіх трох прыемлівае практычна жадных дадзейнаў, пры тым разлік межа ўсімі імі станавіў 55% ад загальных віткоў у адной задачы клонавання. Обмежэнне прыемлівае першага рангу вымусіла агента CLI стварыць сабой механізм павторных спроб за цену 14,108 токенав выходных дадзеных.

    Указаць ID аперацыі ў тэле JSON

    Класычны REST размешчае лінкі аперацый у загалоўных рэквізітах, такіх як Location або Operation-Location. Сучасныя шары вызываў інструментаў, укладзеныя ў MCP, OpenAI Tools і LangChain, часта адмовяюцца ад HTTP-загалоўных рэквізітав і перадаюць модэлю толькі JSON-пераданне.

    Калі ID не ў тэле пакета, модэль не выдае явнага адзінства. У такім случае яна пераходзіць да безпасэчнага запыту да самага рэсурса замест таго, каб пераканаліцца ў успех аперацыі. Гэта ўсё дорожэ і менш прозрачна, адколі канцэнтры рэсурса часта пад час ініцыялізаціі вяртаюць код 404 або застарэлыя даны, таму актыўная обработка стае нерозразлівайной ад адзінства. У аднам запуску гэта прызвела да 221 павтарэнага вызову get_instance.

    Дадзіце явныя таймауты з структураванымі частымі рэзультатамі

    Блаканне на неакранічаны час несе рэальную апасцероху: перыядацься з’ўязкі, перыядацься балансавальнікі навантажэння на 300 секунд і задачы, якія застаюцца заморожанымі назаўсёды. Інструмент для чакання, які меў найменшыя загальныя вітраты, не меў таймауту і ў аднам случае блакаў працэс шанзаў шанзаў, залішаючы агента без можлівасці рэагавання, калі вызов застаўся у стане застою.

    Рашэнь — гэта параметр timeout_seconds, які за замовчаннем становіцься або 300. Калі практычна меры выкарыстоўваны, трэба вернуць структураваны статус, які не ўважаецца адказкай, а не выклікваць асывячэнне:

    {
      "done": false,
      "operation": "operations/abc-123",
      "elapsed_seconds": 300,
      "status": "RUNNING",
      "metadata": { "percent_complete": 65 }
    }
    

    Цяпер модэль можа адзірнуць прыгон працы і выбраць, чы хацець зноў чакаць, запускаць працу на фоне чы паведаміць корыстніку, не актываючы процедуры карэнтавання адказоў. Гэтае пале прыменшвае рызык заблокавання і ператварае працэс чакання ў рашыткаванне.

    Дзяржаўка для заданняў і асінхронных механізмаў

    Разрабоўка сервера, якая выкарыстоўвае MCP, можа атрымаць стандартызаваны фармат трэцьяго шаблону праз пашырэнне Tasks. Важныя моменты:

    • Нехай сервер сам выбірае шлях выканання. Заданняя ўпорадкованыя серверам. Абавешчайце io.modelcontextprotocol/tasks і вярнайце CreateTaskResult замест звычайнага рэзультата, калі запіт будзе выкананы дзяўна дзяўна. Не трэба, каб вызывачы пасылалі флаг асінхронносты, таму што кліент сам выбірае гэта пад час пераговораў пра можлівасці.
    • Адказвае структураваныя метаданыя хэндла: taskId, пачатковы статус, ttlMs і pollIntervalMs, і павярэдзяецца, што задача была створана надзейна пры выданні адказу. Такім чынам сэрвісы можаць сочыць за прыбыллю працы без актывацыі модэлю, а кліенты — восстанавіцца пасля збою.
    • Падтрымка паведамленняў пра завершэнне. Як толькі транспортная сістэма дазволяе, выкарыстоўваюцца пуш-паведамленні/задачы заместо польсінгу з боку кліента. Польсінг застаецца альтэратываю, але паведамленні абэгаюць непатрэбныя перадзваныя.
    • Зберагае стан завершаных задач і операцый прынеймна 24–48 гадоў. Калі кантэкст агента быў скампактаваны пад час чакання, а пазней ён польсінгуе завершаную задачу, ён павінен атрымаць рэзультат, а не код 404.

    Працавае з схемамі

    Кожны адаптаваны інструмент налагае плата за кожны крок кожнага заведамства, включаючы тыя, дзе ён ніколі не выкарыстоўваецца. Кошт прыблізна доравяе колькасці крокаў у паўзе з розмерам кантэксту. Блакуруючая паўза павышае першы фактар, тады як занадта большыя схемы інструментоў можу знішчыць гэты прырост за дапамогою другога. Сервер з наіменшай колькасцю крокаў все ж можа выкорыстоўваць максымальную колькасць токеноў, калі ў кожны з іх у кантэксце знаходзяцца вялікія схемы інструментоў. За дапамогою вялікага „паверхневага“ прастору інструментоў, завантажэнняя апісаў за патрэбай, выкарыстоўвання навыкаў чы адбавленне пошуку інструментоў дапамагаюць падтрымваць маленькія, завжды наяўныя схемы.

    Вывык

    Паўза — гэта архітэктурная рашэнне, якое формуе эканаміку агента, а не простая оптымізацыя. Замена токен-інтэнзыўнага поллінгу на ступеневыя, блакуруючыя чы заведамствам-адаптаваныя паўзы зменшае надзейныя вітраты, а лёгкія „паверхневыя“ прасторы інструментоў дапамагаюць агентам расшырвацца без неабходнасці плаціць за модэлі, якія лічыць секунды.