首页 / 文章

代理人为等待付出高昂代价:轮询、阻塞与任务对比

一种用于衡量智能体在处理缓慢的云操作时三种等待方式的基准:轮询、阻塞及MCP任务,每种方式的令牌成本,以及给工具设计者的相关规则。

发布者:REACTAPP.TOP阅读约 8 分钟1807 词

来源: Your Agent Doesn’t Know How to Wait

几乎所有的云基础设施 API 都存在相同的机制。创建请求不会返回已完成的资源,而是返回一个收据:

{
  "name": "operations/abc-123",
  "status": "RUNNING",
  "done": false
}

数据库需要几分钟时间才能启动,而在等待期间,调用方只能获得一个跟踪编号。这就是所谓的长时间运行操作(LRO)模式,它存在于基础设施配置、模型训练、数据库迁移以及视频转码等任务之中。对终端前的操作人员而言,这不过是常规操作:执行命令,等待,然后去喝杯咖啡。

但对人工智能代理来说,这却是一个重大的设计抉择。对比不同处理等待方式的标准测试显示,成本差异可达5倍,生成的输出token数量相差11倍,同时还存在严重的并发瓶颈。大多数工具开发者在编写工具定义时并未意识到自己正在选择某种处理路径。该对比在相同的工作负载和相同模型下测试了三种方法:在代理循环中轮询、在服务器端阻塞等待,以及将等待任务交给专用管理工具处理。

为何等待成本高昂

智能体是一种在循环中运行的语言模型。它接收一个目标及若干工具,经过推理后调用相应工具,检查结果后再决定下一步行动。每个循环周期都算作一步,而一步并非独立的HTTP请求。在每一步中,整个对话内容都会被反馈到上下文窗口中:系统提示、所有工具的定义、目标以及之前所有的调用和响应。因此,总任务成本大致等于步骤数乘以每步的上下文容量。

现在想象智能体正在轮询某个操作。它调用get_operation函数后看到状态为“运行中”,要决定下一步该做什么就需要对所有已积累的信息进行一次完整的推理。它再次调用该函数,仍看到状态为“运行中”,于是又需要支付一次完整的推理费用。目前是使用按百万个标记计费的边缘模型来实现休眠功能的。

下文会反复出现四个术语:

  • 步骤数:智能体调用的工具次数。次数越少越好。
  • 计费标记数:用于衡量成本的指标,对缓存上下文的计费成本较低,约为新输入成本的十分之一。这就是云账单上显示的数值。
  • 工具接口:智能体可以通过MCP服务器或直接在终端输入CLI命令来调用的各种工具。
  • 任务:交由框架或MCP运行时处理的后台工作,这样就不会阻塞智能体的主线程。

基准测试的运行方式

该测试使用Evalbench针对相同的云数据库控制平面在三种配置下进行了测试:

  • MCP Toolbox,一种带有预置数据库配置的服务器。
  • 一个基础型的MCP服务器,提供简单的创建、读取、更新和删除工具以及操作状态查询功能。
  • 一种备用的 CLI 设置(gcloud),不包含 MCP 工具,此时智能体只能依靠shell命令来操作。
  • 每个难度级别有12项任务,这些任务在固定版本的CLI上通过Claude Opus运行,并由自动评分系统进行打分。在难度较高的任务中,有两项耗时较长:克隆实例和配置高可用实例。这三种设置以三种不同的方式处理等待情况。

    三种等待模式

    在循环中轮询

    服务器会返回一个操作ID,智能体则在其推理循环中不断发起查询:

    create_instance()      → operations/abc-123
    get_operation(abc-123) → RUNNING
    get_operation(abc-123) → RUNNING
    ... ×10 ...
    get_operation(abc-123) → DONE
    

    在模型上下文中进行了十次完整调用,最终才发现克隆仍在处理中。

    服务器端阻塞

    服务器提供了一个工具,可保持连接处于开启状态,直到操作达到最终状态:

    create_instance()           → operations/abc-123
    wait_for_operation(abc-123) → DONE   (one call, eleven minutes later)
    

    这只是第一步。空闲时间是在每小时仅需几美分成本的服务器上度过的,而非在每百万个标记就要数美元成本的模型环境中。问题在于阻塞操作是严格串行的,一旦调用保持开启状态,代理的线程就会被冻结。

    交给任务处理工具的任务

    代理不会通过阻塞自身或消耗标记来进行轮询,而是将操作交给后台任务执行器来处理:

    Bash(cmd, run_in_background: true)  → task_id: task-8921
    ... agent configures network rules, audits schemas, writes migration scripts ...
    TaskOutput(task-8921, block: true)  → done
    

    通过MCP Tasks扩展,启动任务与获取其结果变成了独立的操作。智能体启动任务后,会收到一个轻量级任务处理标识,随后便去处理其他有意义的工作。当它最终需要访问数据库时,会检查该处理标识或等待任务完成信号。只有这种模式才能让智能体同时等待多个操作,或将漫长的等待时间与有效的计算工作结合在一起。

    克隆测试的成本

    在克隆评估过程中(克隆一个实例、等待其准备就绪、确认其运行状态),在每种环境中,底层操作大约需要13分钟的实时时间。实际时间差异很小,但代币消耗情况却存在显著差异:

    • 采用阻塞式等待的MCP Toolbox在所有指标上表现最佳:共4个步骤,消耗211,854个计费代币,耗时765秒。
    • 而基本的MCP服务器通过10次轮询的方式耗时最长,共23个步骤,耗时864秒。
    • 备用CLI的运行开销最大:在19个步骤中产生了328,316个计费令牌和14,108个输出令牌。

    采用单次阻塞等待方式可使步骤数量减少80%,计费令牌数量减少26%,相比基本轮询方式;成本则比备用CLI降低35%。此外,由于轮询代理需要不断启动以进行额外推理,这种方式还能最先完成任务。

    最引人注目的数据是输出令牌的数量,CLI的该数值是其他方式的11倍。由于没有MCP工具,代理不得不用bash编写自己的重试脚本:

    while true; do
      st=$(cloud-cli operations list --project=production-db \
           --instance=staging-replica --format='value(status)' | head -1)
      [ "$st" = "DONE" ] && break
      sleep 20
    done
    

    它以略有不同的形式重复执行了那次循环三次,因为每次尝试都无法顺利完成监控。最终它放弃了,设置了五分钟后的唤醒计时器。有一个自主模型花费了14,000个输出标记从零开始重新实现wait_for_operation函数,但效果很差。如果一个智能体被剥夺了等待的能力,它就会以高昂的代价自行构建等待机制,其结果甚至比那些未被发布的工具还要糟糕。

    API与工具设计者的指导原则

    为智能体设计意味着要围绕它们从未面临过的约束条件重新思考REST和gRPC的规范:每一个被暴露的字节都必须在每一步中被重新读取。以下每一项实践都有相应的量化依据。

    提供分层等待模型

    不同的情况需要不同的等待策略,因此应提供三种层级,让智能体自行选择:

    create_instance()                       → { "operation": "operations/abc-123", "done": false }
    get_operation(id)                       → Tier 1: inspect status, resume after interruption
    wait_for_operation(id, timeout_seconds) → Tier 2: the 90% single-instance case
    create_instance(async)                  → Tier 3: durable handle for parallel, fleet-wide work
    

    同时使用这三种功能几乎不会增加额外开销,但在某次克隆任务中,它们之间的差异却占了总成本的55%。将功能范围限制在第一层迫使CLI代理自行构建重试机制,为此付出了14,108个输出令牌的代价。

    将操作ID放入JSON正文

    传统的REST架构会将操作链接放在Location或Operation-Location之类的请求头中。而包括MCP、OpenAI Tools和LangChain在内的现代工具调用层则通常会省略HTTP请求头,仅将JSON载荷传递给模型。

    当请求体中缺少该标识符时,模型并不会出现明显的错误提示。它会转而直接查询目标资源,而非先检查操作是否有效。这种方式成本更高且更不可控,因为资源端点在初始化阶段常常会返回404错误或过时数据,导致正常处理过程与失败状态难以区分。某次测试中就因此产生了221次重复的get_instance调用。

    添加明确的超时机制并返回结构化的部分结果

    无限期阻塞会带来实际风险:连接中断、负载均衡器在300秒后切断连接,以及任务永久卡住。在总体成本最低的等待工具中,既没有超时设置,有一次甚至阻塞了16分钟,若调用持续挂起,代理程序将毫无应对措施。

    解决方案是设置 timeout_seconds 参数,其默认值约为 300。达到该限制时,应返回一个非错误类型的结构化状态,而非抛出异常:

    {
      "done": false,
      "operation": "operations/abc-123",
      "elapsed_seconds": 300,
      "status": "RUNNING",
      "metadata": { "percent_complete": 65 }
    }
    

    现在,该模型可以查看进度,并决定是继续等待、在后台处理任务还是通知用户,而无需触发错误处理程序。正是这一机制区分了阻塞式等待与随机尝试。

    面向任务与异步机制的设计

    实现MCP的服务器可通过Tasks扩展获得第三种模式的标准形式。有几点需要注意:

    • 让服务器决定执行路径。任务由服务器主导。当请求处理时间较长时,应声明io.modelcontextprotocol/tasks接口,并返回CreateTaskResult而非普通结果。无需要求调用者传递异步标志,因为客户端会在能力协商阶段自行选择是否启用该功能。
    • 返回结构化的处理程序元数据:taskId、初始状态、ttlMs和pollIntervalMs,并确保在响应发送之前任务已成功创建。这样,调度器无需唤醒模型即可监控进度,而客户端在崩溃后也能恢复。
    • 支持完成状态通知。在传输条件允许的情况下,使用推送通知或任务而非依赖客户端的轮询机制。轮询仍作为备用方案,但通知可以避免不必要的往返请求。
    • 将已完成任务及操作的状态至少保存24至48小时。如果代理在等待期间上下文被压缩,之后又轮询已完成的任务,它应能收到结果而非404错误。

    统计模式数量

    每个工具都会在每项任务的每一步中产生费用,即便某些任务根本不会使用它。成本大致等于步骤数乘以上下文大小。阻塞式等待虽能提升第一个因素,但过大的模式结构却可能通过第二个因素抵消这一优势。即便步骤数最少的服务器,如果每一步的上下文里都包含庞大的工具模式结构,仍可能需要消耗最多的令牌。通过采用大型工具的简化版本、按需加载定义、运用技能或添加工具搜索功能,可以保持始终较小的模式结构。

    核心要点

    等待机制是一种影响智能体成本结构的架构决策,而非简单的优化手段。用分层式、阻塞式或基于任务的等待方式替代高令牌消耗的轮询机制,能够降低开销;而更精简的工具结构则有助于智能体扩展能力,无需为计算时间支付额外费用。