首页 / 文章

免费验证器问题:为何当工作内容不再是代码时,代理循环就会停滞。

编码代理循环之所以可行,是因为编译器和测试可以免费进行验证。在代码之外则没有免费的验证工具:需要四种补贴、失败数据以及神谕测试。

发布者:REACTAPP.TOP阅读约 6 分钟1331 词

来源: Loop Engineering for Enterprise Agents: The Free Verifier Problem

如今有许多供应商将循环工程宣传为提示工程之后的进阶技术,而且相关演示确实存在。与其手动向编码智能体发送提示,不如为其构建一个循环机制。该机制会按预定时间触发,在隔离的代码分支上运行,由另一个智能体对其进行评估,并将运行状态记录在文件中,从而让每次运行都能从上一次的状态继续。Anthropic的Claude Code项目负责人鲍里斯·切尔尼表示,他的工作就是编写这类循环机制。谷歌的阿迪·奥斯马尼为这种模式命名,目前Claude Code和OpenAI Codex都将相同的六种基础功能作为内置特性提供。

这种方法确实有效,但其背后的原因往往不会被推广者明说,而且这一原因并不适用于其他类型的工作。

编码循环之所以可行,是因为代码库本身就自带验证机制。编译器、类型检查器和测试套件几乎无需成本就能立即对每一次尝试进行评估。所谓“创建者与检查者分离”的模式被广泛视为循环设计背后的信任机制,而在软件中实现它的成本极低,因为在一开始就有半部分功能存在于代码仓库中。

若将同样的循环应用到索赔处理流程、采购审批或客户问题解决场景中,就不会有现成的验证工具。必须自行构建验证机制,而几乎没人愿意为此拨款。这是判断代理程序在试点阶段是否会陷入停滞的最佳指标。

为何代码如此简单,其他事物却不然

在六种循环原语中,并非所有都能同样顺畅地应用于其他领域。定时执行、连接器、技能和内存等可以几乎毫无障碍地移植到其他领域,但有两种则不行。

隔离是首要原则。会话级 git 工作树使得 Spotify 能在一个代码库上并行运行数十个代理会话,而不会导致这些代理之间相互破坏数据。其内部的代理开发环境 Xirp 已记录下数千名工程师参与的超过 36,000 个会话,正是工作树保障了这种并发安全。总账系统没有 git worktree。企业级代理会向共享的记录系统写入数据,而两个代理同时操作同一个实体则属于数据完整性问题,而非合并冲突。

验证是第二步,也是成本最高的一步。在代码中,“这个功能是否正常工作”能由机器在几秒钟内给出答案。而在企业工作流程中,这种判断往往需要人工查看才能得出,有时要等到月底结账时,偶尔甚至要等到监管机构询问时才能确定。Claude Code会使用独立的模型来评估结果,因为自动评分会过于宽松。这是正确的设计,而在代码之外,这部分则需从头构建。

生产数据能反映哪些失败问题

在这里,证据不再是零散的个案。

Foundra的遥测数据涵盖了6,259个已部署的智能体以及约450万次运行,显示实际任务的成功率为56.6%,比基准性能低约37个百分点。重复操作会使情况更糟,而循环正是会导致重复的操作。在tau-bench测试中,那些单次尝试成功率约为60%的智能体,若需要连续8次都成功,则成功率会降至约25%。

各种数据也都表明了同样的趋势:46%的概念验证能够进入实际应用阶段,14%能在整个组织范围内推广,仅有约5%能带来可衡量的盈亏影响。Gartner预计到2027年底,超过40%的智能体AI项目将会被取消。

损耗本身并非关键所在,真正值得关注的是故障的聚集点。它们出现在各个衔接处:步骤之间的过渡、混乱的输入数据以及监控中的盲区,而非模型本身的能力问题。在编程循环中,编译器会在这三个地方标记出问题,而企业级的循环则没有自动评分机制。

LangChain 对1,300多名从业者进行的调查显示另一个数据:89%的团队在运行智能体时具备可观测性,但仅有52%的团队进行离线评估,37%的团队进行在线评估。几乎所有团队都在监控,但进行评分的却很少。一个仅被监控而未被评分的循环无法自我修正,它只会以更快的速度继续产生之前已有的结果,同时还有仪表板证明它仍在运行。

代码库为何会白白为循环提供支持

任何将循环从集成开发环境移至业务流程中的人,都应考虑 git 和编译器免费提供的四项功能,以及当处理的内容并非代码时这些功能各自需要付出的成本。

1. 标准参照。 测试和编译器每次运行都会在几秒钟内免费返回通过或失败的结果。在代码之外则没有默认的标准参照。若要使用它,就必须构建一个带有标签的评估集,也就是说需要有人先在几百个实际案例中确定“正确”的标准,之后循环才能在无人监控的情况下运行。这一项往往会被削减,但它却决定了循环能否正常工作。

2. 回滚。使用git revert可以无需成本地撤销错误的操作,这一特性使得自主编程代理成为可行的选择。已发送的邮件依然存在,已发布的日志条目或已提交的申请也是如此。当错误需要付出代价时,系统需要在操作之前设置检查点,而非在操作之后再进行修复,而确定检查点位置则属于架构设计范畴。

3. 隔离。工作树允许多个代理在同一个仓库中协同工作而不会发生冲突。而传统记录系统不存在此类机制,因此必须通过限定范围的租用、按实体锁定的方式,或是设置中间层让代理先进行写入,待内容准备好后再传入真实系统,来实现隔离。

4. 来源追溯。每一次代码变更都会生成带有作者信息和历史记录的差异对比文件,数月后即使当时不在场的人也能查看。企业级循环处理往往通过共享服务账户来完成,这导致整个流程被简化为“是集成系统所为”。随着2026年8月2日《欧盟人工智能法案》开始实施,这已不仅仅是运营上的麻烦。

这可以称为“免费验证者问题”:循环处理机制的可行性依赖于四种只有代码库才能提供的支持。

神谕测试

在任何架构设计之前,都需要先完成一步工作。

明确什么能证明工作已完成,以及谁来承担相关费用。如果这两个问题无法用一句话回答,那么你构建的就不是循环处理机制,而只是一个打着自主性旗号永远运行的流程。

人本身就可以成为答案。让资深理赔调整员每周审核30个案例样本,便是一种有效的判断依据,而且这种方式有明确的价格成本。而声称由代理机构自行检查则不符合要求。相关实验室早已遇到过这个问题,这也解释了为何Claude Code会使用另一款模型作为评分工具。

经得起考验的流程顺序

对于在大型企业中构建代理框架的团队而言,这种流程顺序往往能在实际应用中保持有效。

选择最接近可部署状态的流程。在添加任何循环结构之前,先在一行中写明判断答案。如果该答案需要超过一句话才能表达,说明流程尚未准备就绪,任何调度机制都无法改变这一状况。

接下来,根据89/37的比例设定评估覆盖率。如果你有控制面板但没有在线评估功能,那实际上只是有定时任务和监控费用,而非真正的循环机制。在某个工作流的发布流程中添加一个评估工具,并赋予其阻止流程继续的权限;没有这种权限的评估工具仅能生成报告而已。

最后,应将这四项补贴视为预算项目,而非设计上的附注。代码库免费提供的每一项功能,一旦脱离代码层面就变成了真正的工程成果,而忽视这一点正是导致仅有46%的功能能投入生产,而仅有5%的功能能产生实际损益差异的主要原因。

难点并不在于循环机制本身,而在于如何判定工作已完成——那些根本不需要通过代码实现的环节才是真正的难题。