首页 / 文章

为何由客服工具而非模型来决定什么内容会被落地执行。

超时后的CRM更新揭示了为何客服人员需要工具合约、未知结果状态、幂等重试与确认完成机制,以及值得保留的控制措施。

发布者:REACTAPP.TOP阅读约 6 分钟1450 词

来源: The Model Is Not the Agent. The Harness Is the Product.

假设某员工需要更改客户账户的配送联系人。他找到相关记录,起草修改内容后调用CRM系统。但此时通话超时了。可能是修改失败了,也可能是修改成功了但回复丢失了,又或者CRM系统仍在处理中。

仅凭“已完成”这样的答复无法解决任何问题,而在不清楚第一次尝试结果的情况下再次发起通话也同样无济于事。虽然这只是个假设,但它揭示了一个真实的设计缺陷:要求执行某项操作与确认其结果其实是两件不同的事情。模型可以完美地执行请求,但产品仍可能无法掌握实际情况,而这正是协调层的职责所在。

协调层是什么

在这篇文章中,框架指的是在运行时将模型调用、上下文、工具、执行规则以及进度跟踪整合在一起的组件。它可能由多个部分构成,而且无需专门编写框架即可实现。访问控制由身份服务负责,持久化记录存储在数据库中,业务规则则存在于外部系统中。框架则位于这些组件之间,负责协调它们。

一个简短的公式可以概括这一点:模型提出方案,而框架则决定哪些方案能够得以实现。

模型能够进行规划、解读证据并判断工作是否完成,因此重点并非让软件围绕被动的模型进行思考,而是系统即便在模型判断出错时也必须强制执行其限制。

OpenAI对Codex智能体循环的描述揭示了其工作流程:准备输入数据、向模型发起查询、运行所需的工具、将工具的输出结果传回,如此循环直至模型输出消息。这条最终消息标志着一个轮次的结束。但仅凭这一点无法证明客户记录是否发生了变化。

这并不意味着该工具套件就是完整的产品。模型质量、用户体验、领域专业知识以及系统集成能力同样至关重要。对于简单的写作任务,一次模型调用就足够了;而编辑CRM记录则需要相应的操作权限,以及系统出具的修改证明。

工具即契约

名为“更新客户”的工具描述不够详细。它没有明确指定是哪位客户、哪个账户,哪些内容会发生变化,以及如果在客服人员读取记录后有同事对其进行修改会怎样。Anthropic关于工具设计的建议强调要明确功能目标、提供有用的返回值,并在真实任务中进行测试。描述内容用于指导模型的选择,而背后的代码则需确保规则得到遵守。

以配送联系人示例而言,合同可以涵盖以下内容:

  • 主体:在客服人员有权操作的账户范围内,已确定的客户ID。
  • 内容:仅包括请求中指定的配送联系人相关字段。
  • 保护机制:客服人员最后查看的记录版本,前提是系统能提供该信息。
  • 标识符:稳定的请求ID,前提是服务能够基于该ID进行去重处理。
  • 答案:一种结构化的状态、支持性证据以及错误信息,以便相关人员或程序据此采取行动。
  • 这些只是建议选项,并非所有CRM系统都提供。

    明确的边界比笼统的措辞更为重要。提示语“仅更新已授权的客户”属于建议性质,系统本身必须核实真实的身份、账户、目标以及允许修改的字段。读取操作同样需要界定范围:不能仅因为没有进行任何修改就认为获取整个客户数据库是无害的。Anthropic关于控制Claude的论述主张对模型、执行环境以及外部内容实施多层控制。

    在这种设计中,超出范围的请求会在任何写入操作之前被拒绝。版本冲突应被视为对已更改证据的处理问题,而非是否允许覆盖的权限问题。

    当结果未知时

    超时后,系统应记录为未知结果。这既不是成功,也未必是失败。未知是一种合法的执行状态,但并不意味着可以再次尝试。

    当三种状态保持分离时,恢复会更为容易:

    1. 工作上下文:模型为做出下一步决策所需的信息。
    2. 持久运行记录:初始计划、实际执行内容、审批人以及尚未解决的事项。
    3. 外部业务状态:CRM系统中当前存储的信息。

    聊天记录可以帮模型重新启动,但不应成为重要操作的唯一记忆载体。检查点也有其局限性,因为一旦保存后现实世界仍在不断变化,此时可能已经有人修改了相关联系人信息。Anthropic的托管代理设计恰恰说明了为何需要将不同组件分开:会话日志、工具集与执行环境彼此独立,这样新的工具集就能从已保存的事件中继续工作。规模较小的应用则可在同一服务内保持这种逻辑分离。关键在于能够恢复状态,而非复制整个分布式架构。

    对于联系人查询示例,发送请求前应先明确所需的操作。超时后,可向服务查询该操作的状态或寻找其他可靠的证据。如果回显结果显示了新的联系人,那就说明当前的状态如何,但并不一定能表明是哪次请求导致了这一结果。所有上报的信息都应基于现有证据的范围。

    重试需要具备幂等性

    “尝试三次”仅说明了坚持尝试的时间长度,并未提及再次尝试是否安全。AWS Builders’ Library在其关于幂等API的指南中提出了更严格的方案:调用方需提供请求标识符,服务能够识别重复的请求意图,并将重复的请求与相应的变更一起记录下来。

    本地标识符无法一次性触发外部写入操作。服务必须遵守协议规定,包括参数规则和数据保留期限。在CRM场景中,恢复规则分为三种情况:

    • 如果有权威证据证明操作已完成,则检查所需的后续条件并结束处理。
    • 如果服务的协议允许安全重试,则使用相同的操作标识和意图在限制范围内重新发送请求。
    • 如果结果仍不明确且重试不安全,则暂停并寻求帮助。

    仅仅为了重复一次不确定的写入操作而生成新的请求标识符反而违背了初衷。而当CRM无法可靠地报告操作状态或进行去重时,可选方案就会大大减少。这种限制应在产品设计中得到体现,而非用更看似合理的提示来掩盖。

    循环的显式退出方式

    一个有效的循环会进行观察、决策、执行和验证,同时还需要明确的退出路径。

    该产品应能区分这些最终状态:

    • 已完成:所需结果已经过检查并得到确认。
    • 等待审批:下一步操作需要权限更高的人来处理。
    • 因输入或依赖项受阻:进展需要代理无法提供的某些条件。
    • 已取消或超出预算:运行结束但并未取得任何成功结果。

    在持续运行的过程中,重试仍需遵循恢复规则。仅仅因为代理持续处于忙碌状态,并不意味着重复失败就是进展。系统应保留足够的证据来解释其决策:相关的工具调用记录、返回的状态信息、授权检查结果以及最终处理结果,除非确实需要并采取了保护措施,否则敏感数据不应出现在日志中。

    评估也遵循相同原则:应检查被修改过的环境,而不仅仅是查看最终输出的消息。即使回复措辞得体,但指错了联系人,依然属于失败。而对于未解决的写入操作,若能给出合理的解释并暂停处理,反可能是正确的结果。

    不要构建超出需求的系统

    这并非主张使用尽可能庞大的框架。Anthropic在长期运行的应用中进行的实验是逐个移除组件,并随着模型性能的提升重新评估每个组件。额外的评估有助于处理更复杂的任务,但在模型本身已表现良好的情况下则只会增加负担。

    由此会出现两类组件。产品控制机制负责处理授权、恢复以及任务完成后的责任归属等要求。模型专用支撑结构则通过反复规划、纠正提示或额外的评估步骤来弥补现有缺陷。每次模型升级后都需重新测试这些支撑结构。只要产品仍有需求,就应持续保留产品控制机制。目标是在确保工作安全、可观测且可恢复的前提下,构建最小的控制系统。

    在模拟的CRM任务中,最终反馈应当具体明确:已核查的记录、当前与请求匹配的字段以及仍待处理的事项。若结果未知,则直接标注为“未知”。待审批的任务需说明正在等待谁签字确认。因预算限制而中断的任务绝不能被视为成功。

    让客服人员值得信赖的并非坚持不懈,而是能够清楚了解自己的操作,出问题时能够及时补救,并始终遵守既定的规则界限。

    相关阅读

  • SkillClaw:当一个智能体失败时,所有智能体都会学习 — SkillClaw如何从众多用户那里收集交互痕迹,利用智能体进化器提升共享的智能体技能,并在部署前立即验证这些变更。