生产工程团队代理工作流设计原则
生产代理工作流的设计原则:完成合约、诚实状态、审批摘要、幂等外部操作、追踪与评估。
来源: What building agents taught me about production engineering
将自动化代理嵌入实际业务流程后,人们在信任自动化系统之前会提出不同的问题:证据来自何处?系统被允许修改什么内容?如果运行过程中中途出错该如何处理?这些问题比框架的选择更为重要,尤其是当账户调研、邮件发送、内容制作及后续跟进等上市相关任务都与业务系统相连时。以下原则正是基于这类工作经验总结而来,旨在为后续的开发提供指导。
想象一个普通的请求:调查一个账户,撰写一条有价值的消息,并将其放在有人能够查看的地方。该模型可以协助进行调查和撰写工作。而围绕它的所有要素,也就是软件,必须保留证据、处理审核工作,并对工作流程之外的任何变动负责。草稿的准备工作可能在获得外部授权之前就已完成,因此证据、授权和最终结果都需要分别进行核查。
在选择框架之前先确定“完成”的标准
不同的工作流程对“完成”的定义各不相同。当文档连同其来源资料、相关性判断以及关于仍有疑问之处的备注一同被保存时,账户处理即视为完成。而在外联流程中,只有当邮件服务提供商收到了该人确认发送的邮件后,流程才算完成。这些都是不同的完成标准,且均无法证明收件人已打开邮件。
一旦将这些规则写下来,实际情况就会显得有所不同。研究工作确实可能无法提供足够的证据。草稿可以在审核尚未完成时就先制作出来。外部操作虽然可能已被服务提供商接受,但最终投递状态仍可能处于待定状态。
让模型负责那些需要解释的内容,比如选择合适的来源、识别相关背景信息或解释推荐理由。让代码来强制执行那些有明确规则的内容:必填字段、允许使用的工具以及执行限制。模式可以确认来源引用是否存在,但该来源是否支持相关说法仍需通过证据来验证。
在这里,工作流与智能体之间的差异显得尤为重要。Anthropic将工作流视为预先固定的路径,而将智能体视为模型可以自主操控的框架。同一个产品可能会同时使用这两种方式,因此关键问题在于自由度何时会带来代价。
让状态反映真实发生的情况
在工作流扩展之前,需要先对数据模型进行深思熟虑。当一个名为status的字段需要同时描述研究、审核、执行和交付等状态时,很快就会变得含义模糊。将这些状态分开处理具有实际意义:如果草稿已保存但审核通知失败,下一步可以重新尝试发送通知而无需生成新的草稿,同时任何查看运行情况的人都能看到这两个事实。
审批过程也需要同样的精确性。在这种架构中,审批信息与操作、账户、接收者以及整个消息内容都相关联。一种可行的方法是保持消息内容不可更改,并从标准版本中生成摘要。在发送之前,执行者会将即将执行的操作与已批准的方案进行比对,检查有效期和当前权限,然后发送存储的原始消息内容。只有摘要才能检测出内容是否被修改。谁有权限审批则属于访问控制范畴。
模型不得通过返回approved: true的方式来自行批准。应用程序应通过受信任的审核流程来记录授权情况。某些影响较小的任务可以使用明确的固定策略,但在任何情况下,权限都应保持受限且可被检查。
每次运行只有一个逻辑负责人
像LangGraph这样的框架有助于你思考状态与转换逻辑,而n8n这类工作流工具则负责处理触发事件、路由以及可预测的数据流动。当任务跨越运行时边界时,就会出现另一个问题:哪一部分组件应对此次运行负责?
在这种设计中,有一个逻辑上的负责人负责调度、运行标识以及权威状态的管理。被委托的运行时接收到有限的任务后会返回结构化的输出,负责人在将工作流推进之前会对这些输出进行验证。这是一种应用模式,与具体工具的集成方式无关。
在账户概要中,委托方可以指定账户名称、允许的来源、工具权限、输出格式以及时间或成本预算。返回的结果应能区分已完成的任务与证据不足、工具故障或达到限制的情况,这样上级工作流就能针对每种情况作出相应处理,而不会将模型回答的结尾段落视为控制信号。
周围的软件即代理框架:这类代码负责提供上下文、暴露工具、管理执行过程并记录进度。Anthropic在长时运行代理方面的研究就是一个例子,它展示了如何通过明确的进度记录帮助后续会话继续处理未完成的工作。需要保留哪些记录取决于具体任务。
业务工作流的状态需要在外部、模型聊天界面之外进行持久化存储。LangGraph的文档明确了已保存的线程状态与跨线程存储的数据之间的区别,并提醒仅基于内存的检查点在重启时会丢失。选择何种存储后端属于运营层面的决策。风格偏好这类信息应存储在上下文中,而当前的授权状态则应由权限系统管理。虽然获取的页面或可复用的技能可以为任务提供参考,但绝不能让它们扩大任务的功能范围。多个工作节点可以为同一个逻辑所有者服务,前提是协调机制能够防止状态转换出现冲突。
为每个步骤设置独立的上下文
研究需要获取资料来源以及记录疑问的场所。写作则需要经过批准的概要、有效信息的范例以及相关规则。当每个步骤都有适合它的背景信息时,其表现就更容易评估。不同的角色可以在同一个运行环境中设置,无需额外的代理或基础设施。
技能包包含了一套可重复执行的流程:需要核查的资料来源、要生成的输出内容以及确认方法。执行控制仍由运行环境通过工具访问权限和资源限制来实现。在技能文件中告知工作者不要发送内容仅属于建议,而将发送权限完全交由运行环境控制则是具有实际约束力的限制。
大量的技能和设置也需要定期审查。当多个合理的指令同时被加载时,它们之间可能会出现冲突。在一次运行结束后,智能体可以建议更新内存,但其自我评估并不能证明确实有所改进。任何修改都应明确说明其来源、适用范围以及评估结果,才能改变其他人共享的行为。
将外部操作视为独立的执行问题
需精确描述工具的效果。创建本地文件、在服务端生成草稿以及发送消息是三种不同的操作,每种操作都有各自的权限要求。适配器应将服务端的回复转换为明确的状态信息,而集成测试则应检查服务端最终的状态。
对于会产生后果的写操作,应通过执行服务在发送前的最后一刻进行授权验证。凭证和网络路径必须能够为该验证提供支持,因为如果其他脚本也能使用相同的凭证访问提供方,那么单个辅助工具中的检查几乎起不到作用。
当没有回复时,恢复工作最为困难。想象一下,服务提供者收到了消息,但在处理程序存储结果之前连接就中断了。处理程序知道自己已经尝试过,但无法确定再次尝试是否会产生重复操作。应在多次重试中为同一操作保留一个身份标识,而每次尝试则使用独立的标识。如果服务提供者支持幂等性,它会为每项预期操作依赖一个稳定的密钥,其保障机制来自该提供者的服务协议。例如,Stripe的文档会说明参数是如何比较的、密钥的有效期有多长,而在密钥失效后仍重复使用它可能会生成新的请求。
如果有可靠的状态查询方式,就使用它。如果服务提供商承诺对相同的密钥和负载数据能够安全地重新执行操作,那么重试或许就能解决问题。如果这两种方法都无效,则应将结果记录为“未知”,并尝试协调处理或寻求人工协助。当服务提供商的数据可能存在延迟时,查询不到任何结果并不能证明该操作从未执行过。AWS关于安全重试的说明强调了在API协议中明确请求标识的必要性,这样才能确保客户端跟踪结果与服务提供商的实际行为一致。
事务输出队列可以防止在数据库写入与发送之间已提交的操作丢失,但它本身无法阻止服务提供者处理重复请求。检查点同样能让本地工作继续进行,却无法解决未知的外部结果。在出现模糊的超时情况后,相应的处理方式可能是通过支持的查询、事件,或是按文档规定的幂等重放机制来处理。本地生成的操作ID并不能使API具备幂等性。
在边界处进行测量
工具调用是观察代理行为的好时机。追踪信息应关联运行记录、工件版本、授权决策以及每一次外部尝试。应通过屏蔽处理和访问控制来选择性地捕获工具参数与结果,因为存储所有原始数据本身也会带来问题。
该记录必须回答实际问题:研究证据是否可用?验证是否导致了草案被拒?该任务是在等待审稿人,还是通知出现了问题?相关操作是已被接受、拒绝,还是悬而未决?
这些区分也有助于提升评估质量。对于账户工作流,可从普通案例加上少量复杂案例开始:
- 不同来源的信息存在分歧,而需求文档必须保留这些分歧。
- 消息在获批后被修改,这意味着执行操作需要重新获得授权。
- 同一任务出现两次,不得生成两个独立的操作流程。
- 服务提供方执行了操作后连接中断,因此恢复机制必须遵循其重新尝试时真正承诺的规则。
将确定性检查用于有效架构和匹配的审批等事项。对于相关性与证据对论点的支撑程度,可运用既定的评分标准及经过审核的示例。虽然模型评分能提供帮助,但需确保其判断与人类判断的一致性。Anthropic的评估建议将智能体的执行记录与环境最终状态分开,并建议重复试验,因为智能体每次的行为可能不同。这些方法适用于整个工作流程的测试。
对于草稿处理工作流程,需关注草稿未经修改即被接受的频率、审核人员所花费的时间,以及每份通过审核的成果所带来的总成本(失败尝试也需计入该成本)。覆盖率同样重要:有多少符合条件的请求产生了有用的结果。若忽略这一指标,系统只需拒绝难度过高的任务,就能显得更加稳定。
将行为作为一个整体发布
即使容器镜像保持不变,修改提示词也可能会改变运行行为,因此每次发布都需要一份清单,将代码版本与工作流程、提示词、架构、工具适配器、模型设置以及权限策略关联起来。每次运行都会记录其所使用的版本信息。这样一来虽然可以进行问题排查,但由于模型会发生变化、服务提供商可能更迭,且原始数据也可能丢失,因此无法保证能够完全复现原有情况。保留相关的输入版本或允许的快照有助于事后解释结果。
长时间运行的任务还会带来另一个问题:旧的检查点可能无法与更新后的状态架构相匹配。部署时必须明确决定是继续使用旧版本完成这些运行,还是将它们迁移过来,或是暂停以供审查。仅回滚工作节点镜像可能无法恢复兼容的运行行为。
任务会在关键节点重新启动:在工件保存之后、审核待处理期间,以及任务派发前后。当有多个处理节点时,数据库可通过条件更新或锁定令牌来拒绝过时的写入操作。而在系统外部阻止重复数据仍取决于执行方式的设计以及服务提供商的协议。
首次部署可以较为简单:一个服务、一个持久化数据库和一个后台工作进程或许就足够了。在构建大型集群之前,应先设置独立的身份凭证、限制重试次数,并为新的外部写入操作配置终止机制。只有当 Kubernetes 的调度或运维功能能够满足你已评估过的需求时,它才具有实际价值。
在完全理解某个工作流程之前,请坚持使用它
代理产品不断改变着低成本构建的可能性,探索这些产品是值得的。不过,保持足够的稳定性以掌握正在开展的工作同样重要。在处理账户简报或收件箱分类时,应在实现方式不断改进的同时,保持输入、有用输出及审核范围的固定。这样就可以用相同的示例、权限和恢复需求来评估新的模型或运行时。
采用另一种工具则成了一个具体问题:它能否更清晰地体现工作交接、减少审核人员的负担,或通过更少的手动步骤恢复中断的工作?这些是否足以证明进行迁移及后续维护的合理性?这才是值得持续思考的判断标准:明确哪些环节值得投入成本,清晰界定责任归属,并保留足够的证据,以便了解模型停止运行后的情况。
相关阅读
- 用通俗语言讲解 LangGraph 概念:状态、内存与协调机制 — 在编写代码之前:了解在 LangGraph 中协调机制、运行时、有状态智能体、短期与长期记忆、多智能体系统以及人类干预机制的含义。
- 利用 Agents CLI 从原型到正式部署:一个费用审批智能体案例 — 使用 Agents CLI 构建、测试、评估并将 ADK 智能体部署到 Cloud Run,过程中还会涉及追踪功能、BigQuery 日志记录、CI/CD 流程以及 RAG 扩展功能。