验证人工智能智能体的行为：权限、审批机制与风险等级

在过去的几年里，生成式 AI 领域的大部分努力都集中在如何提出更好的问题上。随着模型具备了调用工具和修改实际系统的能力，另一项技能开始变得更为重要：验证 AI 实际做了什么。本文将解释为何错误操作属于与错误答案不同类型的故障，并为你在构建或采用智能体时界定权限范围、设置人工审批流程以及根据风险程度匹配自主权提供实用框架。

从仅能回答问题的系统到能够主动行动的系统

早期的聊天助手是被动式的：你提出问题，模型回复，然后由你来决定下一步该做什么。而智能体则改变了这种分工方式——给定目标后，它能理解请求、规划步骤、调用工具、执行操作、查看结果，并在各个步骤之间无需等待你就继续推进。

通过一个普通的请求最容易看出两者的区别。询问聊天机器人如何整理一堆杂乱的文件夹，你得到的建议可以采纳也可以忽略。而若授权智能体来执行整理工作，它就可以查看目录、重命名和移动文件、创建新文件夹、更新记录，并删除其认为重复的文件。聊天机器人只是给出建议，而智能体才会真正执行操作。正是这种差异，使得当智能体介入时必须重新考虑可靠性问题。

为何错误的操作比错误的回答代价更高

当模型提供错误信息时，你还有几次机会发现问题。你可以察觉到异常、再次搜索、与其他来源对比，或者直接忽略该回复。而人类则处于输出结果与任何后果之间。

在自主处理流程中，这样的缓冲区并不存在。下图展示了典型的流程结构：智能体读取信息、做出决策、调用另一个系统、更新状态，然后继续执行后续操作。请注意，整个流程中没有任何环节会暂停以进行复核。

Reads information
↓
Makes a decision
↓
Calls another system
↓
Changes something
↓
Continues automatically

第一步的错误会影响到之后的所有步骤。输入信息被误读会导致决策出错，进而引发错误的API调用，最终使得记录被修改，而后续步骤会将这些修改后的记录视为正确数据。正因如此，有价值的问题已从模型具备多强的能力转变为如何确保其安全地执行操作。

最小权限原则：限制智能体可操作的范畴

思考一下你会如何引导新员工上手工作。第一天时，你不会赋予他们对生产数据库、客户记录、财务系统、源代码以及部署流程的完全访问权限，而是会根据其岗位需求授予相应权限，并在建立信任后逐步扩大访问范围。

代理程序也应得到同样的对待。仅授予完成任务所需的访问权限，并尽可能将读取与写入功能分开：

• 仅能读取文档的代理程序无需拥有删除文档的权限。
• 仅能分析源代码的代理程序无需拥有部署生产版本的权限。
• 仅能起草邮件的代理程序无需拥有发送邮件的权限。

规则很简单：智能体只能获得完成工作所必需的访问权限。实际上，这通常意味着使用功能有限、专为特定任务设计的工具以及有效期短暂的凭证，而非通用令牌，这样智能体因困惑而做出的最糟糕行为也会受到设计上的限制，而非取决于其判断力。

对重要操作进行人工审批

最有效的方案之一也是最简单的：让智能体执行任务，但要求在运行前由人工审批那些可能产生重大影响的操作。下图将处理流程分为智能体负责的准备阶段，以及只有在人工审核并批准拟议的变更后才会开始的执行阶段。

AI identifies issue
↓
AI proposes solution
↓
AI prepares changes
↓
Human reviews
↓
Human approves
↓
System executes

你依然能保持较高的处理速度，因为智能体仍负责调查、提出方案并做准备，而关键决策则由人在关键时刻作出。当智能体呈现的是可审查的具体成果，如差异对比、需修改的记录列表或草稿消息，而非模糊的意图描述时，审批流程的效果最佳。

并非所有事项都需要人工批准，否则审核人员会习惯性地盲目同意。对上百份文档进行汇总处理完全可以无人监管地自动完成。但对于以下这类操作，则必须设置更高的审批标准：

• 转账
• 删除生产环境数据
• 公开发布内容
• 部署软件
• 更改安全权限
• 联系客户

如果您正在实现这种模式，我们关于结合LangGraph中断与检查点的审批控制代理以及代理的状态、审批与幂等性处理的指南已详细介绍了相关实现机制。

验证作为核心技能

目前人们大多关注提示词工程，近期则更多关注上下文工程。但验证同样重要：你能否判断结果是否确实正确？

这取决于领域知识。开发者必须能够批判性地审视生成的代码；金融从业者需要足够的专业知识来质疑生成的计算结果；研究人员必须确认所引用的资料确实存在，并弄清其中所述内容是否属实；设计师则需判断生成的布局是否能解决实际问题。人工智能虽能极大提升执行速度，但缺乏验证的快速执行往往意味着错误出现得更快。

将自主权与风险相匹配

用“人工智能是否可信？”这样的问题并期望得到是非答案是毫无帮助的。信任应依据具体任务以及可能出现的问题程度来赋予。一个简单的三层模型是个不错的起点。

风险较低：允许其自主运行

总结会议记录就是一个很好的例子。出错的后果较小且容易发现，因此给予较高的自主权是合理的。

中等风险：先自动化处理，再进行检查

修改软件功能属于典型的中等风险情况。智能体可以负责编写代码，但在发布之前仍需通过自动化测试和代码审查来确认结果。

高风险：需要明确授权

向账户转账的请求就属于此类情况。无论智能体看起来有多可靠，都必须经过严格的人工授权才能执行。

这一原则可推广为：验证的强度应与出错带来的代价成正比。

更高的自主性并不一定更好

人们很容易认为最具备自主性的智能体就是最好的。更值得探讨的问题是，何种程度的自主性才适合特定任务。合适的自主性水平可划分为几个层级：

• 仅提出建议
• 为他人执行任务做准备
• 在获得确认后执行

完全自动运行

设计良好的系统会将各项功能置于合适的层级，而非全部集中在最顶层。

连接工具前需考虑的问题

开发者不再只是将模型连接到文本框中，如今的智能体越来越多地与各种系统相连，比如下面列出的那些。

APIs
Databases
Browsers
File systems
Cloud infrastructure
Development tools
Business applications
External services

每一次集成都会增加一项功能，同时也会带来新的故障可能。除了判断智能体能否完成任务外，对于您所使用的每一款工具，都应思考以下问题：

• 它能够访问哪些数据及系统？
• 它能修改其中的哪些内容？
• 如果在执行任务过程中出错，会留下什么状态？
• 是否有办法撤销它的操作？
• 谁有权批准敏感操作？
• 所有操作是否都以可日后审计的方式被记录下来？
• 如何快速阻止它？

这些答案与所选择的模型同样重要。一个实用的准则是：任何不可逆且未记录的操作，都绝不能在没有人工干预的情况下被执行。

人工智能素养如今也包括风险意识

仅仅知道如何使用人工智能工具已不够，还需了解它的局限性所在。这并非为了制造恐慌，而是区分有能力的使用者与粗心大意的用户的关键。成熟的使用者不仅会考虑人工智能能否完成某项任务，还会思考是否应在无监督的情况下让其执行。

人工决策，机器执行

智能体能让一个人完成过去需要整个团队才能处理的任务，涵盖研究、分析、编程、内容创作、自动化、数据处理及运营等多个方面。这种额外的能力也带来了相应的责任。合理的任务分工应如下所示：

• 人类定义目标意图。
• 智能体负责执行操作。
• 周边系统设定边界限制。
• 人类核查关键结果。

核心要点

• 第一代生成式AI侧重于与机器对话；而智能体时代则在于将任务委托给它们，这种委托依赖于信任、边界设定、结果验证及责任追究。
• 自主处理流程中的错误会不断累积，因此需通过最小权限、可逆操作及完整日志来控制风险。
• 对那些后果严重且难以撤销的操作需经过人类审批，而低风险任务则可让系统自动运行，从而保持审核工作的实际意义。
• 关键问题正在从“AI能做什么”转变为“应当让它自主完成什么”，正确回答这一问题正逐渐成为一项核心工程技能。