首页 / 文章

从评估到自我提升的智能体:智能体评估的五个发展阶段

智能体评估现在意味着对轨迹进行审计。了解确定性检查、大语言模型与智能体评判器、诊断机制以及元工具如何共同构建一个安全的改进循环。

发布者:REACTAPP.TOP阅读约 7 分钟1716 词

来源: From Evals to Self-Improving Agents

简述版

  1. 过去评估智能体通常只需查看其最后一条回复,现在则需要查看整个运行过程。
  2. 手写的确定性测试依然有价值,但只能识别出那些已被预见到的问题。
  3. 语言模型评估器适用于根据评分标准对输出结果进行打分;而作为智能体本身的评估器则能发现路径执行、工具使用及工作流程中的故障。
  4. 接下来的步骤是通过大量运行数据来进行诊断,找出在数千次实际运行中反复出现的故障模式。
  5. 能够自我改进的智能体需要一套元工具,包括遥测功能、诊断工具、拟议的修复方案、沙箱测试、验证机制、分阶段部署方式,以及确保评估者保持公正的手段。

为何仅凭输出结果已不够用

早期的大型语言模型应用都很简短,且大多呈线性结构:输入提示语,得到答案,再由人进行核查。而智能体打破了这种模式。它们能够规划多步操作,调用工具,读取和写入状态,编辑文件,从失败的操作中恢复,将任务委托给子智能体,并持续长时间保持活跃状态。

这样的系统会留下一条执行轨迹。其中包含请求内容、系统上下文、检索到的信息、中间推理过程、每次工具调用及其反馈结果、重试次数、错误信息、内存写入记录、耗时数据以及最终输出结果。出于评估目的,这条记录便成了执行过程的实际凭证。

因此,评分方式必须转向审计模式。一个看似正确的答案背后,可能隐藏着错误的工具调用、被忽视的约束条件、无关的检索结果、无人察觉的重试循环、选择不当的上下文、有风险的恢复措施,或是毫无依据的假设。这些缺陷代价高昂,因为它们会在多次运行中不断累积,悄悄削弱系统的可靠性。

在这种架构中,评估机制充当控制层的作用。它整合了实时追踪数据、评分标准评估、智能体评估、根本原因分析、沙箱回放、回归测试套件以及部署关卡。其目标并非让人工逐一审查每次交互,而是一个能够识别故障模式、起草修复方案、在历史案例及对抗性场景中进行测试,并仅将那些需要人工判断的情况反馈给相关人员的元级系统。

第一层:确定性检查

基于规则的检查依然是基础,因为它们能够捕捉到所有事先可以明确写出的问题。代码会经过单元测试、类型检查、代码分析工具、安全扫描器、契约测试以及快照检查。结构化输出则需要经过模式验证、必填字段检查、允许值验证、日期格式化检查、有效JSON格式检查以及策略限制检查。

在预期结果明确的情况下,应使用这些方法。它们运行速度快、成本低,每次都能给出相同的结果,且易于调试。不过存在的问题是覆盖率:只有那些被记得要编码的内容才会被测试。

使用这些方法可以衡量通过率、行为断言的覆盖范围、模式符合性、运行时间、重复性以及故障定位的精确度。它们适用于API、代码变更、数据提取、表单处理、受监管的流程以及受严格规则约束的任务。

第二层:以语言模型作为评判标准

基于大语言模型的评判方式之所以流行,是因为许多人工智能失误都源于质量问题。一条回复可能读起来流畅,但仍会遗漏某些内容;一份总结可能易于理解,却仍可能偏离要点;一条客服消息可能听起来很有把握,却违反了相关政策。

其运作模式是让模型根据既定的评分标准对输出内容进行打分,这些标准可能包括事实准确性、指令遵循程度、完整性、语气、安全性、引用质量以及整体实用性等,随后给出标签、分数、理由及支持证据。当输出内容形式较为固定但仍需人工判断时,这种方式非常适用,而且无需人工逐一审阅,就能实现大规模审核。

模糊的评分标准正是问题所在。让评分者寻找“良好答案”,那么表达技巧就会受到重视;而要求其检查证据、限制条件及失败模式,就能让评分工具发挥更大作用。

应为评分者设定独立的评估标准:分数的稳定性、不同评分者意见一致的频率、推理的合理性、证据的支持力度、错误判定结果的出现频率,以及与人类标注结果的匹配程度。这些标准适用于摘要生成、回复支持、写作质量、政策审核、信息提取质量,以及具有明确评判标准的复杂推理类答案。

第三层:以智能体作为评分者

智能体在运行过程中会留下各种轨迹,因此仅查看最终结果的评估者会错过最关键的线索。而智能体评估者则会完整查看整个运行过程,包括提示语、上下文的选择方式、工具调用记录、过程中的观察结果、重试次数、修改过的文件、运行的测试以及最终产物。它会提出针对性强的问题:工具的选择是否恰当?失败的测试是否被忽视?上下文是否过时?是否有无关文件被修改?智能体是否在未完成任务前就停止了?

这一点很重要,因为智能体的故障往往很隐蔽。某个输出结果或许能通过初步检查,但其生成路径却能暴露出真正的缺陷。

有用的评估指标包括轨迹是否有效、工具路径规划的质量、智能体如何恢复、它如何运用证据、任务是否完成、隐藏故障的检测程度以及升级处理是否正确。编码、研究、数据处理、浏览器以及工作流智能体都能从中受益,任何路径与目标同样重要的场景也同样适用。

第四层:轨迹诊断

第四层不再关注单次运行情况。诊断智能体会读取数千条轨迹,分析其中发生了哪些变化。可能是经过提示修改后故障增多,也可能是用于电子表格分析时选错了工具,又或者是因为检索返回的文件过多而导致延迟上升,还可能是质量检测智能体标记出了幻觉现象,却让被跳过的需求通过了验证。

它的作用是将性能变化归因于特定原因:上下文选择、提示词表述、工具路由、工作流设置、模型行为、检索质量或代码本身。仅报告分数下降是不够的,输出结果应包含具体的解决方案,比如修改提示词、增加评估案例、调整路由阈值、更新技能、修改代码或提交拉取请求。

其质量取决于能够覆盖多少追踪数据、根因的命名精度、偏差检测的准确性、故障的聚集情况、归因的可靠性、所提出修复方案的优劣以及可能带来的回归风险。它适用于生产环境代理平台、忙碌的支持人员、编码助手、企业工作流代理以及任何需要频繁更新的系统。

第五层:闭环处理

在流程顶端,循环结束。系统会收集遥测数据,诊断反复出现的故障,生成候选修复方案并在沙箱环境中进行测试,随后与标准数据集及历史记录进行比对,最后通过可控的方式逐步推广。此时自我改进已转化为真正的工程实践,而非凭感觉行事。

代理程序绝不能仅因某个指标略有上升就发布变更。必须设置多重保障机制:回归测试、对抗性场景、反事实测试、金丝雀流量测试、回滚计划,以及需要人工介入的阈值设定。

奖励操纵是最大的危险。智能体可能学会在不完成实际任务的情况下让评估者满意。编程类智能体可以隐藏错误,图像类智能体可以编造细节以提高视觉评分,而写作类智能体则可能一味追求评分标准中的固定表述,从而丧失作者的独特风格。因此,评估者需要通过独立检查、人工制定的基准、对分歧的审核、多层质量管控以及定期调整评分标准来进行进一步评估。

将评估视为控制系统

最根本的变革在于运营方式。团队应将评估作为智能体平台的控制系统,而一个完善的程序需要回答五个问题:

  1. 任务是否完成?答案很重要,遵循指令、事实准确性、政策合规性以及该任务特定的成功标准也同样重要。
  2. 流程是否正常?在涉及各种工具的情况下,需查看哪些工具正在运行、有哪些证据支持这些运行情况、发生了多少次重试、有哪些问题在未提前预警的情况下出现,以及升级处理是否在恰当的时机进行。
  3. 性能为何发生变化?生产环境中的性能下降可能源于提示词、模型行为、数据检索、路由阈值、工作流设置、工具错误或代码问题,因此诊断时必须区分症状与根本原因。
  4. 能否安全地提出解决方案?在发布之前,候选方案需经过沙箱测试、历史日志回放、对抗性测试以及回归测试。
  5. 谁来审核审核者?审核人员也会出现判断偏差,可能变得宽容、苛刻或容易受骗,因此需要校准集、人工验证的基准数据、分歧检测机制以及多层质量保障措施。

确定性检查用于处理已知的故障,大语言模型评估器负责判断质量,智能体评估器则检查路径,诊断智能体会找出重复出现的模式,而元调度规则则决定某个改进是否可以安全地投入使用。相关人员会持续参与其中,但处于更高层级:减少重复性审查,增加约束机制、异常处理、校准以及策略设计。

将生产环境的数据反馈回来

在评估系统运行之后,下一步就是从实际使用情况中学习。遥测数据为诊断提供依据,诊断结果又会优化评估过程,评估结果则指导优化工作,最终经过验证的变更会被反馈到分阶段部署中。这两个流程会并行运行。

一种是定性分析。生产反馈、用户操作轨迹、分析数据、失败的任务、上报给支持团队的问题以及工具故障,都不应仅仅停留在仪表板上,而应被纳入评估流程。当用户不断修正相同的答案时,这就构成了一个新的测试用例;当操作轨迹显示选择了错误的工具时,就需要进行路径验证;当分析数据表明某个步骤出现性能下降时,那就需要重新执行该流程。

另一种则是系统性优化。一旦需求规格、代码和评估标准都明确之后,优化工作就能更有条理地开展。需求规格描述了预期的行为,代码则包含逻辑、约束条件、工具及路由规则,而评估标准则用于判断各项指标是否有所改善。基于这三者,工具系统可以提出及时的修改建议,比如调整阈值、优化路由、增加额外评估或修改代码。

整个流程分步如下:

实时使用数据会为评估优化提供依据,进而推动智能体程序的改进,这些改进后的程序会在沙箱环境中重新运行,通过回归测试,然后在受控条件下发布,最终生成新的实时数据。

从这种视角来看,评估并非一次性给出的分数,而是推动智能体持续改进的循环机制:从实际使用情况中学习,将其转化为更精准的评估标准,根据这些标准调整智能体,仅释放通过验证的版本。

相关阅读

  • AI智能体的评估驱动开发:契约、追踪与评判器 —— 将评估视为智能体的CI/CD流程:将提示词视为契约,使用OpenTelemetry和Tempo进行运行追踪,再通过确定性检查及大型语言模型评判器进行测试。