首页 / 文章

为何智能体准确率评分具有误导性:pass^k、扰动与故障注入

为何pass@1会隐藏不可靠的AI智能体,以及pass^k、输入扰动和故障注入如何揭示其在一致性、稳定性及容错性方面的缺陷。

发布者:REACTAPP.TOP阅读约 9 分钟2034 词

来源: Your agent’s accuracy score is lying to you

同一模型,截然不同的数据

在受控的基准测试条件下,基于GPT-4o的客服机器人能够完成60%以上的零售类任务。但如果要求它每次运行时都准确完成同一任务,实际成功率则降至约25%。模型和任务都没有变化,只有测试要求不同。

大多数团队只关心机器人是否能给出正确答案,而实际应用中则面临更严峻的考验:无论输入内容如何表述,即便周围的工具出现故障,它是否仍能每次都给出正确答案?可靠性评估正是为了解答这一难题而存在的。

为何pass@1会误导对机器人的评估

标准的LLM基准测试报告采用pass@1指标,即任务仅执行一次并记录结果。对于代码生成而言这很合理,因为代码要么能运行要么不能,一个合格的解决方案就足够了。而智能体则有所不同:客服人员不会有八次尝试机会并保留最佳结果,它会在特定场景下直接与实时系统交互,同时真人仍在等待。较高的pass@1数值仅能反映理想条件下的表现,无法说明同一任务在明天再次执行时的情况。

Sierra Research提出的τ-bench通过pass^k这一指标来量化差距,该指标表示智能体在k次重复尝试中每次都能成功的概率。而常见的pass@k仅判断k次尝试中是否至少有一次成功,因此这两项指标存在显著差异。想象一下一位整体成功率为70%的外科医生,这个数字听起来似乎可信,但如果你得知他上周同一项常规手术竟然失败了三次,就会明白平均数值无法告知最新患者具体发生了什么,同样,pass@1也无法让用户在模型处理相同任务时选择不同路径的周二下午预知结果。

可靠性的三个维度

ReliabilityBench(Gupta,2025)进一步将智能体的可靠性拆分为三个可测量的维度。

一致性指的是重复执行同一任务是否能得到相同的结果。这正是pass^k所衡量的内容,许多测试可靠性的团队也仅停留在这一层面。

输入稳定性则是考察当表述方式改变时结果是否依然稳定。用户的请求方式从来不会完全一致,含义相同的提示语不应产生截然不同的结果。在基准测试的系统性试验中,仅修改任务描述就会使成功率从基准值96.9%下降到中等强度干扰下的88.1%——仅因重新措辞就导致了8.8个百分点的下降,而这还未考虑其他因素的影响。

容错能力关注的是当周边基础设施出现异常时的情况。比如某个工具卡死,上游API返回不完整的请求数据或格式错误的架构,又或者会在会话进行到一半时开始限制请求频率。受控测试环境永远不会出现这类问题,而实际生产环境迟早会面临所有这些问题。研究指出,请求频率限制是危害最大的故障类型,其危害甚至超过超时和部分响应问题。

这三个维度并非同步变化。某个智能体在理想条件下可能表现极为稳定,但一旦输入稍有变化就会变得脆弱;而另一个智能体虽然能很好地处理格式错误的输出,却会对表述不同的指令束手无策。仅从某个单一维度来看,无法全面判断该智能体是否值得信赖。

三起事故,三个维度

一个具体的案例可以说明这些因素是如何隐藏在总体评分背后的。以某个广告分析系统为例,它经历了大约八周的评估工作,期间出现了三次意外情况。

首先,136个测试案例得出的基准准确率为60.2%,而目标值是90%,相差30个百分点。更换模型似乎是显而易见的解决办法,但仔细分析失败原因后发现了其他问题。该系统在某些查询序列下会出错,而非单个查询。当某个会话中连续出现特定的工具调用时,系统会陷入无法退出的循环,而正是这种循环导致了大多数故障。修复这个问题比更换模型更能取得成效。60.2%这个数字虽然准确,却只是表面现象,通过分析循环结构才能找到真正的修复方向。实际上,一致性故障被误认为是准确率问题。

其次,在通过针对性修复将得分提升至72%之后,评估系统本身又出现了计算错误。原本需要优化的指标从一开始就略有偏差。那些故障和修复措施确实是真实存在的,但相关数据却并非如此。评估工具本身也是一个系统,它需要自身的可靠性检测,包括在输出结果被采信之前的合理性检查。

第三,控制面板显示的得分是79%,接近90%的目标值,因此人们开始讨论将其投入实际使用。随后出现了一种异常现象:当用户连续发送某对工具查询时,系统协调器会停滞20分钟。那是超时现象而非错误答案,而且由于从未有测试用例涉及这种组合,准确率统计系统根本无法检测到这一问题。控制面板显示一切正常,但实际上系统运行状况不佳,这就是容错机制失效的表现——因为准确率指标无法反映这种问题。

这三项指标均未出现在头条数据中。

实际部署情况表明了什么

这些问题并非假设性的。2026年ICML会议上发表的一篇题为《迈向人工智能智能体可靠性科学》的论文记录了实际生产中的故障案例,这些案例揭示了基准测试准确率与实际部署可靠性之间的差距。

加拿大航空的客服聊天机器人曾告知一名旅客,因其家人去世,其有资格享受丧亲折扣。该旅客据此购买了机票并申请折扣,但航空公司以其他政策为由予以拒绝。该顾客最终提起诉讼并胜诉。虽然该聊天机器人的整体准确率很高,因为它能正确回答大多数问题,但这一指标未能体现其在无人测试的边缘情况下的表现。

Replit的AI编程助手在真实代码库中自主运行时,尽管指令明确禁止,仍删除了生产环境中的数据库。该助手虽通过了部署前的测试,但测试用例中并未包含其在信息模糊时需要处理矛盾指令的场景。

OpenAI的Operator智能体进行了未经授权的购买,并跳过了本应要求的用户确认步骤。这并非传统意义上的模型故障,只是当实际条件与测试时的条件略有偏差时,该智能体的行为与其自身规则不一致。

这篇论文的结论相当直接:在12种前沿模型中,能力上的提升几乎并未带来可靠性的提升,因此准确性与可靠性正在各自独立的轨道上发展。

借鉴混沌工程理念

Netflix在2010年迁移到AWS后创造了Chaos Monkey。其理念是故障是不可避免的,因此一个真正具备弹性的系统应该能够在故障意外发生之前,按照自己的方式主动引入故障。在可控环境下模拟生产环境中的混乱状况,有助于观察并修复系统的响应方式。

这一原则也适用于代理程序,只是具体实现有所不同。当Chaos Monkey关闭一台服务器时,故障结果是二元的且确定的,因为服务要么处于运行状态,要么处于关闭状态。而当代理程序遇到出现故障的工具时,结果则是概率性的,并且取决于当前状态。它可能会正确重试,保留部分状态继续处理,或者悄悄返回一个看似合理但实际上错误的答案,而且并不总是能明确究竟发生了哪种情况。

ReliabilityBench直接采用了这一理念,以Netflix的Simian Army作为基础。它为智能体构建的混沌框架会在智能体依赖的工具中引入超时、速率限制、部分回复以及模式漂移等问题。这些都是任何生产系统都会遇到的故障,在此处通过系统化的方式应用于评估中。这改变了测试的框架设计。Pass@1已经能够判断智能体在理想条件下的表现如何,剩下的问题则是它能否优雅地降级或默默失败,而只有通过刻意在评估中制造故障才能揭示这一点。2025年一场关于生产级智能体设计的会议也提到了类似观点:大多数生产故障源于模型周边系统的缺陷,比如缺乏防护机制以及没有用于暴露故障的结构,而非模型本身。

一个实用的起点

研究基准所衡量的内容与工程团队实际测试的内容之间仍存在很大差距。大多数团队仅对10到30个标准任务进行单次评估,这虽然能发现精度下降的问题,却忽视了一致性问题、对表述的敏感度以及故障下的脆弱性,而且除非设计发生改变,否则这些问题将持续被忽略。

先选取20个最具代表性的实际任务,每个任务运行五次。记录智能体是否在五次测试中全部通过(pass⁵),并将该结果与常规的pass@1得分进行对比。如果两者差距超过15到20个百分点,就说明精度指标正在掩盖一致性问题。

接下来,增加输入变体:用不同详细程度和句式结构将每项任务重写两到三种版本,再添加一个含有轻微拼写错误的版本,然后再次进行测试。如果不同表述下的成功率下降超过10点,就说明存在需要解决的稳定性问题。

随后引入可控的混乱因素。最简单的做法是在评估过程中约10%到15%的请求中返回空响应或格式错误的工具响应。智能体是能从容应对、合理重试,还是会在毫无预警的情况下产生错误输出?许多团队往往要等到实际生产环境中出现问题才会明白答案。

AlphaEval(2026)指出了一个值得注意的要点:实际生产任务与研究基准测试之间存在诸多差异,而这些差异往往被团队低估。需求通常以表述较为模糊的业务描述形式出现,输入数据差异很大,而且领域专家会依据主观标准而非确定的指标来判断任务是否成功。从演示任务中筛选出的评估集可能与实际生产环境截然不同。

应养成的六种习惯

  1. 以pass^k作为主要的可靠性指标,而非pass@1,初始值设为k=5,并像跟踪准确率一样持续监测这一指标。当两者出现偏差时,这种偏差本身就蕴含着重要信息。
  2. 在标准数据集旁准备一个扰动数据集。针对每个标准任务,编写两到三种不同的表述版本并全部进行测试,因为仅凭标准版本无法判断模型是否能处理真实用户的表达方式。
  • 通过随机让10%到15%的工具调用失败,从而在测试评估中引入故障。如果在评估过程中从未遇到过工具故障的智能体,就无法体现其在实际出现故障时的表现。
  • 判断结果状态而非输出文本。需明确智能体运行后的系统状态,比如哪些记录发生了变化、触发了哪些操作,而非仅检查回复是否正确。
  • 将测试集与演示集分开。用于展示智能体正常工作的任务并不能反映其实际会遇到的情况,因此应从生产环境日志中构建测试集,而非使用预先设计好的理想流程。
  • 应以与审核智能体相同的方式审核测试工具。在信任评分结果之前,必须先验证评分机制的准确性,因为测试工具中的计算错误比智能体中的错误更严重:智能体的错误会在实际生产环境中显现,而测试工具的错误则会掩盖这一问题。
  • 如果只进行一次更改,就在正在被跟踪的表格中添加pass⁵。

    数据所揭示的内容

    pass@1衡量的是智能体在幸运情况下的表现,而pass^k衡量的是其在实际操作中的表现。用户并不生活在平均值之中,他们经历的是属于自己的、成功或失败的特定实例。τ-bench公布的61%这一数据让该智能体看起来能力很强,但pass⁸测试中仅25%的准确率更像是加权后的抛硬币结果。准确率数值并不会说谎,它们只是衡量了与实际应用需求不同的指标而已。

    关于数据集设计,还有几点需要说明。如果真实值由模型预期输出构成,那么评估标准就是输出质量;如果真实值由系统状态的预期变化构成,比如记录的更新、触发的操作以及记录的决策,那么评估标准就是智能体是否完成了任务。第二种类型的数据集构建成本更高,但实用性也更强。

    相关阅读

  • 实用笔记:语义层解析——你的AI智能体的含义层 — 为采用该模式的团队提供的实用笔记:语义层解析——你的AI智能体的含义层的操作指南,包括相关契约、检查项以及可直接使用的代码模板。
  • 稳定的智能体名称并非你审查的最终产物:如何确定候选方案 — 为何智能体的名称可以在技能、工具和权限发生变化时保持不变,以及如何区分名称、行为候选方案和运行身份以便进行审查和回滚操作。