首页 / 文章

为何智能体在离线评估中全过,但在实际生产环境中仍会失败

六种漂移模式会逐渐使评估数据集过时。四轴追踪分数以及每周的聚类与提升循环,能确保置信区间真实反映实际在线流量情况。

发布者:REACTAPP.TOP阅读约 9 分钟1994 词

来源: Why Your Agent Passes Every Eval and Still Fails in Production

想象这样一名客户支持代理:它的CI评估套件显示47种场景、四项评估标准,全部为绿色,因此被认为可以通过审核。但投入实际使用几周后,它给出的退款金额却相差十倍之多。它的评估结果在每次对话之间都自相矛盾。在某次追踪中,它向用户展示了另一位客户的订单信息。然而当调出那些出问题的对话记录时,每条对话在“每次对话的准确性”评估标准下依然得分良好。但实际上每次对话都让用户感到不满。评估系统却判定其可以通过,而到那时,用户的信任早已消失。

评估标准并非问题根源

第一反应往往是归咎于评估标准。更合理的解释是:三月份时这些标准还适用,但到了四月份就过时了,因为生产环境始终在持续变化。评估集只是某一时刻的快照,而生产环境则如奔流不息的河流。评估集不会被实际部署,只有追踪数据才会。每次发布后,该评估集就会开始老化,除非有新的故障模式重新出现在离线评估集中,否则离线测试通过与线上测试失败之间的差距并非偶然,这是数学逻辑决定的。

出现足够多的此类问题后,我们可以得出一个结论:应评估生产环境中的追踪数据,而非精心挑选的测试用例。离线评估仍然可以作为有价值的回归测试手段,但它绝不能成为阻止代码变更发布的唯一屏障,因为被冻结时的那些情况早已消失。有六种因素会逐渐削弱任何评估集,每种因素都以自己的速度发挥作用:

  • 数据集漂移:筛选后的测试案例全部通过,而实际生产环境中的用户意图却不在原有数据集中。
  • 工具与API的漂移:模拟环境返回的数据结构保持不变,但供应商却修改了数据格式或错误代码。
  • 提示词漂移:提示词v3的评分标准是固定不变的,而实际生产环境使用的是v17版本,却仍按v3的标准进行评分。
  • 检索语料库的漂移:索引在构建时就已经固定,但实际生产环境中的索引量已翻倍,相同的查询现在会匹配到新的数据片段。
  • 用户分布的漂移:测试输入是手动编写的,而真实用户的行为与这些输入完全不同。
  • 智能体步骤的累积效应:每个步骤的成功率为95%,但连续执行八个步骤后,整体成功率仅约为66%。

冻结评估集意味着冻结了关于用户会做什么、工具将如何响应、哪些提示语会生效以及检索器会呈现什么内容的假设。数月之后,这些假设各自发生了变化,而原本用于判定合格的评分标准却在评判一个智能体已不再所处的世界。

这个评分标准本身并没有问题,只是已经过时了,就像某个单元测试的目标函数在其下方被重新编写后依然显示为通过,但实际上已无法起到任何保护作用。对于软件而言,解决办法是对新函数进行新的测试;而对于智能体来说,则是通过实时追踪其表现来评分。这样,一个评分标准定义就能同时承担两项功能:一方面依据版本化的数据集来控制持续集成流程,另一方面作为跨度级属性对真实运行轨迹进行评分。持续集成设定了最低标准,实时评分则用于跟踪实际运行情况,而每周数据集都会收录该评分标准刚刚标记出的运行轨迹。

每种数据偏移的表现形式及解决方法

数据集偏移。在系统启动时有人编写了初始数据集,此后用户提出了许多当初未曾预料到的意图。由于数据本身没有变化,评分也就始终不变。需要注意那些数月来评分一直停滞不前的离线结果,而与此同时生产环境中的投诉却越来越多样化,工程师也难以用测试集复现大多数报告。每周都要抽取失败的追踪记录,按环节、意图和评分进行分类,将最棘手的5%到10%的记录标记上对应版本号后再加入数据集。这样每条被纳入的数据都能用于防范特定的功能退化问题。

工具-API偏移问题。CI系统使用模拟工具,但某个周二,真实接口的架构、错误格式或速率限制发生了变化。代理会尝试重试,但由于循环超时,它只能编造一个看似合理的回复;而由于模拟工具始终返回昨天的数据,CI系统的状态仍显示为正常。延迟增加、重试次数上升、检测标准仍通过但每次成功的成本不断上升,这些都是潜在问题的迹象。应在实时监控中为工具调用的成功情况设置独立的评估标准,这样出问题的调用就能与对应的错误回复一起显示在追踪日志中。模拟工具能检测到你造成的功能退化,而实时评分系统则能发现供应商导致的問題。

提示词漂移问题。提示词v17于周五正式上线,但评估标准仍沿用2月份v3版本中的内容。当前对智能体的评估依据其实是已经过时的标准。有个明显的迹象:有一位资深工程师检查了十组测试数据,其中有六组与评估员的判断不一致,却无法说明原因。应将评估标准的修订与提示词修订一同发布,将其视为一项测试标准,并通过少量校准数据观察评估员与人工判断的一致性,以便及时发现评估标准落后于实际情况。

检索语料库漂移。三月的检索器评估使用了12,000份文档且仅有一种分块大小。到五月时,索引中的文档数量增至38,000份,重新嵌入模型改变了各分块的排序方式,导致相同的查询得到不同的结果。生成器会依据现有数据继续工作,因此即便源材料有误,其真实性评分仍保持在0.94。用户认为该机器人的帮助程度不如上一季度,而生成质量评分并未变化,这就是这一现象的体现。按层次进行评估:诸如上下文相关性、分块归属等检索评分能提前反映出索引的变化,而生成评分则会掩盖这些变化。相关性下降而真实性评分保持稳定时,问题出在检索器;反之则出在生成器。只需一次二分法测试,就能替代三天的猜测工作。

用户分布偏移。构建该评估体系的人要么手动编写示例,要么直接使用初期流量数据中的示例。后续的真实用户会使用俚语、混合语言、长文本提示、截图以及该体系从未见过的连续追问,因此基于精选数据训练的评估模型对实时对话的评分会比人类更为宽容。如果随机检查的生产环境数据与评估模型的评分相差15分及以上,工程师们就会不再信任该评分标准,转而直接分析原始数据。应当用生产环境样本来校准评估模型,同时将模型与人类评分的差异作为独立的评估指标。

步骤累积效应。假设每一步的完成率为95%,且一次会话包含八次工具调用。将0.95提升到第八次方,结果为0.66,这意味着尽管每一步看起来都正常,但大约三分之二的会话在结构上会出现问题。评分标准从未进行过这种乘法计算。高分的单步表现与低分的完成度、结果及满意度数据相结合,再加上关于机器人反复询问相同问题或先肯定后又否定的反馈,都是问题的迹象。需对整个对话过程进行评分:包括对话层面的完整性、角色遵循度及知识保留情况,以及对该计划在整个流程中的执行情况的评估。虽然涵盖多轮对话的指标每单位成本带来的噪声更大,但它们能更准确地反映实际用户体验。

为何更大的数据集并无帮助

这六个案例的共同点在于时间节点。它们都是在评估数据集冻结之后出现的,而固定的数据集无法容纳那些尚未被提出的假设。3月的那组10,000个样本根本无法反映5月的工具结构变更、6月的提示词修改、7月的重新嵌入处理,以及8月用户提问方式的改变。更大的数据集也无法解决“快照”问题,只有从实际运行中抽取样本才能做到,因此评估应当在智能体实际运行的环境中进行。精心筛选的数据只会引发性能退化,而实时追踪数据才是真正的分析素材——在其中,故障会集中出现并随时被评分。每个被命名的故障组随后会变成次日数据集的条目,如此循环往复。

四轴追踪评分法

仅依据最终回复的每轮一致性来判断智能体是否出现偏差过于粗糙。一种更有效的追踪评分法包含四个维度,每个维度均以1到5分进行评分:

  • 事实依据:智能体是否始终依据检索到的上下文行事,还是凭空编造内容。这能揭示响应层面上的检索结果偏移与数据集变化问题。
  • 隐私与安全:是否存在个人信息泄露、越界操作,或执行了本应拒绝的越狱行为,从而暴露出权限处理与拒绝机制的退化问题。
  • 指令遵循:是否遵守当前的系统提示,即在提示版本更新到v17后相关规则是否失效,而智能体的行为仍未随之调整。
  • 计划执行:是否选择了正确的工具、按正确的顺序操作,且没有多余的调用或陷入死循环,这能反映出调用流程中的步骤累积问题及工具性能的偏移。

四个轴对应四种回归类型,并整合为一个综合指标。当该综合指标在趋势线上下降时,这些轴会显示是哪种漂移模式导致了这一现象;由于在持续集成环境和实际运行环境中使用的都是相同的轴,因此两处的诊断术语也保持一致。

形成闭环

缩小差距是一种工作流程而非功能,它包含五个步骤:

  1. 将出问题的跟踪记录归类为具体的问题,因为没人能逐一处理800条混乱的故障记录。
  2. 根据四轴趋势评分对每个类别进行评估,并附上关于当天即可解决的修复方法的简短说明。
  3. 从每个类别中选取3到10条典型的跟踪记录放入离线集合中,同时标注路径标签和评估标准。
  4. 重新进行验证:下一次持续集成运行会使用生产环境中的评分标准来评估这些新增的记录,这样后续对该路径的修改就不会再出现问题。
  5. 针对扩大的数据集优化提示词,相关修复必须在发布前通过CI中的评估标准。

对于正在使用的产品,应每周重复此操作,或在产品发布初期更加频繁地执行。超过四分之一个月龄的静态数据集很少能与实际生产环境保持一致,而对于变化迅速的代理而言,其偏差通常在两三周内就会显现。通过这种方式处理的每个问题都会留下回归测试用例,后续无需再有人重新编写。

需考虑的成本

  • 该循环增加了运营复杂度。分数计算、聚类以及升级步骤等机制比单纯的pytest评估文件更为复杂。相应地,回归测试套件也会越来越严格,而新的部署可以先仅通过追踪功能和离线评估来完成,之后再加入该循环。
  • 能够自我校准的评估系统需要自身的保护机制。针对实时数据调整的评分标准可能会偏离预期范围,因此应保留少量由人工标注的样本作为参照,一旦评估结果与这些样本的差异超过人类之间的差异幅度,就应触发警报。
  • 基于数据轨迹的评分方式,每单位噪声带来的成本高于离线评分。对30秒长的数据轨迹使用四轴评分标准,其成本高于对短案例逐轮评分的成本,且误差也更大。应根据故障信号来选取样本,而非随机选取,并在成本较高的评估系统之前部署一个价格低廉的分类器。

简版

评估集从交付的那一刻起就开始“老化”,而规模大小并不能解决快照问题。应评估当前的运行轨迹,而非冻结后的状态。在持续集成和实际运行环境中使用同一套评分标准,从合理性、安全性、指令遵循程度以及计划执行情况等方面对每条轨迹进行评分,将失败案例归类后每周重新放入离线集。通过离线测试是必要的,而通过实际运行测试才能真正保护用户。精心筛选的集合仅是初始样本,而生产环境中的数据集才是需要持续追踪的目标。

相关阅读

  • 在AI智能体获得生产权限之前:合同、需求图、影子运行与金丝雀测试 —— 一种以证据为基础的AI智能体发布流程:限定范围的合同、带状态的场景、故障注入、不确定性边界、分阶段的金丝雀测试以及机器强制的升级机制。
  • 利用编码智能体实现左移测试:选择最可靠的测试层级 —— 编码智能体如何帮助质量保证工程师查看代码库、确定每种场景适合的测试层级、减少浏览器测试工作,同时附有代码提交示例及配置文件使用建议。
  • 用于生产级图像智能体的闭环评估机制:Uber Eats的展示内容 —— 该文研究了Uber Eats照片增强智能体背后的评估设计,包括路由器召回、pass@K指标、偏差诊断、自动调优以及多层质量检测机制。