首页 / 文章

当人工智能代理失败时,该责备谁?追踪故障根源

为何“模型产生了幻觉”这一说法不够准确:从意图与检索到工具使用、重试与追踪,以及应当观察的内容,全面解析智能体故障的各个环节。

发布者:REACTAPP.TOP阅读约 8 分钟1753 词

来源: When an AI Agent Fails, Who Do You Blame?

图片显示正在请求人工智能代理为明天上午9点左右预订飞往圣保罗的航班。几秒钟后它回复称航班已预订。但实际上并未如此——没有机票,没有确认邮件,也没有任何扣费记录。

一个看似合理的结论是人工智能产生了幻觉。也许确实如此,但也有可能它的表现完全符合设计初衷。预订API可能返回了错误信息,而被代理误解了;代理可能在根本未调用预订工具的情况下就进行了航班搜索;API在完成交易后可能超时了;该工具可能只给出了报价而非确认的预订信息;又或者“明天上午”这个时间是根据错误的时区来解读的。

一旦人工智能系统开始执行任务而不仅仅是回答问题,故障就变得更难解释了。这带来了一个新的工程问题:当智能体出现故障时,该由谁或什么来承担责任?

旧软件更易于调试

传统软件可能结构复杂,但其执行流程通常较为清晰:

User
  ↓
Frontend
  ↓
Backend
  ↓
Database

当系统出现故障时,需要检查的地方是众所周知的:请求是否已到达后端、数据库是否宕机、下游 API 是否卡住、是否出现了异常。日志、指标和追踪数据有助于还原问题全貌。

而代理程序的情况则截然不同:

User Request
      ↓
Interpret Intent
      ↓
Retrieve Context
      ↓
Create a Plan
      ↓
Select a Tool
      ↓
Call the Tool
      ↓
Interpret the Result
      ↓
Reason Again
      ↓
Final Answer

在这里,成功的HTTP响应几乎不会提供太多信息。系统可以返回

200 OK

却仍然会做出完全错误的操作。这正是传统监控与人工智能可观测性之间的核心差异:一个系统在运行状态上可能是正常的,但其行为却可能是错误的。

“模型产生了幻觉”成了新的“电脑坏了”

几乎所有不良的AI输出都会被归类为幻觉,而这个标签很快就被过度使用了。比如,某个助手声称你的公司提供30天的带薪休假,而实际政策规定的是22天。这是幻觉吗?有可能。但假设正确的政策存储在文档库中,而检索系统拿到的却是过时的版本,那么在该给定的上下文下,模型给出的答案可能是完全正确的。模型并没有出错,出问题的是上下文处理流程,仅仅更换模型也无法修复整个系统。

智能体故障层次结构

一个有用的思维模型将代理系统视为一组可能出问题的环节堆叠:

┌───────────────────────────┐
│       User Intent         │
├───────────────────────────┤
│ Prompt / Instructions     │
├───────────────────────────┤
│ Context / Retrieval       │
├───────────────────────────┤
│ Memory                    │
├───────────────────────────┤
│ Planning / Reasoning      │
├───────────────────────────┤
│ Tool Selection            │
├───────────────────────────┤
│ Tool Parameters           │
├───────────────────────────┤
│ Tool Execution            │
├───────────────────────────┤
│ External Systems          │
├───────────────────────────┤
│ Orchestration             │
├───────────────────────────┤
│ Infrastructure            │
└───────────────────────────┘

可以将其称为智能体故障链。关键在于,最终结果仅仅是漫长执行路径中可见的末端部分。

1. 智能体理解错了内容

要求助手取消周五与约翰的会议。它找到了名为“与约翰的每周同步”的重复事件,并删除了整个系列。日历API正常工作,身份验证也正常,删除操作也成功了。故障其实发生在调用任何工具之前:

User Intent
     ↓
Wrong Interpretation
     ↓
Correct Tool Call
     ↓
Wrong Outcome

那是意图识别失败,而且很危险,因为初始错误之后的所有流程都可能正常运行。

2. 信息存在,但智能体从未看到它

假设一名法律助理正在阅读一份规定任何一方都可在90天后终止合同的文件。检索系统向模型提供了关于30天通知期的相关条款,于是人工智能就得出合同可在30天后结束的结论。同样,模型也可能因为错误的输入而得出看似合理的推理:

Documents
    ↓
Retrieval
    ↓
Wrong Chunk
    ↓
Model
    ↓
Wrong Answer

问题出在信息检索环节,而不一定在内容生成环节。解决RAG系统中的错误往往更像是调整搜索引擎的参数,而非修复聊天机器人。

3. 内存会导致智能系统迅速过时

智能体越来越依赖内存,而这种内存在有效期内固然有用,但一旦失效就会带来问题。假设该智能体记住了某些信息

Customer Plan = Basic

但该客户上周已升级,其实际状态为

Customer Plan = Enterprise

该智能体拒绝了用户应享有的功能。系统并未出现故障,内存存储也完全按照设计功能运行——它只是保留了那些已不再正确的信息。有时候,遗忘与记忆同样重要。

工具会提升风险等级

大型语言模型负责生成文本,而智能体则负责执行操作,这会改变风险状况。给智能体提供两种工具:

search_customer()
update_customer()

用户询问莎拉的档案中记录的是哪个地址。显而易见的工具是

search_customer()

然而模型选择了

update_customer()

那是工具选择失误。或者它选对了工具并通过了。

{
  "currency": "USD"
}

正确的数值应为

{
  "currency": "BRL"
}

那是工具参数出现故障。API可能运行正常,但结果依然错误。

有时工具会出故障

外部系统十分复杂。API会超时,数据库会断线,速率限制会生效,权限也会过期。请考虑以下这种连锁反应:

Agent
  ↓
Book Flight API
  ↓
TIMEOUT

客服应如何反应:重新尝试、询问用户,还是先确认是否有预订记录?现在假设预订确实完成了,但在返回途中确认信息丢失了,于是客服决定再试一次:

First booking  → SUCCESS
Response       → LOST
Retry          → SUCCESS

现在客户拥有两张票。这已不再仅仅是人工智能领域的问题,而是一个典型的分布式系统问题,重试、幂等性、状态管理以及事务处理都成了人工智能工程的一部分。

多智能体架构使得责任归属更加模糊

现在想象按顺序运行的三个智能体:

Research Agent
      ↓
Analysis Agent
      ↓
Writing Agent

研究代理能找到正确的事实,分析代理能准确解读这些事实,但写作代理遗漏了重要的限定条件,导致最终答案具有误导性。是哪个代理出了问题?代理系统越来越类似于由各组件进行概率决策的分布式软件,因此可观测性变得至关重要。

追踪比日志更重要

假设某个代理给出了错误的答案,而基础设施控制面板显示的内容却是:

HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0

一切看起来都很正常,但答案却是错误的。传统的监控只能告诉你系统已经运行,工程师需要知道系统为何会做出那样的决策。这就需要更接近于代理追踪的技术:

TRACE #84721
User Request
      ↓
Intent: "Book Flight"
      ↓
Retrieved user preferences
      ↓
Planner created 3 steps
      ↓
search_flights()
      ↓
Selected Flight #2
      ↓
book_flight()
      ↓
API response: timeout
      ↓
Agent assumed success
      ↓
Final response:
"Your flight has been booked."

现在这个故障是可以解决的。该智能体并非随意创建了航班记录,系统将未知的工具状态误判为已完成交易,而这是工程师可以修复的问题。

追踪信息应记录的内容

有用的智能体追踪信息应包含:

trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result

并非每个应用程序都需要存储所有字段,因为隐私、安全性和成本仍是重要考量。不过原则很简单:如果某个流程需要十步才能得出答案,仅记录最初的输入和最终的输出,就如同在调试微服务架构时只记录第一个请求和最终响应一样,几乎毫无帮助。

监控不等于可观测性

这一区别对人工智能系统尤为重要。监控用于判断是否存在问题,追踪用于了解任务所经历的路径,可观测性则用于探究系统为何会如此表现,而评估则用于判断该表现是否真正良好。

Monitoring
"Is the system healthy?"
        ↓
Tracing
"What path did it follow?"
        ↓
Observability
"Why did it behave this way?"
        ↓
Evaluation
"Was the result correct?"

人工智能工程需要这四者。

指标也必须随之发展

传统服务是通过诸如这样的数据来衡量的

Availability
Latency
Throughput
Error Rate

那些问题依然重要。代理人会提出新的问题:

Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task

其中最后一点尤其具有启示意义。那种每次请求成本为0.01美元但成功率仅为50%的智能体,可能比那种成本为0.03美元且成功率高达98%的智能体更不划算。最便宜的AI系统并不一定是基于最廉价模型打造的,而是能带来最廉价且成功结果的系统。

那么该由谁来承担责任?

再回到航班预订的例子。用户要求预订明天早上的圣保罗航班,智能体回复“已处理”,但实际上并没有生成任何机票。是模型的问题?有可能是。是提示词的问题?也有这种可能。还是检索系统、预订工具、航空公司API、协调器或基础设施出了问题?

令人尴尬的答案是,只有在能够重新构建执行过程之后才能确定答案。这标志着人工智能工程的一个重大转折点。一旦模型转变为智能体,而智能体又组成完整的系统,可靠性就不再仅仅是模型的属性,而成为整个执行路径的属性:

Model Quality
     +
Context Quality
     +
Tool Reliability
     +
Orchestration
     +
Infrastructure
     +
Evaluation
     +
Observability
     ↓
Reliable AI System

更强大的模型固然有帮助,但仅有性能并不足以让人工智能系统变得可靠。软件工程师们数十年来一直努力学习的那些基本原则依然适用:日志、追踪信息、超时处理、重试机制、权限控制、状态管理、测试、指标统计以及故障分析。当智能体在实际运行中出错时,“模型产生了幻觉”这种说法最终会和“计算机做了奇怪的事情”一样毫无用处。工程实践恰恰始于这些解释不再够用的时刻。

相关阅读

  • 当控制面板显示绿色但代理存在问题时:追踪状态 — 代理故障如何隐藏在正常步骤之间传递的状态中,以及需要通过何种追踪、运行时约束、路由记录和评估来发现这些问题。
  • 当分类器悄悄替换你的模型时:服务模型标头的必要性 — 无声地切换为成本更低的模型不会留下任何错误或日志记录。如何在 Claude Code 的转录文本中读取服务模型数据,以及为何服务提供商应在响应中公开这些数据。