当人工智能代理失败时,该责备谁?追踪故障根源
为何“模型产生了幻觉”这一说法不够准确:从意图与检索到工具使用、重试与追踪,以及应当观察的内容,全面解析智能体故障的各个环节。
图片显示正在请求人工智能代理为明天上午9点左右预订飞往圣保罗的航班。几秒钟后它回复称航班已预订。但实际上并未如此——没有机票,没有确认邮件,也没有任何扣费记录。
一个看似合理的结论是人工智能产生了幻觉。也许确实如此,但也有可能它的表现完全符合设计初衷。预订API可能返回了错误信息,而被代理误解了;代理可能在根本未调用预订工具的情况下就进行了航班搜索;API在完成交易后可能超时了;该工具可能只给出了报价而非确认的预订信息;又或者“明天上午”这个时间是根据错误的时区来解读的。
一旦人工智能系统开始执行任务而不仅仅是回答问题,故障就变得更难解释了。这带来了一个新的工程问题:当智能体出现故障时,该由谁或什么来承担责任?
旧软件更易于调试
传统软件可能结构复杂,但其执行流程通常较为清晰:
User
↓
Frontend
↓
Backend
↓
Database
当系统出现故障时,需要检查的地方是众所周知的:请求是否已到达后端、数据库是否宕机、下游 API 是否卡住、是否出现了异常。日志、指标和追踪数据有助于还原问题全貌。
而代理程序的情况则截然不同:
User Request
↓
Interpret Intent
↓
Retrieve Context
↓
Create a Plan
↓
Select a Tool
↓
Call the Tool
↓
Interpret the Result
↓
Reason Again
↓
Final Answer
在这里,成功的HTTP响应几乎不会提供太多信息。系统可以返回
200 OK
却仍然会做出完全错误的操作。这正是传统监控与人工智能可观测性之间的核心差异:一个系统在运行状态上可能是正常的,但其行为却可能是错误的。
“模型产生了幻觉”成了新的“电脑坏了”
几乎所有不良的AI输出都会被归类为幻觉,而这个标签很快就被过度使用了。比如,某个助手声称你的公司提供30天的带薪休假,而实际政策规定的是22天。这是幻觉吗?有可能。但假设正确的政策存储在文档库中,而检索系统拿到的却是过时的版本,那么在该给定的上下文下,模型给出的答案可能是完全正确的。模型并没有出错,出问题的是上下文处理流程,仅仅更换模型也无法修复整个系统。
智能体故障层次结构
一个有用的思维模型将代理系统视为一组可能出问题的环节堆叠:
┌───────────────────────────┐
│ User Intent │
├───────────────────────────┤
│ Prompt / Instructions │
├───────────────────────────┤
│ Context / Retrieval │
├───────────────────────────┤
│ Memory │
├───────────────────────────┤
│ Planning / Reasoning │
├───────────────────────────┤
│ Tool Selection │
├───────────────────────────┤
│ Tool Parameters │
├───────────────────────────┤
│ Tool Execution │
├───────────────────────────┤
│ External Systems │
├───────────────────────────┤
│ Orchestration │
├───────────────────────────┤
│ Infrastructure │
└───────────────────────────┘
可以将其称为智能体故障链。关键在于,最终结果仅仅是漫长执行路径中可见的末端部分。
1. 智能体理解错了内容
要求助手取消周五与约翰的会议。它找到了名为“与约翰的每周同步”的重复事件,并删除了整个系列。日历API正常工作,身份验证也正常,删除操作也成功了。故障其实发生在调用任何工具之前:
User Intent
↓
Wrong Interpretation
↓
Correct Tool Call
↓
Wrong Outcome
那是意图识别失败,而且很危险,因为初始错误之后的所有流程都可能正常运行。
2. 信息存在,但智能体从未看到它
假设一名法律助理正在阅读一份规定任何一方都可在90天后终止合同的文件。检索系统向模型提供了关于30天通知期的相关条款,于是人工智能就得出合同可在30天后结束的结论。同样,模型也可能因为错误的输入而得出看似合理的推理:
Documents
↓
Retrieval
↓
Wrong Chunk
↓
Model
↓
Wrong Answer
问题出在信息检索环节,而不一定在内容生成环节。解决RAG系统中的错误往往更像是调整搜索引擎的参数,而非修复聊天机器人。
3. 内存会导致智能系统迅速过时
智能体越来越依赖内存,而这种内存在有效期内固然有用,但一旦失效就会带来问题。假设该智能体记住了某些信息
Customer Plan = Basic
但该客户上周已升级,其实际状态为
Customer Plan = Enterprise
该智能体拒绝了用户应享有的功能。系统并未出现故障,内存存储也完全按照设计功能运行——它只是保留了那些已不再正确的信息。有时候,遗忘与记忆同样重要。
工具会提升风险等级
大型语言模型负责生成文本,而智能体则负责执行操作,这会改变风险状况。给智能体提供两种工具:
search_customer()
update_customer()
用户询问莎拉的档案中记录的是哪个地址。显而易见的工具是
search_customer()
然而模型选择了
update_customer()
那是工具选择失误。或者它选对了工具并通过了。
{
"currency": "USD"
}
正确的数值应为
{
"currency": "BRL"
}
那是工具参数出现故障。API可能运行正常,但结果依然错误。
有时工具会出故障
外部系统十分复杂。API会超时,数据库会断线,速率限制会生效,权限也会过期。请考虑以下这种连锁反应:
Agent
↓
Book Flight API
↓
TIMEOUT
客服应如何反应:重新尝试、询问用户,还是先确认是否有预订记录?现在假设预订确实完成了,但在返回途中确认信息丢失了,于是客服决定再试一次:
First booking → SUCCESS
Response → LOST
Retry → SUCCESS
现在客户拥有两张票。这已不再仅仅是人工智能领域的问题,而是一个典型的分布式系统问题,重试、幂等性、状态管理以及事务处理都成了人工智能工程的一部分。
多智能体架构使得责任归属更加模糊
现在想象按顺序运行的三个智能体:
Research Agent
↓
Analysis Agent
↓
Writing Agent
研究代理能找到正确的事实,分析代理能准确解读这些事实,但写作代理遗漏了重要的限定条件,导致最终答案具有误导性。是哪个代理出了问题?代理系统越来越类似于由各组件进行概率决策的分布式软件,因此可观测性变得至关重要。
追踪比日志更重要
假设某个代理给出了错误的答案,而基础设施控制面板显示的内容却是:
HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0
一切看起来都很正常,但答案却是错误的。传统的监控只能告诉你系统已经运行,工程师需要知道系统为何会做出那样的决策。这就需要更接近于代理追踪的技术:
TRACE #84721
User Request
↓
Intent: "Book Flight"
↓
Retrieved user preferences
↓
Planner created 3 steps
↓
search_flights()
↓
Selected Flight #2
↓
book_flight()
↓
API response: timeout
↓
Agent assumed success
↓
Final response:
"Your flight has been booked."
现在这个故障是可以解决的。该智能体并非随意创建了航班记录,系统将未知的工具状态误判为已完成交易,而这是工程师可以修复的问题。
追踪信息应记录的内容
有用的智能体追踪信息应包含:
trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result
并非每个应用程序都需要存储所有字段,因为隐私、安全性和成本仍是重要考量。不过原则很简单:如果某个流程需要十步才能得出答案,仅记录最初的输入和最终的输出,就如同在调试微服务架构时只记录第一个请求和最终响应一样,几乎毫无帮助。
监控不等于可观测性
这一区别对人工智能系统尤为重要。监控用于判断是否存在问题,追踪用于了解任务所经历的路径,可观测性则用于探究系统为何会如此表现,而评估则用于判断该表现是否真正良好。
Monitoring
"Is the system healthy?"
↓
Tracing
"What path did it follow?"
↓
Observability
"Why did it behave this way?"
↓
Evaluation
"Was the result correct?"
人工智能工程需要这四者。
指标也必须随之发展
传统服务是通过诸如这样的数据来衡量的
Availability
Latency
Throughput
Error Rate
那些问题依然重要。代理人会提出新的问题:
Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task
其中最后一点尤其具有启示意义。那种每次请求成本为0.01美元但成功率仅为50%的智能体,可能比那种成本为0.03美元且成功率高达98%的智能体更不划算。最便宜的AI系统并不一定是基于最廉价模型打造的,而是能带来最廉价且成功结果的系统。
那么该由谁来承担责任?
再回到航班预订的例子。用户要求预订明天早上的圣保罗航班,智能体回复“已处理”,但实际上并没有生成任何机票。是模型的问题?有可能是。是提示词的问题?也有这种可能。还是检索系统、预订工具、航空公司API、协调器或基础设施出了问题?
令人尴尬的答案是,只有在能够重新构建执行过程之后才能确定答案。这标志着人工智能工程的一个重大转折点。一旦模型转变为智能体,而智能体又组成完整的系统,可靠性就不再仅仅是模型的属性,而成为整个执行路径的属性:
Model Quality
+
Context Quality
+
Tool Reliability
+
Orchestration
+
Infrastructure
+
Evaluation
+
Observability
↓
Reliable AI System
更强大的模型固然有帮助,但仅有性能并不足以让人工智能系统变得可靠。软件工程师们数十年来一直努力学习的那些基本原则依然适用:日志、追踪信息、超时处理、重试机制、权限控制、状态管理、测试、指标统计以及故障分析。当智能体在实际运行中出错时,“模型产生了幻觉”这种说法最终会和“计算机做了奇怪的事情”一样毫无用处。工程实践恰恰始于这些解释不再够用的时刻。
相关阅读
- 智能体审计日志需要12个字段:六大框架实际记录的内容 — 对六大智能体框架的静态统计,基于12个字段的审计追踪草案:平均覆盖率为12个字段中的5个,且没有任何框架能够记录篡改证据或信任等级。