首页 / 文章

构建可靠语音AI智能体的七项生产经验

延迟、中断、工具故障路径、提示词之外的业务逻辑、内存、可观测性以及人工交接:大规模语音智能体所需具备的条件。

发布者:REACTAPP.TOP阅读约 7 分钟1580 词

来源: 7 Things I Wish I Knew Before Building a Production Voice Agent

让语音助手能够进行对话其实出奇地简单。只需连接电话系统、文本转语音功能、大型语言模型、语音转文本功能以及几款辅助工具,就能实现对话功能。真正的挑战则是在有陌生用户开始拨打电话时才会出现。

对于每天要处理数百通电话的正式版本助手,会出现演示中从未展现过的问题:来电者会打断对话并盖过助手的声音;他们带有测试时未考虑过的口音;API响应变慢;大型语言模型会做出错误决策;某些工具在对话进行到一半时就会停止工作。而在开发阶段看似无关紧要的一两秒延迟,也会让助手显得功能异常。对于那些准备开发此类助手的人来说,有七点经验尤为重要。

1. 延迟决定了整个使用体验

这或许是最重要的教训。在普通应用中,一两秒的响应时间尚可接受,但在语音对话中则完全不同。想象一下,有来电者想要预约明天的服务,却一直没听到任何回应。一秒、两秒、三秒……此时来电者会开始怀疑是否有人接听了电话。

语音助手需要经过多个环节,每个环节都会增加延迟:

来电者 → 电话通信 → 文本转录 → 大语言模型 → 语音合成 → 来电者

来电者感受到的只是总延迟时间,而无法知道其中各个环节的具体耗时。例如Vapi就将语音到语音的延迟定义为传输、端点处理、文本转录、模型响应以及语音合成这几部分时间之和。

这改变了选择模型的方式。能力最强的模型并不一定最适合语音应用,而那些响应稍慢但能更快给出回复的模型往往能带来更好的对话体验。语音助手应以首次输出文字的时间为优化目标,而不仅仅是依赖模型的整体智能水平。

流式处理也同样至关重要。错误的流程会等待每个阶段全部完成:

文本转语音完成 → 大语言模型处理完成 → 文本转语音再次完成 → 播放音频

更优的流程则是让这些步骤同步进行:

文本转语音持续输出 → 大语言模型持续处理 → 文本转语音持续输出 → 音频立即开始播放

目标是要让用户体验到类似对话的感觉,而非一系列API调用的过程。

2. 中断是正常现象

人们通常认为最困难的部分是让大型语言模型写出优质的回复,其实并非如此。真正的难点在于当对方不按预设脚本发言时仍能保持自然的表现。真实的来电者会打断对话,说些“是的,但等等”、“不,不是那个”或“其实我们可以改在周五吗?”之类的话。

实际应用中的语音代理系统必须能够及时察觉到来电者开始说话,并在恰当的时刻停止自身的音频输出。这需要实现以下功能:

  • 语音活动检测,即VAD,用于识别语音信号
  • 确定通话结束的时间点
  • 检测在代理系统说话时是否有他人插话
  • 管理谁当前可以发言
  • 合理缓冲音频数据
  • 准确停止语音合成并重新开始

现在的语音平台都为此提供了专门的控制功能,因为时机不当会让原本聪明的智能客服表现糟糕。这种平衡十分微妙——如果干扰检测过于敏感,背景噪音就会打断客服的对话;而如果检测过于保守,客服又会盖过来电者的声音。

自然的对话不仅取决于说了什么,还取决于何时说话、何时保持沉默。

3. 每个工具都需要故障处理机制

语音客服几乎不存在仅仅为了聊天而存在的情形。它迟早都要采取行动:核对预约、查找订单、更新客户关系管理系统数据、安排会议或发送确认信息。这时就需要函数调用了,系统的架构也会变成类似这样的结构:

此时,该智能体就不再仅仅是人工智能相关的问题,而变成了分布式系统问题。假设来电者请求明天下午4点的时段。大型语言模型会调用checkAvailability()函数,API处理需要两秒钟时间,随后预订API出现故障,但智能体仍需向来电者说明情况。抛出异常并终止请求是不可行的,智能体必须在对话中恢复状态。不能直接显示“ERROR 500”这样的错误信息,而应使用诸如“当前无法查询该时段。想要尝试其他时间吗?”之类的表述。

智能体能够调用的每一个工具都必须具备故障处理机制。仅设计从请求到成功的正常流程是不够的,设计方案还需涵盖成功、超时、无效输入、API故障、部分失败、重试以及备用方案等情况。

4. 避免在提示词中包含业务规则

另一个陷阱是不断膨胀的系统提示词。它起初只有类似“如果用户说X,就执行Y”的规则,随后又加入“但如果X出现在Y之后,则执行Z”,再接着是“除非问题是关于……”。很快,一个5000字的提示词就包含了应用程序一半的业务逻辑。这种情况在它能正常工作之前一直持续。

提示词应涵盖角色或身份、沟通风格与原则、界限与约束、对话行为、何时使用工具以及需要收集哪些信息。确定性的业务规则应存在于应用程序中。例如,是否可以预约不应完全依赖大语言模型来决定,后端应当负责做出判断:

LLM
 ↓
checkAvailability()
 ↓
Backend validates availability
 ↓
Booking API
 ↓
Result returned to agent

大语言模型负责决定要尝试什么操作,而应用程序则负责判断该操作是否有效。推理工作由大语言模型完成,而所有必须准确无误的内容则由确定性代码处理。

5. 上下文并非记忆

拥有上下文并不意味着语音助手具备记忆功能。其中涉及多种类型的信息:本次通话中发生了什么,比如“用户希望周五预约”;从之前的互动中可知该用户的哪些习惯,比如“用户通常更喜欢下午的时间”;助手应当始终掌握哪些信息,比如“我们的取消政策是24小时有效”?

这些内容不应被直接合并成一个庞大的提示词。有两个问题需要解答:智能体当前需要什么,以及通话结束后哪些信息应当保留?随着对话时间的延长,这一点愈发重要,因为更多的上下文并不等同于更好的上下文。有时向模型提供更少但更相关的信息反而能获得更好的结果。记忆并不意味着要存储所有内容,而是要在恰当的时刻决定哪些信息值得提取。

6. 可观测性,否则只能靠猜测

手动测试无法暴露这个问题。一次通话表现良好,下一次也是如此。但当实际环境中出现数百次通话后,却有人反馈“智能体速度实在太慢”。问题出在电话系统、文本转语音功能、接口处理、大语言模型、工具执行、文本转语音功能还是网络环节?如果没有真正的可观测性,就只能靠猜测。

初期,团队可能仅通过听取通话内容来评估客服人员。这虽有一定帮助,但成本高昂且难以扩展,尤其是在需要对大量通话进行评估时。最终就需要一个独立的可观测性控制面板,以便无需手动检查每段对话就能发现规律。

至少,单次通话的内容应能一目了然:

Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome

调试方式完全改变了。“代理响应速度过慢”这样的描述变成了“大型语言模型生成第一个token的平均时间从350毫秒上升至1.4秒”,而这正是可以解决的。那些无法被检查的错误根本无法得到有效改进。

7. 知道何时该移交任务

这可能是最重要的教训。目标并非让人工智能处理所有事情,而是打造一个整体运行良好的系统,有时最好的做法就是将任务转交给人类。想象一下,有位已经重复说明三次的沮丧客户,强迫人工智能继续尝试并非明智之举,通常只会带来糟糕的体验。

生产系统需要明确的界限,例如:

Simple request
      ↓
     AI
      ↓
Can AI solve it?
  ↙        ↘
Yes         No
 ↓           ↓
Solve      Fallback
             ↓
       Human / callback

备用方案并非系统出现故障,它是设计的一部分。生产环境中的语音助手不应试图赢得每一场对话,而应懂得何时将对话转交他人处理。

可靠性才是核心功能

在构建此类系统之前,最大的挑战似乎是让人工智能听起来足够智能。但之后会出现一个更重要的问题:如何让整个系统具备足够的可靠性,从而赢得人们的信任?这属于另一类工程难题。它涉及延迟、对话轮次、电话通信、API接口、故障处理、内存管理、可观测性以及备用方案,当然还包括仅仅是其中一个组件的大型语言模型。

让语音助手能够说话并不难,但要让它成功完成数百甚至数千场真实对话则是另一大挑战,而造成这一差距的原因并非更优的提示词或更智能的模型,而是围绕该模型构建的工程体系。

在试图让智能体“更聪明”之前,以下七个方面值得重点关注:

  1. 延迟
  2. 中断处理
  3. 可靠的工具执行
  4. 确定性业务逻辑
  5. 上下文与内存
  6. 可观测性
  7. 优雅的降级方案

一旦智能体投入实际使用,可靠性便成为其核心特性。