实时电话通话中的语音AI客服系统:为何异步I/O优于多线程,以及三个常见漏洞。
实时语音转文字、大型语言模型与文本转语音电话客服系统的经验教训:将多线程模式转变为异步I/O模式,以及工具调用泄露、悬空消息和过时传输问题。
来源: Building a Production Voice AI Agent: Threading, Async, and the Bugs Nobody Warns You About
这种实时语音代理能够接听电话,它将语音转文本、大语言模型处理以及文本转语音功能串联起来,并接入电话系统。此外它还需要具备插话功能,以便来电者能在机器人说话途中打断;同时要能转接给人工客服,并实现干净利落的通话结束。本文将探讨在处理多路并发电话时所做出的设计选择以及那些带来最大启示的故障问题,首先会介绍一个差点未被修复的错误。
流程简述
每通电话都会按顺序运行三个组件:
Caller audio → STT (Deepgram, streaming) → LLM (Groq, LLaMA 70B) → TTS (Cartesia) → Caller
- 语音转文本功能通过 WebSocket 传输音频并返回文本转录结果,同时具备基于语音活动的对话结束检测功能。
- 大语言模型会逐个返回标记,这些标记会被暂存直到遇到句子边界(句号、问号、感叹号或换行符)才会进入语音合成阶段,因此机器人可以在完整回复生成之前就开始说话。
- 语音合成功能通过相同的电话桥接将音频传回给通话方,按照实时时钟规律每20毫秒发送一个数据帧,从而实现同步播放。
其周边还包括干扰检测功能,一旦有其他人插话就会立即停止机器人响应;用于总结之前对话内容的记忆机制,以确保45分钟的通话仍在上下文窗口范围内;以及用于执行诸如转接给人工或挂断电话等操作的工具。没有哪个单一组件本身特别有趣,关键在于在配置有限的硬件上同时处理多通通话时会发生什么。
线程设计看似合理实则不然
最初的设计为每通通话分配一个用于处理干扰的后台线程。该线程会持续监听来电者的音频,一旦检测到有语音输入就会设置一个标志,其他处理阶段则通过该标志来判断何时停止监听并开始处理。由于每通通话都需要持续监听,因此为每通通话分配一个线程似乎是合乎逻辑的。
它的性能很快就下降了。在配备16GB内存和8核i5处理器的笔记本电脑上,同时进行4次通话就足以导致系统运行不畅,出现音频帧丢失、中断检测延迟以及播放不流畅的问题。
最初的怀疑在于线程池的大小:由于线程数量上限为30,第50个通话请求就会排在其他请求之后。这在大规模使用时确实是个问题,但无法解释仅进行4次通话时就出现故障的情况。
真正的原因更为根本。工作负载的瓶颈在于等待,而非计算。即便是一个轻量级的每次调用监听器,几乎所有时间都在空闲等待,等待来自桥接器的音频帧,以及足够强的信号来判断是语音还是噪声。实际的工作——比如检查标志位或计算用于检测静音的RMS值——只在长时间暂停之间才会进行,耗时仅几微秒。操作系统线程并不适合处理这类任务。每个线程都有栈结构,还会产生内核调度和上下文切换的开销,而Python对于非纯粹等待I/O的操作还会增加GIL限制。因此每次调用都需要承担线程开销,只能闲置等待下一帧数据。
Async/await则改变了这一状况。一个事件循环可以处理数千个正在等待网络响应的任务,因为被挂起的协程几乎不消耗任何资源:没有专用栈,无需内核切换,只需在队列中等待其套接字有数据即可。
因此,插入式监听器以及语音转文本、大语言模型和合成层都改用了 asyncio。监听器的重写就是一个很好的例证。此前,后台线程每20毫秒就会唤醒一次来轮询队列,检查是否有音频存在并判断是否为语音内容,即便在静音状态下也在进行无意义的等待。之后,音频转发循环会调用 asyncio.wait_for(queue.get(), timeout=...),这会使协程完全暂停且不占用CPU资源,直到有数据帧到达或超时触发。此时插入式监听标志就变成了在 await 语句处读取的普通共享状态,取代了之前由其他操作系统线程在不可预测的时间点写入的值。
因此,并发上限也发生了变化。现在的问题不再是操作系统能调度多少线程,而是有多少套接字可以保持打开状态、服务提供商的速率限制是多少以及网络带宽有多大,对于这类负载而言,这样的扩展曲线要友好得多。必须承认:最初担心50次调用时资源池会耗尽的担忧并非错误,但它只是与扩展性相关的次要问题。异步方案之所以更优,根本原因在于架构层面——对于以I/O等待为主的工作负载而言,无论资源池大小如何,线程都不是合适的抽象方式。
三个值得了解的漏洞
这些都不是什么罕见的漏洞。只有当真实的并发流量接入真正的LLM服务提供商时才会出现。
1. 工具调用以明文形式泄露
某些由 Groq 托管的 LLaMA 检查点偶尔会将结构化的 tool_calls 字段留空。取而代之的是,它们会直接将类似函数调用的字符串输出到文本流中,随后语音合成系统会将这些内容读出。
为迄今为止出现的每种格式都编写正则表达式会效率低下,因为空白符、键序或引号风格的细微变化都可能让正则失效。更好的方法是把流中的任何原始大括号或可疑标签暂时视为不安全内容,立即阻止其被输出,只有当它被证明属于以下两种情况之一时才会释放:要么是完整的、可解析的工具调用(会被转换为实际的执行指令并从输出中移除),要么根本就不是工具调用(则作为普通文本返回到流中)。设置安全机制也有帮助——如果暂存缓冲区的大小超过限制且仍未得到处理,就将其视为误报,可能是客户姓名中包含了类似大括号的字符,应将其作为文本直接输出,而非让回复永远停滞。经验教训是:当输出格式存在歧义时,不要逐一列举所有可能出错的格式,而应进行缓冲并验证。
2. 中断后的悬空工具调用
如果在大型语言模型正在发出工具调用时被中断,历史记录中可能会留下一个包含tool_calls的AIMessage,而这些工具调用从未收到过结果。由于消息顺序不再具有结构合理性,Groq的API会在下一轮处理时拒绝此类请求。
系统通过两层机制来解决这个问题。首先,当发生中断时会进行显式的回滚操作,移除那些无效的AI消息、与之关联的孤立工具结果以及触发该操作的用户消息。随后,作为最后一道防线,在每次大型语言模型调用之前都会运行净化程序,删除任何不匹配的AI消息与工具消息对。回滚操作能够及时发现并解决问题,而净化程序则可确保其他地方的错误不会影响下一轮的处理。
3. 已结束通话中的过时数据传输
转交给人工处理与断开连接是两个独立的工具调用。由于缺陷1中的泄漏处理机制,模型可以在同一轮次中合法地触发这两者——其中一个以结构化调用的形式出现,另一个则来自泄漏的文本。如果之前因其他原因已记录了转交请求,而该调用随后以断开连接的方式结束,那么后续系统在询问该调用是否已升级时可能会看到过时的记录,并将早已结束的调用发送到人工处理队列中。
解决办法是在所有可能结束调用的地方应用优先级规则:断开连接始终具有最高优先级,且任何首先结束调用的路径都会清除所有待处理的转交记录。这只是一个简单的规则,只有在观察到实际竞争情况后才会变得明显,因为根据模型回复的格式不同,两次异步工具调度可能以任意顺序完成。
那些虽不显眼却至关重要的细节
几项优化措施改变了与该机器人对话时的感受:
- 句子边界缓冲。文本以完整句子的形式送入合成系统,而非逐个标记处理,从而使语音听起来更自然,而非零碎断续。
- 突发干扰检测机制。干扰识别会忽略机器人说话最初的一到两秒内容,因为某些合成服务会在流式传输前对整个音频片段进行缓冲。在这段静默时间内,麦克风仍处于开启状态,对上一轮对话的快速回复可能会被误认为是对当前对话的干扰。
- 根据语音活跃度调整轮次结束阈值与超时时间。这些参数用于区分那些会在他人说话中途打断对方的机器人,以及那些显得反应迟缓的机器人;由于不存在通用标准,因此需根据实际通话录音进行调整。
实现所需的工作
这一切都不需要复杂的基础设施,无需 Kubernetes、自定义 C 扩展或特制的网络方案。只需 asyncio、严谨的状态管理,以及能够追踪两个异步任务同时执行时发生情况的机制即可。针对大语言模型、语音转文本及文本转语音功能提供了与具体提供商无关的抽象层,同时将对话引擎与电话传输部分清晰分离,这样就可以在不重写全部代码的情况下更换提供商、添加新工具或修复错误。对于那些正在构建类似系统的人而言,首先需要判断工作负载是受 I/O 限制还是 CPU 限制,然后再考虑是否使用线程。这或许能避免浪费一整个下午的时间去观察四路通话如何让一台性能不错的笔记本电脑变得卡顿。