首页 / 文章

为何语音智能体听起来像机器人:串联流程、轮次检测与TEN框架。

为什么语音客服听起来像机器人:级联的文本转语音、大型语言模型和文本转语音流程会导致停顿和不良中断。四种类型的语音客服以及TEN如何处理对话轮次。

发布者:REACTAPP.TOP阅读约 8 分钟1924 词

来源: Why Your Voice Agent Sounds Like a Robot on Hold and How TEN Fixes It

大多数表现不佳的语音助手并非模型存在问题,语言模型通常足够智能。问题出在时机把握上:助手会在对方正在思考时抢先发言,提问后沉默三秒不回应,或者有人打断时仍不停止讲话。本文将解释为何传统的语音助手构建方式会导致这些问题,存在哪些类型的语音助手,以及Agora推出的开源TEN框架是如何解决时机问题的。

何为对话型助手

这个术语的使用过于随意,以至于几乎丧失了原有的含义,因此一个明确的定义很有帮助。对话型智能体是一种能够进行实时双向对话并理解所说内容含义的软件,而非仅通过匹配关键词来工作。“智能体”这一称谓强调了其基于理解采取行动的能力:查询记录、预约会议、更新工单,或利用会话早前的上下文来回答问题。

要求用户按1键进入账单查询功能的电话菜单并不算此类系统。而当有用户表示尚未收到上周二订单的退款时,支持机器人能立即回复该特定订单的状态,则已接近理想形态。最优秀的此类客服能够优雅地应对干扰,记住对话上下文,与人同步倾听与发言,并以足够快的速度回应,避免因沉默而被误认为是系统故障。速度与自然度正是大多数系统表现不佳的地方。

级联处理机制及其带来的尴尬感

在TEN这样的框架出现之前,语音客服系统是由三个独立系统依次串联而成的级联流程:语音转文本、语言模型处理,最后是文本转语音。用户说话后,第一个模型将音频转换为文字记录,第二个模型撰写文本回复,第三个模型再将该回复转换为音频。

理论上看起来很顺畅。但实际上,每个阶段都要等待前一个阶段完全完成。在说话者停止之前,转录功能不会发送任何内容;直到完整的转录文本到达,语言模型才会开始工作;而只有在完整的回复生成后,语音合成才会启动。简单的实现方式很容易在听到任何声音之前增加两到四秒的空白时间,这种沉默会被视为缺陷。

判断何时对方说完

这种级联式处理方式没有智能的方法来判断一个人何时说完话。它依赖于语音活动检测,而该检测实际上只是监听静音状态。如果静音时间超过某个阈值,比如半秒,系统就会认为当前发言已结束并开始处理。其后果显而易见:

  • 那些在说话途中暂停思考的人会被过早的回复打断。
  • 想要打断智能客服的发言者会发现它一直在说话。
  • 这种交互在结构上是轮流进行的,就像大声读短信一样。
  • 由于每个阶段都有不同的供应商,调试时需要跨三个系统进行追踪。

一种较新的选择及其成本

语音转语音模型可以一次性输入音频并输出音频。GPT-4o Realtime和Gemini Live就是采用这种方式工作的。由于没有文本中间环节,延迟更低。其价格取决于模块化设计:推理部分无法独立于语音部分进行更换,也难以在输入和输出之间插入合规性过滤模块,而且这类统一模型在复杂推理和工具调用方面的能力通常弱于专用语言模型。

四种类型的语音智能客服

在选择框架之前,先确定要构建哪种类型的智能体是很有帮助的,因为不同类型的智能体对应不同的用户期望。

监听型智能体。严格采用半双工模式,一次只能有一个发言者。该智能体会等待确认对方已沉默后再作出回应。典型的电话菜单、语音表单填写工具以及用于设置计时器的命令助手都属于此类。这类智能体易于构建,使用起来较为机械,适合处理结构化的任务;但一旦对话变得复杂,其功能就会受限。

中断型智能体。全双工智能体能够同时监听和发言,并能在被中断时仍保持上下文连贯。即便在对方说话途中进行纠正,它也会立即停止响应。这类智能体需要具备智能的轮次检测功能,而不仅仅是沉默检测功能,这也是实现自然对话的基础。

专家型智能体。多模态智能体能够同时处理视频、图像、文档、数据流以及语音信息。例如,学生在讲解代码时,导师可通过屏幕观察;医生在听取患者描述症状的同时查看X光片;会议机器人则可实时总结会议内容。这类应用需要一个能够同时协调多类数据流且不会产生瓶颈的框架。

协作型智能体。多方智能体可参与群组场景,如会议、课堂、多人游戏或多名学习者共同参与的语言课程。它们需要能够识别说话者、理解每位说话者的上下文背景,并能针对特定人物进行交流。在简单的处理流程中这几乎是不可能的,而具备内置实时音频路由功能的框架则能更轻松地实现这一目标。

TEN是什么

TEN即Transformative Extensions Network,是Agora推出的开源框架,用于构建实时多模态对话智能体。简而言之,它是一种介于AI模型与用户之间的运行时系统,负责协调音频流的处理、模型间的音频路由以及对话状态的管理,从而无需通过临时代码来实现这些功能。

该框架于2024年开源,此后被应用于AI伴侣、翻译工具、实时客服机器人以及会议实时总结系统等场景。其托管版本Agora的Conversational AI Engine则依托该公司全球范围内的软件定义实时网络,因此基础设施已由专业团队统一管理。

一个有用的思维模型:级联式流程意味着需要管理三个供应商之间的关系,并期望数据能在它们之间正确流动。而TEN则将各个组件视为扩展模块,在框架运行的单个图中实现模块化且可互换。这些扩展模块就是构建的基础单元,而级联阶段则如同通过天桥连接起来的独立建筑。

它的独特之处

并行运行的图结构

在级联式流程中,每个阶段都需要等待前一个阶段完成。而TEN则将其流程视为有向图来运行,其中的每一个扩展模块——无论是转录、语言模型、合成还是语音识别——都对应一个节点。这些节点会同时工作,并在生成部分结果后立即将其传递下去。正是这种方式,该框架宣称能够将延迟降低60%到70%,因为识别、生成和合成过程可以同时进行。

知道何时发声的模型

TEN 搭载了基于 Qwen2.5-7B 构建并针对对话意图进行训练的自主轮次检测模型。该模型不会仅通过沉默来判断,而是将每条话语分为三种状态之一:

  • 已完成。 思考结束,需要回复,例如请求帮助处理订单。
  • 等待中。 对话方要求智能体暂勿发言,比如说“稍等一下”。
  • 未完成。 出现了停顿,但还有后续内容,因此智能体保持沉默。

与仅依靠沉默检测的不同之处在于,它能理解停顿产生的原因。该模型原生支持英语和中文。

转录前的简易过滤机制

一种轻量级的语音活动模型也可充当预过滤器。在音频进入文本转录流程之前,它会去除背景噪音、音乐、呼吸声以及静音部分。这样传输到转录服务的数据量就会减少,从而直接降低API成本。两者结合可形成双层系统:一层用于判断是否有语音正在产生,另一层则用于判断当前对话是否结束。

可替换组件

每个组件都是一种扩展模块。从一家转录服务提供商切换到另一家,就意味着需要更换相应的扩展模块。在语言处理层面比较GPT-4o与DeepSeek,实际上就是更换扩展模块。若要为智能体添加文档检索功能,就需要接入记忆扩展模块。自定义扩展模块可以用Python、Go或C++编写,其运行环境支持Windows、Mac、Linux以及移动平台。

可视化设计工具

TMAN Designer 是一种无需编写代码即可构建智能体图的可视化工具。用户可通过界面拖拽、连接并配置各种扩展组件,且在部署前就能查看生成的图表。这不仅让后端工程师也能使用该工具,产品团队还能借此制作配置原型并传递给他人。

边缘端与云端结合

扩展组件可以在靠近用户的设备上运行,也可以在云端运行,或者两者结合使用。对延迟敏感的任务会在边缘端处理,而复杂的计算则交由云端完成。如此一来,平衡成本与速度只需调整配置,而无需重新编写代码。

底层的全球网络

通过托管的引擎,代理能够接入Agora的实时网络,该网络可动态路由音频、处理数据包丢失问题,并在各区域保持较低的延迟。同样的基础设施还能承载大量常规的音频和视频通话,因此代理在真实网络环境中的表现依然良好,而不仅仅是在安静的演示环境中。

适用场景与不适用场景

当目标是自然的实时对话而非问答式交流、当可以自由组合LLM、转录和合成服务提供商、当需要多模态体验、当无需构建WebRTC基础设施即可实现全球覆盖,以及当中断处理不能出现故障时,TEN是理想的选择。其典型应用场景包括AI伴侣、实时辅导老师、精细化的客户支持服务以及协作会议工具。

在三种情况下,其他方案更为合适。如果极低的延迟比模块化更重要,那么语音转语音模型是更好的选择。如果应用场景只是简单的命令与响应且没有中断,基本的级联结构就足够了。而如果出于合规要求必须在每个阶段对所有输入进行转录并存储,那么带有文本边界的分级系统则更便于审计。

语音转换检测即为核心产品

研究所有这些内容后得到的主要结论是:大多数语音质量问题并非语言模型本身的问题,而是出现在一些边缘情况中——比如过早切断对话、未能察觉对方仍在说话,或在被打断后仍继续讲话。图表和混合部署方式固然重要,但最重要的可能是专为解决“与机器对话是否自然”这一核心问题而设计的专用轮次检测模型。其他方面都可以进行调整。如果智能体不知道何时该停止说话,那么其他一切都将毫无意义。

该框架采用MIT许可证开源,可在几分钟内通过Docker容器运行,还包含一个可运行的示例智能体,在编写任何自定义代码之前先运行它是个好主意。最优秀的语音智能体,是其架构如此出色,以至于用户甚至会忘记它的存在,因为对话体验极其流畅。

相关阅读

  • 利用旅行机器人进行智能体评估:结果与路径、Gates与pass^k —— 一个用于评估智能体的实际旅行预订案例:结果轴与路径轴、加权得分前的确定性门控、2x2矩阵以及pass@k与pass^k的区别。
  • 你的智能体框架很可能设计过度:该剔除哪些部分 —— 随着模型性能的提升,框架结构会变成累赘。本文将解释冗余的评估内容与过高的上下文成本是如何累积的,以及如何测试哪些部分仍具有存在的价值。
  • GPT-Live-1语音智能体:会话流程、任务委托模式及实际电话线路费用 —— 对OpenAI全双工语音模型的实用解析:会话如何运行、响应机制与客户端任务委托的区别、成本估算方法,以及文档中的常见误区。