Por qué los agentes de voz suenan robóticos: las cadenas en cascada, la detección de turnos y el marco TEN.
Por qué los agentes de voz suenan robóticos: las cadenas en cascada de STT, LLM y TTS causan silencios y malas interrupciones. Cuatro tipos de agentes de voz y cómo TEN gestiona los turnos.
Fuentes: Why Your Voice Agent Sounds Like a Robot on Hold and How TEN Fixes It
La mayoría de los agentes de voz que se comportan mal no tienen un problema con el modelo. El modelo de lenguaje suele ser lo suficientemente inteligente. Lo que falla es el timing: el agente habla por encima de alguien que solo estaba pensando, permanece en silencio tres segundos después de una pregunta o se niega a detenerse cuando alguien interrumpe. Esta explicación detallada muestra por qué el método tradicional para crear agentes de voz genera esos síntomas, qué tipos de agentes de voz existen y cómo el framework de código abierto TEN de Agora aborda el problema del timing.
Qué se considera un agente conversacional
El término se utiliza de manera tan laxa que ha perdido casi todo su significado, por lo que una definición sencilla resulta útil. Un agente de conversación es un software que mantiene un diálogo en tiempo real y bidireccional, y comprende el significado de lo que se dice, en contraste con aquellos que solo buscan palabras clave. La palabra “agente” añade la capacidad de actuar sobre esa comprensión: buscar un registro, reservar una reunión, actualizar un ticket o responder utilizando el contexto de la sesión anterior.
Un menú telefónico que pide presionar 1 para trámites de facturación no cuenta como tal. En cambio, un bot de soporte que escucha a alguien decir que no ha recibido el reembolso del pedido del martes pasado y responde con el estado de ese pedido específico sí lo es. En su mejor versión, dicho agente maneja las interrupciones con gracia, recuerda la sesión, escucha y habla al mismo tiempo que las personas, y responde lo suficientemente rápido como para que el silencio nunca se confunda con una falla. La velocidad y la naturalidad son precisamente donde la mayoría de los sistemas fallan.
La cascada y por qué resulta incómodo
Antes de frameworks como TEN, un agente de voz significaba una cadena en cascada de tres sistemas separados en secuencia: conversión de voz a texto, luego un modelo de lenguaje, y finalmente conversión de texto a voz. La persona habla, el primer modelo convierte el audio en un transcripción, el segundo escribe una respuesta de texto, y el tercero convierte esa respuesta en audio.
En teoría parece ordenado. En la práctica, cada etapa espera a que la anterior termine por completo. La transcripción no envía nada hasta que el orador deja de hablar. El modelo de lenguaje no comienza a funcionar hasta que ha llegado toda la transcripción. La síntesis de voz no empieza hasta que existe la respuesta completa. Una implementación simplista añade fácilmente de dos a cuatro segundos de silencio antes de que se escuche algo, y ese silencio se percibe como un error.
Suposiciones sobre cuándo alguien ha terminado
Una cascada no cuenta con una forma inteligente de determinar cuándo una persona ha finalizado. Se basa en la detección de actividad vocal, que en realidad solo busca períodos de silencio. Si el intervalo supera un umbral, quizás medio segundo, el sistema asume que el turno ha terminado y comienza a procesar. Las consecuencias son conocidas:
- Un orador que hace una pausa en medio de una frase para pensar es interrumpido por una respuesta prematura.
- Un orador que quiere interrumpir al agente descubre que este sigue hablando.
- El intercambio es estructuralmente por turnos, como enviar mensajes de texto en voz alta.
- Al tener proveedores separados para cada etapa, depurar implica rastrear a través de tres sistemas.
Una opción más reciente y su costo
Los modelos de voz a voz reciben audio e devuelven audio en una sola pasada. GPT-4o Realtime y Gemini Live funcionan de esta manera. La latencia es menor porque no hay texto intermedio. El precio depende de la modularidad: la parte de razonamiento no puede cambiarse de forma independiente de la voz, un filtro de cumplimiento no se puede insertar fácilmente entre la entrada y la salida, y estos modelos unificados suelen ser menos eficaces en el razonamiento complejo y las llamadas a herramientas que los modelos de lenguaje dedicados.
Cuatro tipos de agentes de voz
Antes de elegir un framework, es útil decidir qué tipo de agente se va a crear, ya que cada uno se ajusta a diferentes expectativas del usuario.
El oyente. Es estrictamente semidúplex, con un hablante a la vez. El agente espera a confirmar que hay silencio y luego responde. Los menús clásicos de teléfono, los rellenos de formularios por voz y los asistentes de comandos, como los que sirven para programar un temporizador, pertenecen a esta categoría. Son fáciles de desarrollar, tienen un uso más mecánico y funcionan bien cuando la tarea está estructurada. Dejan de funcionar en cuanto la conversación se vuelve más compleja.
El interrumpidor. Los agentes full-dúplex escuchan y hablan simultáneamente, y pueden manejar interrupciones sin perder el contexto. Incluso una corrección a mitad de frase hace que el agente se detenga. Esto requiere una detección inteligente de turnos de habla y no solo la detección de silencio; constituye la base para cualquier sistema que deba parecer natural.
El especialista. Los agentes multimodales manejan video, imágenes, documentos y flujos de datos junto con el habla. Ejemplos incluyen un tutor que observa la pantalla mientras un estudiante habla sobre código, un asistente médico que examina una radiografía mientras se describen los síntomas, o un bot para reuniones que hace resúmenes en tiempo real. Estos necesitan un marco capaz de coordinar varios flujos al mismo tiempo sin cuellos de botella.
El colaborador. Los agentes multi-partes se unen a entornos grupales: reuniones, aulas, juegos multijugador, clases de idiomas con varios estudiantes. Necesitan diarización de hablantes para saber quién está hablando, el contexto de cada hablante y la capacidad de dirigirse a personas específicas. En un proceso simple esto es casi imposible, pero resulta mucho más factible con un marco que incluya enrutamiento de audio en tiempo real.
Qué es TEN
TEN es la abreviatura de Transformative Extensions Network. Se trata de un framework de código abierto desarrollado por Agora para agentes de conversación multimodales en tiempo real. En términos sencillos, es un entorno de ejecución que se sitúa entre los modelos de IA y el usuario. Orquesta la transmisión de audio, su enrutamiento entre los modelos y el estado de la conversación, de modo que nada de esto tiene que ser creado a partir de código adicional.
Fue puesto a disposición con licencia de código abierto en 2024 y desde entonces se ha utilizado para compañeros virtuales de IA, traductores, bots de soporte en vivo y resumidores de reuniones en tiempo real. Una versión alojada, el Conversational AI Engine de Agora, incorpora su red global definida por software en tiempo real, lo que permite que la infraestructura ya esté gestionada.
Un modelo mental útil: un pipeline en cascada implica gestionar tres relaciones con proveedores y esperar que los datos fluyan correctamente entre ellos. Con TEN, las partes son extensiones modulares y intercambiables dentro de un único grafo que ejecuta el framework. Las extensiones son bloques de construcción. Las etapas en cascada son edificios separados conectados por pasarelas.
Qué lo diferencia
Un grafo que funciona en paralelo
En una cascada, cada etapa espera. TEN ejecuta su pipeline como un grafo dirigido en el que cada extensión, ya sea de transcripción, modelo de lenguaje, síntesis o detección de voz, es un nodo. Los nodos trabajan de forma concurrente y transmiten los resultados parciales a medida que se generan. Así es como el framework afirma reducir la latencia entre un 60 y un 70 por ciento en comparación con soluciones tradicionales: el reconocimiento, la generación y la síntesis se realizan simultáneamente.
Un modelo que sabe cuándo hablar
TEN utiliza su propio modelo de detección de turnos, desarrollado sobre Qwen2.5-7B y entrenado para entender las intenciones en las conversaciones. En lugar de detectar el silencio, clasifica cada intervención en uno de tres estados:
- Finalizado. El pensamiento está completo y se espera una respuesta, como en una solicitud de ayuda con un pedido.
- Esperar. La persona le ha indicado al agente que no hable, con frases como “espere un momento”.
- Por finalizar. Hubo una pausa, pero seguirá habiendo más contenido, por lo que el agente permanece en silencio.
Lo que diferencia este método de la detección basada únicamente en el silencio es la capacidad de comprender por qué ocurrió la pausa, no solo que ocurrió. Se admiten nativamente el inglés y el chino.
Un filtro económico antes de la transcripción
Un modelo ligero de actividad de voz también funciona como prefiltro. Antes de que el audio llegue al servicio de conversión de voz a texto, elimina el ruido de fondo, la música, la respiración y el silencio. Menos datos llegan al servicio de transcripción, lo que reduce directamente los costos de la API. Utilizados juntos, estos dos elementos forman un sistema de dos capas: una determina si hay habla, y la otra decide si la intervención ha finalizado.
Componentes intercambiables
Cada componente es una extensión. Pasar de un proveedor de transcripción a otro implica cambiar una extensión. Comparar GPT-4o con DeepSeek en la capa lingüística significa intercambiar extensiones. Agregar capacidad de recuperación para que el agente pueda acceder a documentos de la empresa implica incorporar una extensión de memoria. Las extensiones personalizadas se pueden escribir en Python, Go o C++, y el entorno de ejecución funciona en Windows, Mac, Linux y plataformas móviles.
Diseñador visual
TMAN Designer es una herramienta visual para armar grafos de agentes sin necesidad de código. Las extensiones se arrastran, conectan y configuran a través de una interfaz, y el grafo resultante puede inspeccionarse antes de su implementación. Esto amplía su uso más allá de los ingenieros de backend, ya que los equipos de producto pueden crear prototipos de configuraciones y transmitirlos.
Edge y nube juntos
Las extensiones pueden ejecutarse en el dispositivo cercano al usuario, en la nube o en una combinación de ambos. Las tareas sensibles a la latencia permanecen en el edge, mientras que los cálculos complejos se realizan en la nube. Equilibrar costos y velocidad se convierte en un cambio de configuración y no en una reescritura.
Una red global en la base
Gracias al motor alojado, el agente tiene acceso a la red en tiempo real de Agora, la cual enruta el audio de forma dinámica, hace frente a la pérdida de paquetes y mantiene una baja latencia en todas las regiones. La misma infraestructura soporta grandes volúmenes de llamadas de audio y video habituales, por lo que el agente funciona bien en condiciones reales de red y no solo en pruebas en entornos silenciosos.
Cuándo es adecuado y cuándo no
TEN es una buena opción cuando el objetivo es una conversación natural en tiempo real y no intercambios de preguntas y respuestas, cuando se deben combinar libremente proveedores de LLM, transcripción y síntesis, cuando la experiencia es multimodal, cuando se necesita escala global sin construir infraestructura WebRTC, y cuando el manejo de interrupciones no debe parecer defectuoso. Los objetivos típicos son compañeros de IA, tutores en vivo, atención al cliente detallada y herramientas de reuniones colaborativas.
Las alternativas son mejores en tres casos. Si la latencia más baja posible es más importante que la modularidad, un modelo de voz a voz es la mejor opción. Si el caso de uso consiste en un comando y respuesta simples sin interrupciones, una cascada básica es suficiente. Y si cada entrada debe ser transcrita y almacenada en cada etapa por motivos de cumplimiento, un sistema en cascada con un límite de texto es más fácil de auditar.
La detección de turnos es el producto
La lección principal tras estudiar todo esto es que la mayoría de los problemas de calidad de voz no son problemas del modelo de lenguaje. Aparecen en los detalles: interrumpir a una persona demasiado pronto, no darse cuenta de que sigue hablando o continuar hablando después de ser interrumpido. El gráfico y el despliegue híbrido son importantes, pero la contribución más significativa podría ser el modelo dedicado a la detección de turnos, creado específicamente para resolver el problema que determina si hablar con una máquina resulta natural. Todo lo demás se puede ajustar. Si el agente no sabe cuándo dejar de hablar, nada más importa.
El framework es de código abierto bajo la licencia MIT, se ejecuta desde un contenedor Docker en pocos minutos e incluye un agente de ejemplo funcional que vale la pena probar antes de escribir cualquier código personalizado. El mejor agente de voz es aquel cuya arquitectura el usuario olvida, porque la conversación simplemente funciona bien.
Leer más
- Por qué los agentes de IA necesitan una capa de gobernanza, no solo mejores promptes — Los promptes determinan un único intercambio, no todo un flujo de trabajo. Cómo una capa de gobernanza formada por reglas, contexto delimitado, límites de autoridad y prueba de finalización hace que los agentes de programación sean fiables.
- Por qué los registros de los agentes no satisfarán el Artículo 12: registros de decisiones, causalidad y procedencia — Los rastros no equivalen a rendición de cuentas. Cómo registrar las decisiones de los agentes como objetos duraderos con enlaces causales, procedencia en cadena de hash y reglas de política deterministas, utilizando Semantica.