Inicio / Artículos

Agente de IA por voz en llamadas telefónicas en vivo: por qué asyncio superó a los hilos, además de tres errores.

Lecciones de un agente telefónico en tiempo real que utiliza STT, LLM y TTS: pasar de hilos a asyncio, además de llamadas a herramientas filtradas, mensajes sin resolver y transferencias obsoletas.

Editor: REACTAPP.TOP7 min de lectura1538 palabras

Fuentes: Building a Production Voice AI Agent: Threading, Async, and the Bugs Nobody Warns You About

Un agente de voz en tiempo real que responde a llamadas telefónicas en vivo combina tecnologías de conversión de voz a texto, un LLM y conversión de texto a voz, e se conecta a un sistema telefónico. También necesita la posibilidad de interrupción, para que el llamante pueda interrumpir al bot a mitad de frase, además de la posibilidad de transferir la llamada a un agente humano y una desconexión ordenada. A continuación se analizan las decisiones de diseño y los errores que más enseñanzas aportaron al operar un sistema con llamadas concurrentes, comenzando por un error que casi no se corrigió.

Resumen del proceso

Cada llamada hace funcionar tres componentes en cadena:

Caller audio → STT (Deepgram, streaming) → LLM (Groq, LLaMA 70B) → TTS (Cartesia) → Caller
  • La conversión de voz a texto transmite audio a través de un WebSocket y devuelve transcripciones, con detección del final de la frase basada en la actividad vocal.
  • El modelo LLM envía de vuelta los tokens, los cuales se conservan hasta que se alcanza un límite de oración (un punto, signo de interrogación, signo de exclamación o nueva línea) antes de pasar a la síntesis de voz, de modo que el bot puede comenzar a hablar antes de que exista toda la respuesta.
  • La síntesis de voz envía el audio de vuelta al usuario a través del mismo puente telefónico, sincronizado en tiempo real mediante el envío de frames cada 20 ms según un horario fijo.

A su alrededor se encuentran la detección de interrupciones, que detiene al bot en cuanto quien llama habla por encima de él; la memoria que resume las conversaciones anteriores para que una llamada de 45 minutos quede dentro del marco temporal permitido; y las herramientas que permiten realizar acciones como transferir la llamada a una persona o colgar. Ningún componente en particular es lo interesante; lo importante es lo que ocurre cuando se realizan múltiples llamadas al mismo tiempo con hardware modesto.

Los hilos parecían naturales, pero no lo eran

El primer diseño asignaba a cada llamada un hilo en segundo plano para detectar interrupciones. Este escuchaba continuamente el audio del llamante y activaba una señal cuando comenzaba a hablar, y las demás etapas consultaban esa señal para saber cuándo debían dejar de hablar y empezar a escuchar. Dado que cada llamada necesita un receptor siempre activo, parecía lógico utilizar un hilo por llamada.

Se descompuso rápidamente. En una laptop con 16 GB de RAM y un procesador i5 de 8 núcleos, cuatro llamadas simultáneas eran suficientes para que todo funcionara con problemas: frames de audio perdidos, detección lenta de interrupciones y reproducción entrecortada.

La primera sospecha fue el tamaño del pool de hilos: con un límite de 30 hilos, la llamada número 50 se quedaría en cola detrás de las demás. Eso sí representa un problema real a gran escala, pero no podía explicar los problemas con solo cuatro llamadas.

La verdadera causa era más básica. La carga de trabajo está limitada por el tiempo de espera, no por los cálculos. Incluso un receptor ligero por llamada pasa casi todo su tiempo inactivo, esperando los frames de audio desde el puente y una señal suficiente para determinar si se trata de voz o ruido. El trabajo real, como verificar una bandera o calcular un valor RMS para la detección de silencio, ocurre en microsegundos entre largas pausas. Los hilos del sistema operativo no son adecuados para esto; cada uno lleva consigo una pila, costos de programación del kernel y cambios de contexto, y Python añade el GIL para cualquier tarea que no sea puramente una espera de E/S. Cada llamada paga los costos adicionales del hilo hasta que llega el siguiente frame.

Async/await invierte esta situación. Un bucle de eventos puede manejar miles de tareas que esperan en la red, ya que una corutina suspendida cuesta casi nada: no requiere pila dedicada, ni cambio de kernel, solo un lugar en una cola hasta que su socket reciba datos.

Así, el componente de escucha de inserción espontánea, junto con las capas de conversión de voz a texto, LLM y síntesis, pasó a utilizar asyncio. La reescritura del componente de escucha es una buena ilustración al respecto. Anteriormente, un hilo en segundo plano se activaba cada 20 ms para consultar una cola, buscando audio y determinando si se trataba de voz, lo que suponía un tiempo de espera inútil incluso durante los períodos de silencio. Posteriormente, el bucle de reenvío de audio llama a asyncio.wait_for(queue.get(), timeout=...), lo que suspende por completo la corutina sin utilizar CPU, hasta que llega un frame o se agota el tiempo de espera. La bandera de inserción espontánea se convierte en un estado compartido común que se lee en los puntos de await, reemplazando así un valor escrito desde otro hilo del sistema operativo en momentos impredecibles.

Como resultado, el techo de concurrencia cambió. La pregunta ya no es cuántos hilos puede programar el SO, sino cuántos sockets pueden permanecer abiertos, cuál es el límite de velocidad del proveedor y cuánta ancho de banda de red existe, lo cual representa una curva de escalado mucho más favorable para este tipo de carga. Vale la pena admitir que la preocupación inicial por el agotamiento del pool con 50 llamadas no estaba equivocada, pero era una preocupación secundaria relacionada con la escalabilidad. La razón principal por la que el enfoque asíncrono es superior es de naturaleza arquitectónica, ya que los hilos son la abstracción inadecuada para tareas dominadas por esperas de E/S, independientemente del tamaño del pool.

Tres errores que vale la pena conocer

Ninguno de ellos es exótico. Todos surgen únicamente cuando el tráfico concurrente real llega a un proveedor de LLM real.

1. Las llamadas a herramientas se filtran como texto plano

Algunos puntos de control de LLaMA alojados en Groq dejan ocasionalmente el campo estructurado tool_calls vacío. En su lugar, emiten una cadena que parece ser una llamada a función directamente en el flujo de texto, la cual luego será leída en voz alta por el sistema de conversión de texto a voz.

Escribir una expresión regular para cada forma vista hasta ahora resulta ineficaz, ya que pequeños cambios en el espaciado, el orden de las teclas o el estilo de las comillas pueden pasar desapercibidos. El enfoque más adecuado es tratar cualquier paréntesis sin procesar o etiqueta sospechosa en el flujo como temporalmente insegura. Se retiene de ser emitida de inmediato y solo se libera una vez que se demuestra que es una de dos cosas: una llamada a herramienta completa y procesable (convertida en una solicitud real y eliminada de la salida hablada) o, por el contrario, no se trata de una llamada a herramienta (devuelta al flujo como texto normal). Una válvula de seguridad también ayuda. Si el búfer retenido supera un límite de tamaño sin resolverse, hay que considerarlo como un falso positivo, quizás el nombre de un cliente que contenía un carácter similar a un paréntesis, y eliminarlo como texto en lugar de bloquear la respuesta indefinidamente. La lección es: cuando el formato de salida sea ambiguo, no enumere las formas posibles de fallo. Almacene y verifique.

2. Llamadas a herramienta pendientes tras una interrupción

Si un llamante interrumpe mientras el LLM está en medio de enviar una solicitud de herramienta, el historial puede terminar con un AIMessage que contiene tool_calls que nunca recibieron un resultado. La API de Groq rechaza esto en el siguiente turno, ya que el orden de los mensajes ya no tiene sentido estructural.

Hay dos capas que se encargan de esto. Primero, un retroceso explícito ante la interrupción elimina el mensaje de IA sin resolver, sus resultados de herramienta abandonados y el mensaje del usuario que lo provocó. Luego, un sanitizador se ejecuta antes de cada llamada al LLM como última línea de defensa, descartando cualquier par de mensajes de IA y herramienta que no coincida. El retroceso debe solucionar el problema, mientras que el sanitizador evita que un error en otro lugar dañe el siguiente turno.

3. Una transferencia obsoleta en una llamada que ya finalizó

La transferencia a un humano y la desconexión son llamadas de herramienta separadas. Debido al manejo de fugas en el error 1, el modelo puede activar ambas legítimamente en una sola ronda: una como llamada estructurada y la otra recuperada del texto filtrado. Si se registró una solicitud de transferencia anteriormente por otro motivo y la llamada finaliza con desconexión, un sistema posterior que pregunte si se escaló la llamada podría ver la entrada obsoleta y enviar una llamada ya finalizada a la cola de humanos.

La solución es una regla de precedencia aplicada en todos los lugares donde una llamada puede finalizar: la desconexión siempre tiene prioridad, y cada ruta que finalice primero elimina cualquier registro de transferencia pendiente. Es una regla sencilla que solo se hizo evidente después de observar cómo ocurría la competencia, ya que dos envíos asíncronos de herramientas pueden finalizar en cualquier orden dependiendo de cómo el modelo formatee su respuesta.

Detalles poco llamativos pero importantes

Algunos ajustes de producción cambiaron la sensación que se tiene al hablar con el bot:

  • Buffering en los límites de las oraciones. El texto se envía a la síntesis en oraciones completas, no token por token, lo que hace que el habla suene natural en lugar de ser un conjunto de fragmentos entrecortados.
  • Protección al inicio de la conversación. La detección de interrupciones ignora aproximadamente los primeros uno o dos segundos y medio de habla del bot, ya que algunos proveedores de síntesis almacenan todo el clip antes de transmitirlo. Durante ese período silencioso, el micrófono ya está activo, y una respuesta rápida a la intervención anterior puede confundirse con una interrupción de la actual.
  • Ajuste de la actividad vocal del umbral y el tiempo de espera al final de una intervención. Estos valores diferencian a un bot que interrumpe a las personas en medio de sus pensamientos de uno que parece lento; no existe un valor universal, por lo que se ajustan basándose en grabaciones reales de llamadas.

Lo que se necesitó

Nada de esto requería infraestructura exótica, sin Kubernetes, extensiones C personalizadas ni redes a medida. Se utilizó asyncio, una gestión cuidadosa del estado y la disposición para rastrear lo que ocurre cuando dos tareas asíncronas compiten entre sí. Las abstracciones independientes del proveedor para LLM, conversión de voz a texto y síntesis, además de una separación clara entre el motor de conversaciones y el transporte telefónico, permitieron cambiar de proveedor, añadir herramientas y corregir errores sin tener que reescribir todo. Para quienes estén desarrollando algo similar, la primera pregunta es si la carga de trabajo está limitada por E/S o por la CPU antes de recurrir a hilos. Esto podría ahorrar una tarde frustrante viendo cómo cuatro llamadas bloquean un portátil capaz.