Inicio / Artículos

Siete lecciones prácticas para crear un agente de IA por voz fiable.

Latencia, interrupciones, posibles fallos de las herramientas, lógica empresarial fuera del contexto de la solicitud, memoria, capacidad de observación y transferencia de tareas al humano: lo que necesita un agente de voz a gran escala.

Editor: REACTAPP.TOP7 min de lectura1580 palabras

Fuentes: 7 Things I Wish I Knew Before Building a Production Voice Agent

Hacer que un agente de voz hable es sorprendentemente fácil. Conecta la telefonía, la conversión de voz a texto, un LLM, la conversión de texto a voz y algunos herramientas más, y el resultado podrá mantener una conversación. El verdadero trabajo comienza cuando los desconocidos empiezan a llamar.

En un agente en producción que recibe cientos de llamadas al día, surgen problemas que una demostración nunca revela. Los llamantes interrumpen y hablan por encima del agente. Tienen acentos que nadie probó. Las APIs se ralentizan. El LLM elige la acción incorrecta. Una llamada a una herramienta falla a mitad de la conversación. Y un retraso de uno o dos segundos que parecía inofensivo en la fase de desarrollo de repente hace que el agente parezca defectuoso. Hay siete lecciones importantes para quienes estén a punto de crear uno.

1. La latencia es toda la experiencia

Probablemente esta sea la lección más importante. En una aplicación ordinaria, es tolerable que una solicitud tarde uno o dos segundos en responderse. En una conversación oral, la situación es completamente diferente. Imagine a alguien que llama para pedir una cita para el día siguiente y luego no escucha nada. Un segundo, dos, tres. Para entonces, la persona que llama se pregunta si alguien llegó a escucharla.

Un agente de voz integra varias etapas que cada una añade un retraso:

Persona que llama → Telefonía → STT → LLM → TTS → Persona que llama

Las personas que llaman perciben la latencia total y nunca ven cuál es la contribución de cada componente en particular. Vapi, por ejemplo, describe la latencia de voz a voz como la suma del transporte, el procesamiento en los extremos, la transcripción, la respuesta del modelo y la síntesis de voz.

Eso cambia la forma en que se deben seleccionar los modelos. El modelo más capaz no es automáticamente el mejor para la voz, y uno ligeramente menos potente que responde más rápido suele generar una conversación mucho mejor. Los agentes de voz deben ajustarse en función del tiempo hasta la primera palabra y no únicamente en base a la inteligencia bruta del modelo.

También es sumamente importante el flujo de transmisión. El flujo incorrecto espera a que termine cada etapa:

STT termina → LLM termina → TTS termina → se reproduce el audio

El flujo óptimo los superpone:

STT transmite en tiempo real → LLM transmite en tiempo real → TTS transmite en tiempo real → el audio comienza a reproducirse

El objetivo es lograr algo que parezca una conversación y no una cadena de llamadas a API.

2. Las interrupciones son normales

Lo que se considera difícil es hacer que el LLM escriba respuestas adecuadas. Pero no lo es. Lo complicado realmente es comportarse de forma natural cuando la persona no sigue el guion. Los clientes reales interrumpen diciendo cosas como “Sí, pero espera”, “No, ese no” o “En realidad, ¿podemos hacerlo el viernes?”.

Un agente de producción debe darse cuenta de que el cliente ha comenzado a hablar y detener su propio audio en el momento adecuado. Eso implica:

  • Detección de actividad de voz, o VAD, para identificar el habla
  • Definición de puntos finales, es decir, decidir cuándo el cliente ha terminado
  • Detección de interrupciones mientras el agente habla
  • Gestión de quién tiene la palabra
  • Almacenamiento temporal inteligente del audio
  • Interrupción limpia de la síntesis de voz y reanudación adecuada

Las plataformas de voz ahora incluyen controles dedicados para esto, ya que un mal momento puede hacer que un agente inteligente se sienta terrible. El equilibrio es delicado. Una detección de interrupciones demasiado sensible permite que el ruido de fondo interrumpa al agente, mientras que una demasiado conservadora hace que el agente hable por encima del llamante.

La conversación natural depende de saber cuándo hablar y cuándo permanecer en silencio, y no solo de lo que se dice.

3. Cada herramienta necesita un camino de falla

Rara vez existe un agente de voz solo para hablar. Tarde o temprano tiene que actuar: verificar una cita, encontrar un pedido, actualizar un CRM, reservar una reunión, enviar una confirmación. Ahí es donde entran las llamadas a funciones, y la arquitectura se convierte en algo similar a esto:

En ese punto, el agente deja de ser solo un problema de IA y se convierte en un problema de sistemas distribuidos. Supongamos que el llamante solicita una cita para las 4 de la tarde del día siguiente. El LLM llama a checkAvailability(); la API tarda dos segundos, luego la API de reservas falla, y el agente aún debe informar al llamante sobre lo sucedido. Lanzar una excepción y finalizar la solicitud no es una opción. El agente debe recuperarse durante la conversación. En lugar de un mensaje bruto como “ERROR 500”, necesita frases como “En este momento no se puede verificar esa hora. ¿Desea intentarlo en otro momento?”

Cada herramienta a la que pueda acceder el agente necesita un plan de acción ante fallos. No basta con diseñar solo el camino óptimo desde la solicitud hasta el éxito. El diseño debe abarcar situaciones de éxito, tiempos de espera excesivos, entradas inválidas, fallos de la API, fallos parciales, intentos de reintentar y soluciones alternativas.

4. Mantener las reglas de negocio fuera del prompt

Otra trampa es el prompt del sistema, que crece sin cesar. Comienza con una regla como “si el usuario dice X, haz Y”, luego añade “pero si X viene después de Y, haz Z”, y después “a menos que la pregunta sea sobre...”. Pronto, un prompt de 5,000 palabras contiene la mitad de la lógica de negocio de la aplicación. Funciona hasta que deja de hacerlo.

Un prompt debe abarcar el rol o identidad, el estilo y principios de comunicación, los límites y restricciones, el comportamiento en las conversaciones, cuándo usar herramientas y qué información recopilar. Las reglas de negocio deterministas deben estar dentro de la aplicación. Por ejemplo, si se puede reservar una cita, eso no debería depender únicamente del LLM. El backend debe decidirlo:

LLM
 ↓
checkAvailability()
 ↓
Backend validates availability
 ↓
Booking API
 ↓
Result returned to agent

El LLM elige qué acción intentar, y la aplicación decide si esa acción es válida. El razonamiento corresponde al LLM, mientras que todo lo que debe ser correcto está a cargo del código determinista.

5. El contexto no es memoria

Tener contexto no significa que un agente de voz tenga memoria. Están en juego varios tipos de información: ¿qué sucedió en esta llamada, como “el usuario quiere una cita el viernes”? ¿Qué se sabe sobre este llamante de interacciones anteriores, como “el usuario suele preferir las tardes”? ¿Qué debe tener siempre a mano el agente, como “nuestra política de cancelación es de 24 horas”?

Estos elementos no deberían sumergirse automáticamente en una sola instrucción enorme. Hay dos preguntas que requieren respuesta: ¿qué necesita el agente en este momento? y ¿qué debe permanecer después de que termine la llamada? Esto cobra aún más importancia a medida que las conversaciones se alargan, ya que más contexto no implica necesariamente un contexto mejor. Proporcionar al modelo menos información, pero más relevante a veces da mejores resultados. La memoria no significa almacenar todo; significa decidir qué es digno de ser recuperado en el momento adecuado.

6. Observabilidad, o estás adivinando

Las pruebas manuales ocultan este problema: una llamada suena bien, la siguiente también. Luego, en entornos de producción, con cientos de llamadas, alguien informa que “el agente fue muy lento”. ¿Dónde? ¿En la telefonía, la transcripción de voz, los puntos de conexión, el modelo de lenguaje grande, la ejecución de herramientas, la síntesis de voz o la red? Sin una verdadera observabilidad, todo se reduce a conjeturas.

Al principio, un equipo puede evaluar a un agente simplemente escuchando las llamadas. Eso ayuda, pero es costoso y no es escalable, especialmente cuando la realización de evaluaciones en muchas llamadas se acumula. Con el tiempo, se vuelve necesario contar con un panel de control de observabilidad separado para que los patrones salgan a la luz sin tener que inspeccionar cada conversación manualmente.

Como mínimo, una sola llamada debería ser comprensible a simple vista:

Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome

El depuración cambia por completo. “El agente se siente lento” se convierte en “el tiempo promedio que tarda un LLM en generar el primer token aumentó de 350 ms a 1,4 s”, y eso es algo que se puede solucionar. Una mala decisión que no se puede examinar no se puede mejorar de manera fiable.

7. Saber cuándo pasar la tarea

Puede ser la lección más importante. El objetivo no es tener una IA que se ocupe de todo. Se trata de un sistema general exitoso, y a veces la mejor acción es una transferencia a un humano. Imagina a un cliente frustrado que ya se ha repetido tres veces. Forzar a la IA a seguir intentándolo no es inteligencia; suele ser una experiencia terrible.

Los sistemas en producción necesitan límites claros, por ejemplo:

Simple request
      ↓
     AI
      ↓
Can AI solve it?
  ↙        ↘
Yes         No
 ↓           ↓
Solve      Fallback
             ↓
       Human / callback

Un plan de respaldo no significa que el sistema haya fallado. Forma parte del diseño. Un agente de producción no debería intentar ganar todas las conversaciones, sino reconocer cuándo es momento de transferirla a otra persona.

La fiabilidad es la característica clave

Antes de crear uno, el desafío principal parece ser hacer que la IA suene inteligente. Después, surge una pregunta más importante: ¿cómo se puede hacer que todo el sistema sea lo suficientemente fiable como para que una persona confíe en él? Ese es un problema de ingeniería distinto. Abarca la latencia, el turno de palabra, la telefonía, las APIs, los fallos, la memoria, la observabilidad y los planes de respaldo, así como también al LLM, que es solo un componente.

Hacer que un agente de voz hable es fácil. Lograr que supere cientos o miles de conversaciones reales es otro desafío, y la diferencia no radica principalmente en un prompt mejor o en un modelo más inteligente. Se trata de la ingeniería que rodea al modelo.

Antes de intentar hacer que un agente sea “más inteligente”, estas siete áreas merecen atención:

  1. Latencia
  2. Gestión de interrupciones
  3. Ejecución fiable de herramientas
  4. Lógica empresarial determinística
  5. Contexto y memoria
  6. Observabilidad
  7. Soluciones de respaldo eficaces

Una vez que un agente entra en producción, la fiabilidad se convierte en la característica principal.