Accueil / Articles

Sept leçons tirées de la production pour créer un agent IA vocal fiable

Latence, interruptions, pannes d’outils, logique métier en dehors du prompt, mémoire, observabilité et transfert humain : ce dont a besoin un agent vocal à grande échelle.

Éditeur : REACTAPP.TOP7 min de lecture1580 mots

Sources: 7 Things I Wish I Knew Before Building a Production Voice Agent

Faire parler un agent vocal est étonnamment simple. Il suffit de connecter des services de téléphonie, de reconnaissance vocale en texte, d’un LLM, de synthèse vocale ainsi que quelques outils supplémentaires, et l’agent peut alors engager une conversation. Le véritable travail commence lorsque des inconnus commencent à appeler.

Avec un agent en production qui reçoit des centaines d’appels par jour, des problèmes apparaissent que les démonstrations ne révèlent jamais. Les appelants interrompent l’agent et parlent par-dessus lui. Ils ont des accents que personne n’a testés. Les API ralentissent. L’LLM choisit la mauvaise action. Une requête vers un outil échoue au milieu d’une conversation. De plus, un retard de une ou deux secondes, qui semblait insignifiant en phase de développement, rend soudainement l’agent insatisfaisant. Sept leçons ressortent pour quiconque s’apprête à en créer un.

1. La latence détermine toute l’expérience

C’est probablement la leçon la plus importante. Dans une application ordinaire, un délai d’une ou deux secondes est acceptable. Dans une conversation orale, c’est complètement différent. Imaginez qu’un appelant demande à réserver un rendez-vous pour demain et qu’il n’entende rien en retour. Une seconde, deux secondes, trois secondes. À ce moment-là, l’appelant se demande si quelqu’un a bien entendu.

Un agent vocal empile plusieurs étapes, chacune ajoutant un délai supplémentaire :

Appelant → Téléphonie → STT → LLM → TTS → Appelant

Les appelants ressentent la latence totale et ne voient jamais quelle composante en est responsable. Vapi, par exemple, définit la latence voix-voix comme la somme du transport, de l’acheminement vers l’endpoint, de la transcription, de la réponse du modèle et de la synthèse vocale.

Cela change la manière dont les modèles doivent être choisis. Le modèle le plus performant n’est pas automatiquement le meilleur pour la voix, et un modèle légèrement moins puissant qui répond plus rapidement produit souvent une conversation bien meilleure. Les agents vocaux doivent être optimisés en fonction du temps nécessaire pour obtenir la première parole, et non uniquement en fonction de l’intelligence brute du modèle.

Le streaming est également extrêmement important. Le flux incorrect attend la fin de chaque étape :

STT terminé → LLM terminé → TTS terminé → lecture de l’audio

Le flux optimal les superpose :

STT en streaming → LLM en streaming → TTS en streaming → lecture de l’audio commence

L’objectif est de créer l’impression d’une conversation et non celle d’une série d’appels API.

2. Les interruptions sont normales

La partie considérée comme difficile consiste à faire en sorte que le LLM rédige de bonnes réponses. Ce n’est pas le cas. La véritable difficulté réside dans le fait de se comporter naturellement lorsque la personne ne suit pas le script. Les appels réels sont interrompus par des remarques telles que « Oui, mais attendez », « Non, pas celui-là » ou « En fait, pouvons-nous le faire vendredi ? »

Un agent de production doit remarquer que l’appelant a commencé à parler et arrêter son propre enregistrement audio au bon moment. Cela implique :

  • La détection d’activité vocale, ou VAD, pour repérer le discours
  • La détermination du moment où l’appelant a terminé
  • La détection d’une interruption pendant que l’agent parle
  • La gestion de l’ordre de parole
  • Le stockage temporaire judicieux de l’audio
  • L’arrêt propre de la synthèse vocale et son redémarrage

Les plateformes vocales disposent désormais de commandes dédiées à cet effet, car un mauvais timing peut rendre un agent intelligent désagréable. L’équilibre est délicat : une détection des interruptions trop sensible permet au bruit de fond d’interrompre l’agent, tandis qu’une détection trop conservatrice fait que l’agent parle par-dessus l’appelant.

Une conversation naturelle dépend de la capacité à savoir quand parler et quand se taire, et non seulement de ce qui est dit.

3. Chaque outil a besoin d’un mécanisme de secours

Rarement un agent vocal existe uniquement pour parler. Tôt ou tard, il doit agir : vérifier un rendez-vous, trouver une commande, mettre à jour un CRM, réserver une réunion, envoyer une confirmation. C’est là que les appels de fonction entrent en jeu, et l’architecture devient quelque chose comme ceci :

À ce stade, l’agent cesse d’être uniquement un problème lié à l’IA pour devenir un problème de systèmes distribués. Supposons que l’appelant demande une disponibilité pour 16 heures demain. Le LLM appelle checkAvailability() ; l’API met deux secondes à répondre, puis l’API de réservation échoue, et l’agent doit néanmoins informer l’appelant de ce qui s’est passé. Lancer une exception et terminer la demande n’est pas une option : l’agent doit se remettre en selle au cours de la conversation. Au lieu d’un message brut comme "ERROR 500", il doit utiliser des formulations telles que "Cette disponibilité ne peut pas être vérifiée pour le moment. Souhaitez-vous essayer à un autre moment ?"

Tout outil que l’agent peut appeler doit disposer d’un mécanisme de gestion des échecs. Il ne suffit pas de concevoir uniquement le parcours sans problème allant de la demande au succès. La conception doit prendre en compte les cas de succès, de délai d’attente, d’entrée invalide, d’échec de l’API, d’échec partiel, de tentative de réessai et de solution de secours.

4. Éviter d’inclure les règles métier dans le prompt

Un autre piège est l’instruction système en constante expansion. Elle commence par une règle du type « si l’utilisateur dit X, faire Y », puis ajoute « mais si X vient après Y, faire Z », puis encore « sauf si la question concerne... ». Bientôt, une instruction de 5 000 mots contient la moitié de la logique métier de l’application. Cela fonctionne tant que ça fonctionne.

Une instruction doit définir le rôle ou l’identité, le style et les principes de communication, les limites et les règles de sécurité, le comportement lors des conversations, quand utiliser des outils et quelles informations collecter. Les règles métier déterministes doivent figurer dans l’application. Par exemple, la possibilité de réserver un rendez-vous ne devrait pas dépendre entièrement du LLM. C’est le backend qui doit prendre cette décision :

LLM
 ↓
checkAvailability()
 ↓
Backend validates availability
 ↓
Booking API
 ↓
Result returned to agent

Le LLM choisit quelle action tenter, et l’application décide si cette action est valide. Le raisonnement relève du LLM, tandis que tout ce qui doit être exact relève d’un code déterministe.

5. Le contexte n’est pas de la mémoire

Avoir du contexte ne signifie pas pour autant qu’un agent vocal dispose de mémoire. Plusieurs types d’informations entrent en jeu : ce qui s’est passé lors de cet appel, comme « l’utilisateur souhaite un rendez-vous vendredi » ; ce que l’on sait de cet appelant à partir d’interactions antérieures, comme « l’utilisateur préfère généralement l’après-midi » ; et ce que l’agent doit toujours avoir à portée de main, comme « notre politique d’annulation est de 24 heures ».

Ces éléments ne devraient pas être automatiquement regroupés dans une seule demande massive. Deux questions nécessitent des réponses : que faut-il que l’agent ait immédiatement, et quoi doit persister après la fin de l’appel ? Cela devient d’autant plus important à mesure que les conversations s’allongent, car plus de contexte ne signifie pas nécessairement un meilleur contexte. Fournir au modèle moins d’informations, mais plus pertinentes permet parfois d’obtenir de meilleurs résultats. La mémoire ne signifie pas stocker tout ce qui existe ; elle consiste à décider de ce qui mérite d’être récupéré au bon moment.

6. Observabilité, sinon on ne fait que deviner

Les tests manuels masquent ce problème. Un appel semble fonctionner bien, le suivant aussi. Puis, en environnement de production, des centaines d’appels sont effectués et quelqu’un signale que « l’agent était vraiment lent ». Où cela se produit-il ? Dans la téléphonie, le STT, l’endpointing, le LLM, l’exécution des outils, le TTS ou le réseau ? Sans une véritable observabilité, on ne fait que deviner.

Débutant, une équipe peut évaluer un agent en se contentant d’écouter les appels. Cela est utile, mais c’est coûteux et peu scalable, surtout lorsque l’évaluation de nombreux appels s’accumule. Finalement, un tableau de bord d’observabilité distinct devient nécessaire afin que les schémas émergent sans avoir à examiner manuellement chaque conversation.

À minima, un appel unique doit être compréhensible d’un coup d’œil :

Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome

Le débogage change complètement. « L’agent semblait lent » devient « le temps moyen nécessaire à un LLM pour générer son premier token est passé de 350 ms à 1,4 s », et c’est quelque chose qui peut être corrigé. Une mauvaise décision qui ne peut pas être examinée ne peut pas être améliorée de manière fiable.

7. Savoir quand passer le relais

Ce pourrait être la leçon la plus importante. L’objectif n’est pas d’avoir une IA qui gère tout. Il s’agit d’un système global réussi, et parfois la meilleure action consiste à transférer la tâche à un humain. Imaginez un client frustré qui a déjà répété ses demandes trois fois. Forcer l’IA à continuer d’essayer n’est pas de l’intelligence ; c’est généralement une expérience désastreuse.

Les systèmes en production ont besoin de limites claires, par exemple :

Simple request
      ↓
     AI
      ↓
Can AI solve it?
  ↙        ↘
Yes         No
 ↓           ↓
Solve      Fallback
             ↓
       Human / callback

Un mécanisme de secours n’est pas le signe qu’un système a échoué. C’est une partie intégrante de la conception. Un agent en environnement de production ne devrait pas essayer de gagner chaque conversation, et il doit savoir quand la transmettre à un autre interlocuteur.

La fiabilité est la fonction principale

Au préalable, le défi principal semble être de faire en sorte que l’IA paraisse intelligente. Par la suite, une question plus pertinente se pose : comment rendre tout le système suffisamment fiable pour que les utilisateurs puissent lui faire confiance ? Il s’agit là d’un problème d’ingénierie différent. Celui-ci concerne la latence, le passage alterné la parole, les systèmes téléphoniques, les API, les pannes, la mémoire, l’observabilité et les mécanismes de secours, ainsi que le LLM, qui n’est qu’un composant parmi d’autres.

Faire en sorte qu’un agent vocal parle est facile. Le faire réussir à travers des centaines ou des milliers de conversations réelles représente un autre défi, et la solution ne réside pas principalement dans des prompts améliorés ou un modèle plus intelligent. C’est l’ingénierie qui entoure le modèle qui compte.

Au lieu de tenter de rendre un agent « plus intelligent », il convient de se concentrer sur ces sept domaines :

  1. Latence
  2. Gestion des interruptions
  3. Exécution fiable des outils
  4. Logique métier déterministe
  5. Contexte et mémoire
  6. Observabilité
  7. Solutions de secours efficaces

Lorsqu’un agent est mis en production, la fiabilité devient sa principale caractéristique.