Accueil / Articles

Pourquoi les agents vocaux ont un son robotique : les cascades, la détection des tours de parole et le cadre TEN.

Pourquoi les agents vocaux ont un son robotique : les pipelines en cascade de STT, LLM et TTS provoquent des silences et de mauvaises interruptions. Quatre types d’agents vocaux et la manière dont TEN gère les tours de parole.

Éditeur : REACTAPP.TOP8 min de lecture1924 mots

Sources: Why Your Voice Agent Sounds Like a Robot on Hold and How TEN Fixes It

La plupart des agents vocaux qui se comportent mal n’ont pas de problème de modèle. Le modèle de langage est généralement suffisamment intelligent. Ce qui ne fonctionne pas, c’est le timing : l’agent parle au-dessus de la personne qui était simplement en train de réfléchir, reste silencieux trois secondes après une question, ou refuse de s’arrêter lorsque quelqu’un l’interrompt. Cette explication détaille pourquoi la méthode classique de création d’agents vocaux provoque ces symptômes, quels types d’agents vocaux existent, et comment le framework open source TEN d’Agora aborde le problème du timing.

Qu’est-ce qu’un agent conversationnel ?

Ce terme est utilisé de manière si vague qu’il a perdu la majeure partie de son sens, c’est pourquoi une définition simple est utile. Un agent de conversation est un logiciel capable d’engager un dialogue en temps réel et bidirectionnel, et de comprendre le sens de ce qui est dit, contrairement à un système qui se contente de rechercher des mots-clés. Le mot « agent » indique également la capacité d’agir en fonction de cette compréhension : rechercher une donnée, réserver une réunion, mettre à jour un ticket ou répondre en s’appuyant sur le contexte de la session précédente.

Un menu téléphonique qui vous demande d’appuyer sur 1 pour les questions de facturation n’en est pas un. Un bot d’assistance qui entend quelqu’un dire qu’il n’a pas reçu le remboursement de la commande du mardi dernier et qui répond par l’état de cette commande en particulier y ressemble davantage. Dans son meilleur cas, un tel agent gère les interruptions avec élégance, se souvient de la session, écoute et parle en même temps que les utilisateurs, et répond suffisamment rapidement pour que le silence ne soit jamais interprété comme une panne. C’est précisément sur le plan de la vitesse et de la naturalité que la plupart des systèmes échouent.

La cascade et pourquoi elle semble gênante

Avant des frameworks comme TEN, un agent vocal impliquait une chaîne en cascade de trois systèmes distincts en séquence : reconnaissance vocale en texte, puis un modèle de langage, puis synthèse vocale en texte. La personne parle, le premier modèle transforme l’audio en transcription, le deuxième rédige une réponse textuelle, et le troisième transforme cette réponse en audio.

En théorie, c’est ordonné. En pratique, chaque étape attend que la précédente soit complètement terminée. La transcription n’envoie rien tant que le locuteur n’a pas cessé de parler. Le modèle de langage ne démarre qu’une fois toute la transcription reçue. La synthèse vocale ne commence qu’une fois la réponse complète disponible. Une implémentation naïve ajoute facilement deux à quatre secondes de silence avant qu’on entende quoi que ce soit, et ce silence est perçu comme une erreur.

Deviner quand quelqu’un a fini

Une cascade ne dispose d’aucun moyen intelligent pour déterminer quand une personne a terminé. Elle s’appuie sur la détection de l’activité vocale, qui ne fait en réalité que rechercher des périodes de silence. Si l’intervalle dépasse un seuil, disons une demi-seconde, le système suppose que le tour est terminé et commence à traiter. Les conséquences sont connues :

  • Un locuteur qui fait une pause au milieu d’une phrase pour réfléchir est interrompu par une réponse prématurée.
  • Un interlocuteur qui souhaite interrompre l’agent constate que celui-ci continue de parler.
  • L’échange est structuré par tours, à l’instar d’un envoi de messages verbaux.
  • Avec des fournisseurs distincts pour chaque étape, le débogage implique de suivre les traitements à travers trois systèmes.

Une option plus récente et son coût

Les modèles parole-parole prennent en entrée de l’audio et en renvoient d’autres données audio en une seule étape. GPT-4o Realtime et Gemini Live fonctionnent de cette manière. La latence est plus faible car aucun texte n’intervient entre les deux. Le prix dépend de la modularité : la partie de raisonnement ne peut pas être remplacée indépendamment de la voix, un filtre de conformité ne peut pas être inséré facilement entre l’entrée et la sortie, et ces modèles unifiés ont tendance à être moins performants en termes de raisonnement complexe et d’appels à des outils par rapport aux modèles linguistiques dédiés.

Quatre types d’agents vocaux

Avant de choisir un framework, il est utile de déterminer quel type d’agent doit être développé, car chacun correspond à des attentes différentes de la part des utilisateurs.

L’agent à communication unidirectionnelle. Il fonctionne strictement en mode demi-duplex, avec un seul interlocuteur à la fois. L’agent attend de confirmer le silence avant de répondre. Les menus téléphoniques classiques, les outils de remplissage de formulaires par voix et les assistants vocaux tels que ceux permettant de programmer un minuteur relèvent de ce type. Facile à créer, utilisation plutôt robotique, et adapté lorsque la tâche est structurée. Il cesse de fonctionner dès que la conversation devient plus nuancée.

L’agent à communication bidirectionnelle. Ces agents écoutent et parlent simultanément et parviennent à gérer les interruptions sans perdre le contexte. Une correction en plein milieu d’une phrase peut même faire cesser l’agent. Cela nécessite une détection intelligente des tours de parole et pas seulement une détection du silence ; c’est la base de tout système censé paraître naturel.

Le spécialiste. Les agents multimodaux gèrent des vidéos, des images, des documents et des flux de données en même temps que le son. Parmi les exemples, on trouve un tuteur qui observe l’écran tandis qu’un étudiant explique du code, un assistant médical qui examine une radiographie pendant que les symptômes sont décrits, ou un bot de réunion qui fait un résumé en direct. Ceux-ci ont besoin d’un cadre capable de coordonner plusieurs flux en même temps sans goulot d’étranglement.

Le collaborateur. Les agents multi-acteurs participent à des environnements de groupe : réunions, salles de classe, jeux en ligne, cours de langue avec plusieurs apprenants. Ils ont besoin d’une diarisation des intervenants pour savoir qui parle, du contexte relatif à chaque interlocuteur, ainsi que de la capacité de s’adresser à des personnes spécifiques. Avec une approche naïve, c’est presque impossible, mais c’est beaucoup plus réalisable avec un cadre disposant d’un routage audio en temps réel intégré.

Qu’est-ce que TEN ?

TEN signifie Transformative Extensions Network. Il s’agit d’un framework open source développé par Agora pour des agents conversationnels multimodaux en temps réel. En termes simples, c’est un environnement de exécution qui se situe entre les modèles d’IA et l’utilisateur. Il gère le streaming, le routage de l’audio entre les modèles ainsi que l’état de la conversation, de sorte que rien de tout cela n’a besoin d’être assemblé à l’aide de code supplémentaire.

Il a été rendu open source en 2024 et a depuis été utilisé pour des compagnons IA, des traducteurs, des bots d’assistance en direct et des outils de résumé de réunions en temps réel. Une version hébergée, l’Agora’s Conversational AI Engine, intègre le réseau mondial défini par logiciel de l’entreprise, ce qui permet une gestion automatique de l’infrastructure.

Un modèle mental utile : un pipeline en cascade signifie gérer trois relations avec des fournisseurs tout en espérant que les données circulent correctement entre eux. Avec TEN, les composants sont des extensions modulaires et interchangeables au sein d’un seul graphe géré par le framework. Ces extensions constituent des briques de construction. Les étapes en cascade, quant à elles, ressemblent à des bâtiments séparés reliés par des passerelles.

Qu’est-ce qui le distingue ?

Un graphe qui fonctionne en parallèle

Dans une architecture en cascade, chaque étape attend son tour. TEN exécute son pipeline sous forme de graphe orienté, où chaque extension – qu’il s’agisse de transcription, de modèle linguistique, de synthèse ou de détection vocale – représente un nœud. Ces nœuds fonctionnent simultanément et transmettent les résultats partiels au fur et à mesure qu’ils sont générés. C’est ainsi que le framework prétend réduire la latence de 60 à 70 % par rapport aux solutions traditionnelles : la reconnaissance, la génération et la synthèse s’effectuent toutes en même temps.

Un modèle qui sait quand parler

TEN propose son propre modèle de détection de tour, basé sur Qwen2.5-7B et entraîné pour comprendre les intentions conversationnelles. Plutôt que de détecter le silence, il classe chaque énoncé dans l’un de trois états :

  • Terminé. La pensée est achevée et une réponse est attendue, comme dans une demande d’aide pour passer une commande.
  • Attente. La personne a demandé à l’agent de ne pas parler, par exemple en disant « attendez un instant ».
  • Non terminé. Il y a eu une pause, mais il y a encore du contenu à venir, donc l’agent reste silencieux.

Comprendre pourquoi une pause s’est produite, et non seulement qu’elle a eu lieu, c’est ce qui distingue cette méthode de la détection basée sur le silence. L’anglais et le chinois sont pris en charge nativement.

Un filtre économique avant la transcription

Un modèle léger d’activité vocale agit également comme pré-filtre. Avant que l’audio n’atteigne le service de transcription, il élimine le bruit de fond, la musique, la respiration et le silence. Moins de données sont envoyées au service de transcription, ce qui réduit directement les coûts d’API. Utilisés ensemble, ces deux éléments forment un système à deux niveaux : l’un détermine s’il y a de la parole, l’autre détermine si la séquence est terminée.

Composants interchangeables

Chaque composant est une extension. Passer d’un fournisseur de transcription à un autre signifie changer une extension. Comparer GPT-4o à DeepSeek au niveau linguistique revient à remplacer des extensions. Ajouter une fonction de récupération permettant à l’agent d’accéder aux documents de l’entreprise signifie intégrer une extension de mémoire. Des extensions personnalisées peuvent être écrites en Python, Go ou C++, et l’environnement de exécution fonctionne sous Windows, Mac, Linux et sur les plateformes mobiles.

Un outil de conception visuelle

TMAN Designer est un outil visuel permettant de créer des graphes d’agents sans écrire de code. Les extensions sont glissées, connectées et configurées via une interface, et le graphes résultant peut être examiné avant son déploiement. Cela élargit le champ d’action au-delà des ingénieurs backend, puisque les équipes de produits peuvent créer des prototypes de configurations et les transmettre.

Le bord et le cloud ensemble

Les extensions peuvent fonctionner sur le dispositif situé près de l’utilisateur, dans le cloud, ou dans une combinaison des deux. Les tâches sensibles à la latence restent au niveau du bord, tandis que les calculs intensifs sont exécutés dans le cloud. Équilibrer coûts et vitesse devient alors une simple modification de configuration plutôt qu’une réécriture complète.

Un réseau mondial en sous-jacent

Grâce au moteur hébergé, l’agent a accès au réseau en temps réel d’Agora, qui route l’audio de manière dynamique, gère les pertes de paquets et maintient une faible latence quel que soit le lieu. La même infrastructure gère de grandes quantités d’appels audio et vidéo ordinaires, ce qui permet à l’agent de fonctionner correctement dans des conditions réseau réelles et non seulement lors d’une démonstration en environnement calme.

Quand c’est adapté et quand ce ne l’est pas

TEN est un bon choix lorsque l’objectif est une conversation naturelle en temps réel et non des échanges question-réponse, lorsque les fournisseurs de LLM, de transcription et de synthèse doivent pouvoir être combinés librement, lorsque l’expérience est multimodale, lorsque l’échelle mondiale est nécessaire sans devoir mettre en place une infrastructure WebRTC, et lorsque le traitement des interruptions ne doit pas donner l’impression d’être défaillant. Les utilisateurs typiques sont les compagnons IA, les tuteurs en direct, les services de support client sophistiqués et les outils de réunion collaboratifs.

Les alternatives sont préférables dans trois cas. Si la latence absolument la plus faible est plus importante que la modularité, un modèle parole-parole est le choix idéal. Si l’usage consiste en des commandes et des réponses simples sans interruptions, une cascade de base suffit. Et si chaque entrée doit être transcrite et stockée à chaque étape pour des raisons de conformité, un système en cascade avec des limites de texte est plus facile à auditer.

La détection de tonalité est le produit

La leçon principale qui ressort de cette étude est que la plupart des problèmes de qualité de voix ne sont pas liés aux modèles de langage. Ils apparaissent dans les détails : couper une personne trop tôt, ne pas se rendre compte qu’elle continue de parler, ou continuer à s’exprimer après avoir été interrompu. Le graphique et le déploiement hybride sont importants, mais la contribution la plus significative provient peut-être du modèle dédié à la détection des tours de parole, conçu spécifiquement pour résoudre le problème qui détermine si parler à une machine semble naturel. Tout le reste peut être ajusté. Si l’agent ne sait pas quand cesser de parler, rien d’autre n’a d’importance.

Le framework est open source sous licence MIT, il s’exécute depuis un conteneur Docker en quelques minutes, et inclut un agent de exemple fonctionnel qu’il vaut la peine de tester avant d’écrire du code personnalisé. Le meilleur agent vocal est celui dont l’architecture est oubliée par l’utilisateur, car la conversation se déroule simplement sans problème.

Lectures complémentaires

  • Évaluation des agents avec un bot de voyage : résultat contre trajectoire, portes de décision et pass^k — Un exemple concret de réservation de voyages pour évaluer les agents : axes du résultat et de la trajectoire, portes déterministes avant les scores pondérés, une matrice 2x2 ainsi que pass@k contre pass^k.
  • Votre framework d’agent est probablement surconçu : ce qu’il faut supprimer — À mesure que les modèles s’améliorent, les structures de support deviennent un fardeau inutile. Voici comment l’encombrement des analyses et les coûts de contexte excessifs s’accumulent, et comment tester ce qui mérite encore d’être conservé.
  • Les agents vocaux GPT-Live-1 : sessions, modes de délégation et coûts réels des lignes téléphoniques — Une présentation pratique du modèle vocal full-duplex d’OpenAI : comment se déroule une session, les réponses par rapport à la délégation au client, une estimation de coûts détaillée ainsi que les pièges présents dans la documentation.