Чому голосові агенти звучать роботизовано: каскади, виявлення черг та фреймворк TEN
Чому голосові агенти звучать роботизовано: каскадні технології STT, LLM та TTS спричиняють перерви та погану передачу звуку. Чотири типи голосових агентів та те, як TEN керує чергуванням.
Джерела: Why Your Voice Agent Sounds Like a Robot on Hold and How TEN Fixes It
Більшість віртуальних агентів, які поводяться погано, не мають проблем із моделлю. Модель мовлення зазвичай достатньо розумна. Проблема полягає у таймінгу: агент говорить першим, поки людина ще думає, залишається мовчазним протягом трьох секунд після запитання або відмовляється зупинятися, коли хтось перебиває. У цьому огляді пояснюється, чому класичний підхід до створення віртуальних агентів спричиняє такі проблеми, які існують види віртуальних агентів та як відкрита фреймворк TEN від Agora вирішує проблему таймінгу.
Що вважається конверсаційним агентом
Цей термін використовується настільки неформально, що втратив більшу частину свого значення, тому корисно надати просте визначення. Агент для спілкування — це програмне забезпечення, яке підтримує живий двосторонній діалог та розуміє сенс сказаного, на відміну від знаходження відповідних ключових слів. Слово „агент“ підкреслює можливість діяти на основі цього розуміння: шукати інформацію, бронювати зустрічі, оновлювати записи чи відповідати, використовуючи контекст з ранніх етапів сесії.
Меню телефону, яке просить натиснути 1 для інформації про оплату, не є прикладом такого агента. Бот підтримки, який чує, як хтось каже, що не отримав повернення грошей за замовлення з минулої вівторка, та відповідає з інформацією про статус саме цього замовлення, є близьким до ідеалу. У найкращому випадку такий агент гідно справляється з перервами, пам’ятає хід розмови, слухає та говорить одночасно з користувачем та відповідає достатньо швидко, щоб мовчання ніколи не сприймалося як несправність. Саме швидкість та природність є тими аспектами, де більшість систем зазнають невдач.
Каскад та чому це здається незручним
До появи таких фреймворків, як TEN, голосовий агент означав каскадну послідовність трьох окремих систем: перетворення мовлення на текст, потім мовна модель та нарешті перетворення тексту на мовлення. Людина говорить, перша модель перетворює аудіо на текстовий запис, друга пише текстову відповідь, а третя — цю відповідь знову у форматі аудіо.
На папері все виглядає просто. На практиці кожен етап чекає, поки попередній повністю не завершиться. Функція транскрипції не надсилає жодних даних, поки спікер не замовкне. Модель мови не починає роботу, поки не надійде весь текст транскрипції. Синтез мовлення не розпочинається, поки не буде готова повна відповідь. Недосконала реалізація легко додає від двох до чотирьох секунд „мертвого“ часу перед тим, як можна буде почути щось, і ця тиша сприймається як баг.
Вгадування моменту завершення розмови
У такій послідовності дій немає ефективного способу визначити, коли людина закінчила говорити. Вона ґрунтується на виявленні активності голосу, яке насправді лише слухає за затишшям. Якщо інтервал перевищує певний поріг, можливо, півсекунди, система припускає, що розмова закінчилася, і починає обробку даних. Наслідки є знайомими:
- Спікер, який робить паузу посеред речення, щоб подумати, переривається ранньою відповіддю.
- Спікер, який хоче перервати агента, бачить, що той продовжує говорити.
- Обмін інформацією відбувається по черзі, як при надсиланні повідомлень вголос.
- Оскільки для кожної стадії є окремі постачальники, виправлення помилок означає аналіз трьох систем.
Новіший варіант та його вартість
Моделі перекладу мовлення в мовлення приймають аудіо та повертають аудіо за один прохід. GPT-4o Realtime та Gemini Live працюють саме так. Затримка є нижчою, оскільки між вхідним та вихідним даними немає тексту. Ціна залежить від модульності: частину, відповідальну за міркування, не можна замінити окремо від голосу, фільтр відповідності важко вставити між вхідними та вихідними даними, а ці єдині моделі зазвичай гірше справляються зі складними міркуваннями та викликом інструментів, ніж спеціалізовані мовні моделі.
Чотири види голосових агентів
Перш ніж обрати фреймворк, корисно вирішити, який тип агента будується, адже кожен з них відповідає різним очікуванням користувача.
Слухач. Суто напівдуплексний, де одночасно може говорити лише один учасник. Агент чекає на підтвердження тиші, а потім відповідає. Тут застосовуються класичні телефонні меню, форми для введення даних голосом та асистенти команд, такі як налаштування таймера. Легко створювати, прості у використанні та підходять, коли завдання структуроване. Вони перестають працювати, як тільки розмова стає більш складною.
Переривач. Повнодуплексні агенти одночасно слухають та говорять та справляються з перервами, не втрачаючи контексту. Навіть корекція в середині речення змушує агента зупинитися. Для цього потрібне розумне виявлення черги виступу, а не лише виявлення тиші, і це є основою для всього, що має здаватися природним.
Спеціаліст. Багатомодальні агенти обробляють відео, зображення, документи та потоки даних разом із аудіо. Прикладами є викладач, який спостерігає за екраном, поки студент розповідає про код, медичний асистент, який аналізує рентгенівські знімки під час опису симптомів, або бот для зустрічей, який створює узагальнення в реальному часі. Для цього потрібна платформа, здатна одночасно координувати кілька потоків без утворення «вузьких місць».
Співробітник. Агенти, які беруть участь у кількох сторін, працюють у групових середовищах: на зустрічах, у класах, у багатокористувацьких іграх, під час уроків мови з кількома учнями. Їм потрібна діаризація мовців, щоб знати, хто говорить, контекст кожного мовця та можливість звертатися до конкретних осіб. У примітивній системі це майже неможливо, тоді як у платформі з вбудованою функцією роутингу аудіо в реальному часі це значно простіше.
Що таке TEN
TEN — це абревіатура від Transformative Extensions Network. Це фреймворк з відкритим кодом від Agora для реальночасних багатомодальних конверсаційних агентів. Простіше кажучи, це середовище виконання, яке знаходиться між моделями ШІ та користувачем. Воно координує стрімінг, маршрутизацію аудіо між моделями та стан розмови, щоб усе це не доводилося створювати за допомогою додаткового коду.
Він був оприлюднений під ліцензією з відкритим кодом у 2024 році та з того часу використовується для ШІ-супутників, перекладачів, ботів для надання підтримки в реальному часі та систем підсумовування зустрічей. Хостована версія — Agora’s Conversational AI Engine — використовує глобальну мережу Software-Defined Real-Time Network компанії, тож інфраструктура вже керується автоматично.
Корисна ментальна модель: каскадна система означає необхідність керування трьома стосунками з постачальниками та сподівання на правильний потік даних між ними. У TEN елементи є розширеннями, модульними та замінними в межах єдиної графіки, яку виконує фреймворк. Ці розширення є будівельними блоками. Каскадні етапи — це окремі будівлі, з’єднані пішохідними мостами.
Що робить його унікальним
Графіка, яка працює паралельно
У каскадній системі кожен етап чекає. TEN виконує свою систему як спрямовану графіку, в якій кожне розширення — чи то транскрипція, мовна модель, синтез чи розпізнавання голосу — є вузлом. Вузли працюють одночасно та передають частковий результат далі, як тільки він готовий. Саме так, за твердженням фреймворку, досягається зниження затримки на 60–70 відсотків порівняно з традиційними підходами: розпізнавання, генерація та синтез відбуваються одночасно у потоці даних.
Модель, яка знає, коли говорити
TEN постачає власну модель виявлення черги, створену на основі Qwen2.5-7B та навчену для розпізнавання намірів у розмові. Замість того, щоб фіксувати тишу, вона класифікує кожну фразу в один із трьох станів:
- Завершено. Думка завершена, і очікується відповідь, як-от під час запиту про допомогу з замовленням.
- Чекайте. Людина попросила агента не говорити, наприклад, сказавши «зачекайте».
- Незавершено. Була пауза, але буде ще щось, тому агент залишається мовчазним.
Розуміння причини паузи, а не просто її наявності, — ось що відрізняє цей підхід від методу, заснованого на тиші. Англійська та китайська мови підтримуються нативно.
Дешевий фільтр перед транскрипцією
Легкий модель активності голосу також виконує функцію попереднього фільтра. Перш ніж аудіо потрапить до системи перекладу мовлення у текст, він усуває фоновий шум, музику, звуки дихання та тишу. Кількість даних, які надсилаються до сервісу транскрипції, зменшується, що безпосередньо знижує витрати на API. Разом вони створюють двошарову систему: один шар визначає, чи відбувається мовлення, а інший — чи завершилася черга спілкування.
Замінні компоненти
Кожен компонент є розширенням. Перехід від одного постачальника транскрипції до іншого означає заміну одного розширення. Порівняння GPT-4o з DeepSeek на рівні обробки мови означає заміну розширень. Додавання функції пошуку, щоб агент міг користуватися корпоративними документами, передбачає використання розширення пам’яті. Спеціальні розширення можна створювати на Python, Go чи C++, а система роботи працює на Windows, Mac, Linux та мобільних платформах.
Візуальний дизайнер
TMAN Designer — це візуальний інструмент для створення графів агентів без коду. Розширення перетягуються, під’єднуються та налаштовуються через інтерфейс, а отриманий граф можна перевірити перед розгортанням. Це розширює коло користувачів за межі інженерів бекенду, адже команди, що розробляють продукт, можуть створювати прототипи конфігурацій та передавати їх далі.
Крайові пристрої та хмара разом
Розширення можуть працювати на пристрої, розташованому поруч із користувачем, у хмарі або поєднано. Завдання, чутливі до затримок, виконуються на крайових пристроях, а складні обчислення — у хмарі. Балансування витрат та швидкості здійснюється шляхом зміни конфігурації, а не переписування коду.
Глобальна мережа в основі
Завдяки хостованому двигуну агент отримує доступ до мережі Agora в реальному часі, яка динамічно маршрутизує аудіо, компенсує втрати пакетів та зберігає низьку затримку між регіонами. Ця сама інфраструктура обробляє велику кількість звичайних аудіо- та відеодзвінків, тому агент добре функціонує за реальних умов мережі, а не лише під час тихої демонстрації.
Коли це підходить, а коли — ні
TEN є гарним варіантом, коли метою є природна розмова в реальному часі, а не по черзі запитання та відповіді, коли можна вільно поєднувати постачальників LLM, транскрипції та синтезу, коли досвід є багатомодальним, коли потрібен глобальний масштаб без необхідності створення інфраструктури WebRTC, та коли обробка перерв не повинна виглядати несправною. Типовими застосуваннями є ШІ-супутники, викладачі в прямому ефірі, деталізована підтримка клієнтів та інструменти для спільних зустрічей.
Альтернативи є кращими у трьох випадках. Якщо абсолютно найнижча затримка має більше значення, ніж модульність, кращим вибором є модель перекладу мовлення на мовлення. Якщо сценарій використання — це проста команда та відповідь без перерв, достатньо базової каскадної структури. А якщо для дотримання вимог кожен вхідний даний має бути транскрибований та збережений на кожному етапі, каскадна система з межами тексту є більш піддається перевірці.
Виявлення початку/кінця розмови — це результат
Основний урок після вивчення всього цього полягає у тому, що більшість проблем з якістю голосу не є проблемами моделей мовлення. Вони виникають у дрібницях: занадто раннє переривання людини, нездатність помітити, що вона все ще говорить, або продовження мовлення після перерви. Графік та гібридне розгортання мають значення, але найважливішим фактором може бути спеціалізована модель виявлення черги, створена саме для тієї проблеми, яка визначає, чи здається спілкування з машиною природним. Усе інше можна налаштувати. Якщо агент не знає, коли припинити говорити, ніщо інше не має значення.
Ця платформа є відкритим кодом під ліцензією MIT, запускається з контейнера Docker протягом кількох хвилин та включає працездатного зразкового агента, який варто запустити перед написанням будь-якого власного коду. Найкращий голосовий агент — це той, про архітектуру якого користувач забуває, тому що спілкування просто функціонує без проблем.
Пов’язана література
- Чому AI-агентам потрібен шар управління, а не просто кращі запити — Запити впливають лише на одну взаємодію, а не на весь робочий процес. Як шар управління, що складається з правил, обмежень авторитету та підтвердження завершення завдань, робить AI-агентів надійними.
- Чому журнали діяльності агентів не задовольнять вимогам статті 12: записи рішень, причинно-наслідкові зв’язки та походження даних — Журнали не є доказом відповідальності. Як записувати рішення агентів у вигляді стійких об’єктів із причинно-наслідковими зв’язками, послідовністю хешів та детерміністичними правилами, використовуючи Semantica.