Главная / Статьи

Почему голосовые агенты звучат роботизированно: каскады, обнаружение очереди и фреймворк TEN

Почему голосовые агенты звучат роботизированно: каскадные процессы распознавания речи, больших языковых моделей и синтеза речи приводят к паузам и некорректным прерываниям. Четыре типа голосовых агентов и способ, которым TEN обрабатывает очереди сообщений.

Издатель: REACTAPP.TOP8 мин чтения1924 слов

Источники: Why Your Voice Agent Sounds Like a Robot on Hold and How TEN Fixes It

У большинства голосовых агентов, проявляющих проблемы, нет проблем с моделью. Языковая модель обычно достаточно умна. Проблема заключается в синхронизации: агент заговаривает раньше времени, когда человек ещё только думает, молчит три секунды после вопроса или отказывается замолчать, когда кто-то перебивает. В этом обзоре объясняется, почему традиционный способ создания голосовых агентов приводит к таким симптомам, какие существуют виды голосовых агентов и как фреймворк TEN с открытым исходным кодом от Agora решает проблему синхронизации.

Что считается конверсационным агентом

Этот термин используется настолько свободно, что потерял большую часть своего значения, поэтому полезно дать простое определение. Агент для общения — это программное обеспечение, которое ведёт двусторонний диалог в реальном времени и понимает смысл сказанного, в отличие от инструментов, работающих на основе поиска ключевых слов. Слово «агент» подразумевает возможность действовать на основе этого понимания: искать записи, бронировать встречи, обновлять заявки или отвечать, используя информацию из предыдущих этапов сессии.

Меню телефона, требующее нажать 1 для управления счетами, не является примером такого агента. Бот поддержки, который слышит, что клиент не получил возврат средств за заказ прошлого вторника, и отвечает с информацией о статусе именно этого заказа, ближе к идеалу. В лучшем случае такой агент грациозно справляется с перебоями, запоминает ход разговора, слушает и говорит одновременно с человеком и отвечает достаточно быстро, чтобы молчание не принималось за сбой. Именно в скорости и естественности общения большинство систем терпят неудачу.

Каскадная структура и причины дискомфорта

До появления таких фреймворков, как TEN, голосовой агент представлял собой каскад из трех отдельных систем, работающих последовательно: преобразование речи в текст, затем использование языковой модели и, наконец, преобразование текста обратно в речь. Человек говорит, первая модель преобразует аудио в текстовый отчет, вторая пишет текстовый ответ, а третья превращает этот ответ обратно в аудио.

На бумаге всё выглядит аккуратно. На практике каждый этап ждёт, пока предыдущий полностью не завершится. Функция транскрипции не отправляет ничего, пока оратор не замолчит. Модель языка не начинает работу, пока не поступит весь текст транскрипции. Синтез речи не начинается, пока не будет готов полный ответ. Примитивная реализация легко добавляет от двух до четырёх секунд паузы перед тем, как станет слышно что-либо, и эта тишина воспринимается как баг.

Определение момента окончания речи

У такой последовательности действий нет умного способа определить, когда человек закончил говорить. Она опирается на обнаружение активности голоса, которое на самом деле просто слушает тишину. Если промежуток превышает определённый порог, например полсекунды, система предполагает, что речь завершена, и начинает обработку. Последствия это имеет хорошо известные:

  • Оратор, который делает паузу посреди предложения, чтобы подумать, прерывается из-за преждевременного ответа.
  • Говорящий, желающий прервать агента, обнаруживает, что тот продолжает говорить.
  • Обмен информацией происходит по принципу поочередных действий, как при переписке вслух.
  • Поскольку для каждого этапа используются отдельные поставщики, отладка требует анализа трех систем.

Более новый вариант и его стоимость

Модели преобразования речи в речь принимают аудио и возвращают аудио за один проход. GPT-4o Realtime и Gemini Live работают именно так. Задержка меньше, поскольку между входом и выходом нет текста. Цена определяется модульностью: часть, отвечающая за логические рассуждения, не может быть заменена независимо от голосовой функции, фильтр соблюдения правил трудно встроить между входом и выходом, и эти объединенные модели, как правило, слабее в выполнении сложных логических операций и вызовах инструментов по сравнению с специализированными языковыми моделями.

Четыре вида голосовых агентов

Прежде чем выбирать фреймворк, полезно определить, какой тип агента создаётся, поскольку каждый из них соответствует разным ожиданиям пользователей.

Агент-слушатель. Это строго полудуплексный формат, при котором одновременно может говорить только один участник. Агент ждёт подтверждения тишины, а затем отвечает. К классическим примерам относятся телефонные меню, инструменты для заполнения форм голосом и помощники по командам, такие как установка таймера. Их легко создать, они имеют роботизированный характер использования и подходят, когда задача структурирована. Они теряют эффективность, как только разговор становится более сложным.

Агент-прерыватель. Полудуплексные агенты одновременно слушают и говорят, справляясь с прерываниями без потери контекста. Даже коррекция на полуслове заставляет агента остановиться. Для этого требуется интеллектуальное обнаружение очереди говорения, а не только обнаружение тишины, и это является основой для всего, что должно казаться естественным.

Специалист. Мультимодальные агенты обрабатывают видео, изображения, документы и потоки данных наряду с речью. Примерами могут служить репетитор, который наблюдает за экраном, пока ученик рассказывает о коде, медицинский ассистент, который изучает рентгеновские снимки при описании симптомов, или бот для собраний, который делает прямой пересказ. Для этого требуется фреймворк, способный одновременно координировать несколько потоков без возникновения узких мест.

Сотрудник. Агенты, работающие в группе, участвуют в групповых сессиях: собраниях, уроках, многопользовательских играх, уроках иностранных языков с несколькими учащимися. Им необходима диаризация речи для определения того, кто говорит, понимание контекста каждого оратора и возможность обращения к конкретным людям. В простой системе это практически невозможно, тогда как в фреймворке с встроенной функцией реального времени для маршрутизации аудио это становится гораздо более осуществимым.

Что такое TEN

TEN — это аббревиатура от Transformative Extensions Network. Это фреймворк с открытым исходным кодом от компании Agora, предназначенный для создания многомодальных агентов для общения в реальном времени. Проще говоря, это среда выполнения, расположенная между моделями ИИ и пользователем. Она координирует потоковую передачу данных, маршрутизацию аудио между моделями и состояние разговора, так что всё это не требует дополнительной реализации с помощью специального кода.

Он был опубликован с открытым исходным кодом в 2024 году и с тех пор используется для создания ИИ-спутников, переводчиков, ботов для онлайн-поддержки и инструментов для краткого изложения содержания совещаний в реальном времени. Версия с хостингом, Agora’s Conversational AI Engine, использует глобальную сеть Software-Defined Real-Time Network компании, что позволяет автоматически управлять инфраструктурой.

Полезная модель мышления: каскадная система означает необходимость управления отношениями с тремя поставщиками и надежду на правильный поток данных между ними. В TEN компоненты представляют собой расширения, модульные и заменяемые в рамках единой графической структуры, которую обрабатывает фреймворк. Расширения являются строительными блоками. Каскадные этапы — это отдельные здания, соединённые пешеходными мостами.

Что делает его уникальным

Граф, работающий параллельно

В каскадной системе каждый этап ждёт своей очереди. TEN обрабатывает данные в виде ориентированного графа, в котором каждое расширение — будь то транскрипция, языковая модель, синтез или обнаружение голоса — является узлом. Узлы работают одновременно и передают частичные результаты дальше по мере их появления. Именно так, по утверждению фреймворка, достигается сокращение задержек на 60–70 процентов по сравнению с традиционными решениями: распознавание, генерация и синтез происходят одновременно в реальном времени.

Модель, которая знает, когда говорить

TEN предоставляет собственную модель обнаружения очереди действий, построенную на основе Qwen2.5-7B и обученную для распознавания намерений в ходе диалога. Вместо того чтобы фиксировать молчание, она классифицирует каждое высказывание в одно из трех состояний:

  • Завершено. Мысль завершена, и ожидается ответ, как, например, при запросе на помощь с заказом.
  • Ждите. Человек попросил агента не говорить, сказав что-то вроде «подождите».
  • Незавершено. Была пауза, но будет продолжение, поэтому агент остается молчаливым.

То, что эта модель понимает причину паузы, а не просто факт её наступления, отличает её от методов обнаружения, основанных на молчании. Поддерживаются английский и китайский языки встроенно.

Дешевый фильтр перед транскрипцией

Легкий модель активности голоса также выполняет функцию предфильтра. Прежде чем аудио попадет в систему распознавания речи, он удаляет фоновый шум, музыку, звуки дыхания и тишину. К сервису транскрипции поступает меньше данных, что напрямую снижает стоимость API. Вместе они образуют двухуровневую систему: один уровень определяет, происходит ли речь, а другой — завершилась ли речевая сессия.

Заменяемые компоненты

Каждый компонент представляет собой расширение. Переход от одного поставщика услуг транскрипции к другому означает замену одного расширения. Сравнение GPT-4o и DeepSeek на уровне обработки языка подразумевает замену расширений. Для добавления функции поиска, позволяющей агенту обращаться к корпоративным документам, требуется установка расширения памяти. Собственные расширения можно написать на Python, Go или C++, причем среда выполнения работает на Windows, Mac, Linux и мобильных платформах.

Визуальный дизайнер

TMAN Designer — это визуальный инструмент для создания графов агентов без использования кода. Расширения перетаскиваются, соединяются и настраиваются через интерфейс, а полученный граф можно просмотреть перед развертыванием. Это расширяет круг пользователей за пределы инженеров бэкенда, поскольку команды по разработке продуктов могут создавать прототипы конфигураций и передавать их дальше.

Краевые узлы и облако вместе

Расширения могут работать на устройстве, находящемся рядом с пользователем, в облаке или в комбинации обоих вариантов. Задачи, чувствительные к задержкам, выполняются на краевых узлах, а сложные вычисления — в облаке. Баланс между затратами и скоростью достигается путем изменения конфигурации, а не переписывания кода.

Глобальная сеть в основе

Благодаря хостингу движка агент получает доступ к реальному времени сети Agora, которая динамически маршрутизирует аудио, справляется с потерями пакетов и поддерживает низкую задержку в разных регионах. Та же инфраструктура обрабатывает большие объемы обычных аудио- и видеозвонков, поэтому агент корректно функционирует в реальных сетевых условиях, а не только в спокойной демо-среде.

Когда это подходит, а когда — нет

TEN — отличный выбор, когда целью является естественный обмен репликами в реальном времени, а не вопросы и ответы, когда можно свободно сочетать сервисы LLM, транскрипции и синтеза, когда требуется мультимодальный опыт, когда необходим глобальный масштаб без необходимости создания инфраструктуры WebRTC, и когда обработка прерываний не должна вызывать проблем. Типичными применениями являются ИИ-спутники, преподаватели в прямом эфире, уточненная служба поддержки клиентов и инструменты для совместных совещаний.

Альтернативы предпочтительнее в трех случаях. Если абсолютно минимальная задержка важнее модульности, лучше выбрать модель перевода речи в речь. Если сценарий использования предполагает простую команду и ответ без перерывов, достаточно базовой каскадной структуры. А если для соблюдения требований каждый входной сигнал должен транскрибироваться и храниться на каждом этапе, каскадная система с обозначением границ текста обеспечивает лучшую возможность аудита.

Обнаружение начала речи — это ключевой продукт

Основной урок, который можно извлечь после изучения всего этого, заключается в том, что большинство проблем с качеством голоса связаны не с моделями языка. Они возникают на периферии: слишком раннее прерывание человека, невозможность заметить, что тот продолжает говорить, или продолжение речи после прерывания. График и гибридная архитектура имеют значение, но самым важным фактором может быть специализированная модель обнаружения очереди, созданная для решения той единственной проблемы, которая определяет, кажется ли общение с машиной естественным. Всё остальное можно настроить. Если агент не знает, когда прекратить говорить, ничто другое не имеет значения.

Эта платформа является open source под лицензией MIT, запускается из контейнера Docker за несколько минут и включает рабочего примера агента, который стоит запустить перед написанием любого собственного кода. Лучший голосовой агент — это тот, чью архитектуру пользователь просто забывает, потому что общение проходит без проблем.

Связанные статьи

  • Оценка агентов с помощью бота для бронирования путешествий: итоги против траектории, ворота и pass^k — Пример использования бота для бронирования путешествий при оценке агентов: оси итогов и траектории, детерминистические ворота перед взвешенными оценками, 2x2-маトрица, а также различия между pass@k и pass^k.
  • Ваша инфраструктура для агентов, вероятно, слишком сложна: что стоит убрать — По мере совершенствования моделей структура инфраструктуры превращается в балласт. Здесь объясняется, как накапливаются избыточные элементы и рост затрат на обработку контекста, а также как проверить, что действительно необходимо сохранить.
  • Голосовые агенты GPT-Live-1: сессии, режимы делегирования и реальные затраты на телефонные линии — практический обзор полудуплексной голосовой модели OpenAI: как проходит сессия, различия между ответами и делегированием задач клиенту, пример расчета затрат и подводные камни в документации.