Чаму галасавыя агенты гучаць як робаты: каскады, вызначэнне чаргі і фрэймворк TEN
Чаму галасавыя агенты гучаць механічна: каскадныя канвееры STT, LLM і TTS даюць паўзы і няўдалыя перапыненні. Чатыры віды галасавых агентаў і як TEN кіруе чаргой рэплік.
Крыніцы: Why Your Voice Agent Sounds Like a Robot on Hold and How TEN Fixes It
Большасць вокальных агентаў, якія парадзяюцься, не маюць проблем з модэллю. Мовная модэль зазвычай дастаткова розумна. Проблема часта крыўціцца у таймінгу: агент гаворыць перад тым, калі чалавек толькі думае, застаецца мовчазным на тры секунды пасля запітання, або адмовляецца зупініцца, калі хтось перакідае яго. У этам разьясненні паспісваецца, чаму класычны спосаб стварэння вокальных агентаў вызывае гэтыя сімптамы, якія існуюць відмены вокальных агентаў, і як фрэймворк TEN з адкрытым кодам ад Agora падходзіць да проблемы таймінгу.
Што лягае ў основу канверсацыйнага агента
Этот тэрмін вжываецца так абстрактна, што ўжо практычна апошнічыў свой значэнь, таму практычныя вяскапленні дапамагаюць. Агент для дыялогу — гэта програмнае забезпечэнне, якое ведае жывы, двухсторонні дыялог і розумее сэнс сказанага, на вялікай адміністрацыі ад простага падбірання ключоўых слоў. Слова «агент» дадае можлівасць дзеяць на адважанні: шукаць інформацыю, бронюваць зустрэч, апдэйтаваць інформацыю аб заявцы чы ўтвараць адпаведзь на адважанні з пачатку сесіі.
Меню тэлефона, якое просіць нажаць 1 для вырахунку платы, не ўраховваецца як такое. Бот для падтрымкі, які чуе, як хтось кажа, што не атрымаў вярнення грошаў за замовленне праз два дні тыччоў, і адпавядае з інформацыяй пра статус гэтага конкрэтнага замовлення, бліжэй да ідэалу. У найкрашчым разе такі агент граматычна справляецца з перакрыццямі, памятае ход пераговораў, слухае і гаворыць адночасна з людзьмі, і адпавядае настолькі шыбка, што мовчанне ніколі не плутаецца з нештатным станам. Самэ гэта — швальба і натуральнасць — яе якраз і не вытрываюць большасць сістэм.
Каскад і прычыны некамфортнага адчування
Да появы такіх фрэймворкаў, як TEN, голасавы агент абыў каскадным ланцоўкам з трохоў разлучных сістэмаў: пераклад голасу ў тэкст, потым мовны мадэль, а пасля пераклад тэксту ў голас. Чалавек гаворыць, першыя мадэлі ператвараюць аудыя на тэкст, другія пішуць тэкстовую адпаведзь, а трэція ператвараюць гэтую адпаведзь знадваў у аудыя.
На паперы все выглядае проста. У рэальнае выконанне кожны этап чакае, пакуль папершы не завершыцца цэлкам. Функцыя транскрыпцыі не надае нічога, пакуль спікер не зупініцца. Мадэль мовы не запускаецца, пакуль не прыйдзе весь тэкст транскрыпцыі. Функцыя сінтэзу мовы не пачынаецца, пакуль не будзе готаваўся цэлы адказ. Простая рэалізацыя лёгка можа дадаць два-чатыры секунды тышы прытым, прычым нічога не чувацца, і гэтая тыша спрыяе спрыйманню як бага.
Адгадванне, калі хтось заканчыў
У такой каскадной структуры няма розумнага спосабу з’ясаваць, калі чалавек заканчыў. Яна выкарыстоўвае адказванне на актывацыю голасу, якае на самай працэ практычна толькі слухае за тышай. Якшча перыод тышы перасягае певны порог, можа, паў секунды, сістэма прыймае, што паўторнае выкладванне заканчылася, і пачынае апрацоўку. Наследкі знаёмы:
- Спікер, які на момент выкладвання фразы зупініцца, каб падумаць, прыпініваецца раннім адказам.
- Спікер, які хочаць перарваць агента, бачыць, што той продовжае гаварыць.
- Абменаванне структурна ў фармаце па зміне ролей, падобна да пісьмовага абменавання, але вголас.
- Калі кожны этап адбываецца з адным прадаўцам, дыбаггіранне значыць трэба аналізаваць тры сістэмы.
Новейшая апцыя і яе цена
Мадэлі перакладу мовы на мову прымоць аудыя і вяртаюць аудыя за адну процэсуру. GPT-4o Realtime і Gemini Live працуюць так. Затрымка меньшая, таму што між вхідным і выходным даным няма тэксту. Цена залежыць ад модулярнасці: частка рашэннёва не можа быць заменена незалежна ад голасу, фільтр са адпаведнасцю не можа быць лёгка адключаны між вхідным і выходным даным, і гэтыя аб’еднаныя мадэлі зазвычай слабейшыя у складным рашэннёвым працаванні і выкорыстанні інструментаў, чым спецыяльныя мовныя мадэлі.
Чатыры відменнікі голасовых агентаў
Перш чым выбраць фрэймворк, корыстна ўзнікнуць рашэнне, які тып агента будуецца ствараць, адколькі кожны з іх падходзіць да разных аспактаваў корыстніка.
Слухальнік. Гэта строга паўдуплексная сістэма, калі за раз можа гаварыць толькі адна сторона. Агент чакае, пакуль не будзе тышы, а потым адпавядае. Класычныя тэлефонныя меню, прыстроі для заполнення формы голасам і асістэнты-каманды, такія як настаўленне таймера, прыклады такіх рашэнняў. Іх лёгка стварыць, іх прыемна вікорыстоўваць, і яны падходзяць, калі задача мае чыстую структуру. Яны перастаюць працаваць, як толькі размова становіцца болей складной.
Перакрыцальнік. Агенты з моцным дуплексам можаць адночасна слухаць і гаварыць, а таксама справляцца з перакрыцаннямі без втраты кантэксту. Адночаснае парадкаванне фразы можа змусіць агента зупініцца. Для этага патрэбна інтэлігентная дыягностыка парадку, а не толькі выяўленне тышы, і гэта являецца базовым прынцыпам для всіх рашэнняў, якія должны здавацца натуральнымі.
Спецыяліст. Багатамодальныя агенты обрабоцваюць відэа, з’явы, дакументы і потокі даных разам з мовленням. Прыкладамі ўсё той жа наставнік, які спаглядае экран, пакалі студэнт розповідае пра код, медычны асістэнт, які аналізуе рэнтгенавскія знімкі пад час опісу сімптаматыкі, або бот для перадачы зустрэчаў, які стварае падсумкі на жывае. Для іх работы патрэбная парадка, якая можа коордынаваць калькі потакоў адразу без утварэння «вузькага месца».
Саўершаннік. Агенты, якія працуюць у групах, прыўязуюцца да групавых налашчэнняў: зустрэчаў, класоў, багатакарцовых гэмэў, урокаў мовы з калькама учняў. Ім патрэбна дыярызація спікероў, каб знаты, хто говорыць, кантэкст кожнага спікера і можлівасць звернуцца да конкрэтных адзінакоў. У простай парадцы гэта майжэ немагчыма, але ў парадцы з вбудованым рэальнага часу маршрутызаваннем аудыя — гэта значна прыемлівей.
Што такое TEN
TEN — гэта Transformative Extensions Network. Гэта фрэймворк адкрытага кода ад компаніі Agora, прызначаны для рэальнага часу, мультымадальных кансэрвацыйных агентаў. Проста кажучы, гэта асяроддзе выканання, якая знаходзіцца між мадэлямі AI і корыстнікам. Яна керуе стрымаваннем, маршрутызацыяй аудыя між мадэлямі і станам кансэрваціі, так што нічога з гэтага не трэба складаць з коду-склейкі.
Ён быў адкрытым па коду у 2024 годзе і з тэх пачатку выкорыстоўваецца для AI-супаканаў, перакладчыкаў, ботаў для жывой падтрымкі і сумарызатораў зустрэчаў у рэальны час. Версія, якая рухаецца на хостыне, Agora's Conversational AI Engine, дадае пад сабой глобальную сетка Software-Defined Real-Time Network компаніі, таму інфраструктура ужо керуецца.
Прыгучы ментальны модэль: каскадны пайплайн означае кераванне трох вазносінаў і надзею на тое, што даныя будуць правільна пераходзіць між імі. У TEN элементы ўособліваяюцься як расшырэнні, модульныя і можлівыя да замены ў рамках аднаго графа, які запускае фрэймворк. Расшырэнні ўособліваюцься як будавальныя блакіты. Каскадныя этапы — гэта адзінаковыя будынкі, з’яўленыя ўзаемнымі мостамі.
Што яго адрознівае
Граф, які працуе паралельна
У каскадным падходзе кожная стадыя чакае. TEN запускае свой пайплайн як спрамованы граф, у якім кожна пашырэнне — будзь то транскрыпцыя, мовны модэль, сінтэза чы выяўленне голасу — ўособліваецца як вузол. Вузлы працуюць адночасова і перадаюць частковы выходны рэзультат, калі ён з’яўляецца. Самэ так фрэймворк стверджвае, што можа зменшыць час адпаведзі на 60–70 процэнтоў у пораўнанні з простымі рашэннямі: распазнаванне, генераванне і сінтэза адбываюцца адразу.
Модэль, якая ведае, калі гаварыць
TEN выклікае сабе мадэль дытэкціі парадку, створаную на базе Qwen2.5-7B і навучаную для розпазнавання намерэнняў у кантактах. У замест на фіксацыю тышы, яна класіфікуе кожную фразу ў адны з трохоў стаўянняў:
- Заканчана. Мысль завершана і чакаецца адпаведзь, як у разе запіту пра дапамогу з замовленнем.
- Чакай. Чалавек паведаміў агента не гаварыць, напрыклад, сказаў «чакайце».
- Незаканчана. Была пауза, але будзе ўсё, таму агент застаецца мовчкі.
Розумеў, чаму выйшла пауза, а не проста тое, што яна выйшла, — гэта тое, што адрознівае гэта ад дытэкціі на адной тышы. Англійскі і кітайскі падтрымваны натыўна.
Дышэўны фільтр пры перакладзе
Легкія мадэль актывацыі голасу таксама выполняе ролю прадзефлектара. Перш чым аудыяцыя дастынка прайдзе на пераклад на тэкст, яна адзьяўляе фонавы шум, музыку, дыханне і тышу. Меншых даных падае на службу транскрыпцыі, што безпасебна зменшае выклікі за API. Калі яны вжываюцца разам, ствараецца двашаровая сістэма: адна частка вяршыць, чы гэта ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё
TMAN Designer — гэта візуальны інструмент для стварэння графаў агентаў без коду. Расшырэнні ператасовваюцца, з’яўляюцца у з’ўязку і налаштовваюцца праз інтэрфейс, а створаны граф можна пераглядзець прытым, прычым яго до запуску. Чыгун гэта расшыруе кола корыстувачаў за межы інжынераў бэкенду, адколькі команды, якія працуюць над продуктам, можаць ствараць пратотыпы налаштоўкаў і перадаваць іх далей.
Края і хмара разам
Расшырэнні можна запускаць на прыстрое, які знаходзіцца поблізу корыстувальніка, у воблаку або ў сумешанні. Праца, чутлівая да затрымкі, застаецца на краях, а складныя вычысленні — у воблаку. Балансаванне вартасці і швалькосты стае простым змяненням налаштоўкаў, а не перапісвам коду.
Глобальная сетка пад спадаром
Чаргуючыся праз адмініструемы двыжок, агенттары маюць доступ да рэальнага часу сеткі Agora, якая дынамічна маршрутуе аудыя, справляецца з втратамі пакетаў і падтрымлівае нізкі латэнс у разных рэгіонах. Тая ж інфраструктура перавозіць вялікія об’ёмы звычных аудыя- і відэа-калёс, таму агенттары працуюць належна ў рэальных сеткавых умовах, а не толькі пад час тыхоўкай дамаўкі.
Калі гэта падходзіць, а калі — ні
TEN ўзгодзіцца, калі мета — натуральны, рэальнага часу дыялог, а не пытання-адказы, калі можна свабодна сумешчаць прадукты для LLM, транскрыпціі і сінтэзу, калі досвід ёсць мультымадальным, калі патрэбны глобальны масштаб без стварэння інфраструктуры WebRTC, і калі апрацоўка перарываў не павінна выглядаць несправнай. Тыповыя прыклады прыменення — AI-супаканнікі, настолькія вучыльнікі, розгледзелы кастамерскі сапорт і інструменты для саўместных заседанняў.
Альтэрнатывы ўтымчыць лепшыя ў трох случаях. Калі абсалютна найменшы час адклікання мае большое значэнне, чым модулярнасць, тады лепшы выбар — мадэль перакладу мовы на мову. Калі задача заключаецца у простым запуску команды і адпаведнай адпаведзі без перарываў, дастатнекі будзе базовы каскад. А калі кожны вхідны даны трэба транскрыбаваць і зберагаць на кожным этапе для сарабіткі з правіламі, тады каскадаваная сістэма з межамі тэксту ёсць прыемнейшая для аўдыту.
Адгукаванне на зміну стану — гэта продукт
Галоўны вывад пасля адстудавання всьго гэтага — большасць проблем з якасцю голасу не ўзводзяцца з проблем модэля мовы. Яны з’являюцца на перыходах: занадто раннее перыванне співрозмовніка, нездатнасць пазначыць, што той яшчэ говорыць, або продовжэнне мовлення пасля перывання. Граф і гібрыдны спосаб розмішчэння маюць значэнне, але найважлівейшым фактарам можа быць спецыяльны модэль дэтэкціі паўтарэння кроку, створаны для таго самага праблемы, якая вяршыць, чы гаворка з машыной здаецца натуральной. Усё інша можа быць налаштавана. Калі агент не ведае, калі паставіць канец мовленню, нічыга іншага не мае значэння.
Эта працоўная сістэма ў відкрытым кодзе пад ліцензіяй MIT, запускаецца з кантэйнера Docker за калькі хвілін і включае працюючага прыкладнага агента, які варта запустыць перш чым пісаць будзь-які спецыяльны код. Найкрашчы голасавы агент — той, чыю архітэктуру корыстувальнік проста забывае, таму што размова працюе абсалютна нормальна.
Супаўязаныя матэрыялы
- Чаму агентам AI патрэбна слой карыствавання, а не проста лепшыя запіты — Запіты вплываюць на адзін абмен, а не на весь працэс работы. Як слой карыствавання, які складаецца з правіл, кантэксту, меры автантыяты і падтверджэння завершэння, робіць агентаў для програмавання надзеянымі.
- Чаму логі агентаў не будуць адпаведныяя статты 12: Запісы рашэнняў, каузальнасць і паходжанне — Ход аперацый не ёсць падтверджэннем адпаведнасці. Як фіксаваць рашэнняя агента як стойкія об’екты з каузальнымі зв’язкамі, ланцоўкамі хэшаў і дэтэрміністычнымі правіламі, выкарыстоўваючы Semantica.