Як пабудаваць галасавога AI-агента ў 2026 годзе: архітэктура і стэк
Як пабудаваць галасавога AI-агента ў 2026 годзе: каскадная, паўкаскадная і speech-to-speech схемы, пяціўзроўневы стэк, праца з затрымкай, тэсціраванне, адпаведнасць патрабаванням і кошт.
Крыніцы: How to Build an AI Voice Agent in 2026: Architecture & Stack
Агент на базе штучнага інтэлекту адпавядае на тэлефонныя дзвянкі, разумее, чаго хоча паўтаральнік, на адной з мов натуральнага камунікатыў, і адпавядае або выконвае паведамленне, без неабходнасці выбірання пунктавага меню. Для гэтага трэбае саўместнае працаванне трох элементаў: модэлю, які перакладае аудыя паўтаральніка, LLM, які вырашае, што робіць з ім, і модэлю, які выгаварвае адпаведзь.
Тэлефонныя дзвянкі не зніклі. Компаніі перакіравалі падтрымку на чаты і электранаўпы, але кліянты продовжвалі дзваніць. Агент на базе голасу заполняе гэты прыемак. Гэта не чатбот з прадбачаным голасам; ён слухае, разумее намеры паўтаральніка з паўтарэння яго словаў і паведання, прычым прыбліжна так жа, як і адучаны чалавек, які размовляе па лініі.
Ёжыць праект за межы этапы дэманстрацыі значыць выбраць архітэктуру і тэхналогічную структуру, а таксама зменшыць час адпаведзі на менейш чым секунду, перш чым рэальны паўтаральнік зможа з’явіцца. У наступных раздзелах рассказваецца пра усё гэта.
Стварэнне праекта за восьмых рашэнняў
Кожны выбар сужае можлівасці для наступнага.
- Задаце працэўны лямдж кале. Адначыце, якія тыпы калэ адпавядае агент, што ён можа робіць і калі самэўсёлкаваецца адпаведны чалавек.
- Выберце архітэктуру. Каскадная, паўкаскадная або натыўная трансляцыя мовы ў мову. Выбар вялічыну мінімальнага затрымлення і максімальных віток.
- Выберце тэлефонію. Twilio, AWS Connect або WebRTC, залежна ад канала і рэгіону.
- Дадаце пераклад мовы ў тэкст. Deepgram Nova-3 або AssemblyAI у рэжыме стрымінгу, з персональным слоўнікам тэрмінаў домэна, які завантажваецца да пачатку працы.
- З’яеднайце LLM і інструменты. Наладзіце правілы вызыва функцый і ескалірацыі, а таксама паў’язайце CRM або сістэму броніравання.
- Дадаце пераклад тэксту ў мову. Выберце голас, увімкніце стрымінг і старайцеся, каб першы аудыяфайл меў трываласць меней 200 мс.
- Тэставанне часу адпаведзбы і перарываў. Адрабоўваць сцэнарыяі на аснове скрыптавання і атак і старацца, каб час адпаведзбы з начала да канца быў менейшы за секунду.
- Стазіраванне пасля запуску. Следзіць за калярэкцыяй завершэння, эфектывнасцю контролю, рэйтынгам задоволення кліентаў і часам обработкі з першага ж дня.
Чаму компаніі іх ствараюць
Колькасць дзвянакоў, якая раней была праблемай для тэлефоннай команды, больш не пасляўдае ў межах адной такой команды. Павтаральныя запытанні, дзвянкі пасля гадзін працы, пасляпэльныя контакты і нагадкі надходзяць праз адны і той жа канал, і найм людзей, каб адпрацаваць усё гэта, перастаў дапамагаць у росце.
Меню з інтэрактыўным голасавым адказам прымушваюць абярваць кантакт тых, хто абярвае звонак як толькі не можа выбраць патрэбны варыянт. Голасавы агент дзеяе інакш, адколькі можа весты справжню беседу, ставіць дапаможныя запытанні, кераваць складнымі справамі і асэмбліваць масовыя працэсы повтаральных звонакоў. Даныя пра ўжыццё такіх тэхналагій таксама паказваюць тое ж. Апыткі паказваюць, што 97% корыстувачоў мобайльных прыстроёў вжываюць голасавых асістэнтов, 89% кліянтаў кажу, што воліюць брэнды, якія прыменяюць голасавыя AI-сервісы, а компаніі, якія іх впрыменяюць, адзвярцаюцца, што ў ўсіх відносінах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспектах ў ўсіх сферах ў ўсіх аспекта
Тэлефаны пасля гадзінакоў працы. Паціенты прабуюць запісацца у паўнай ночы, а прасібнікі прыходзяць на тэлефон у недзелю. Кліянты не плануюць своіх запытанняў па гадзінкам працы.
Відсутнасць кліента без альтэрнатыў. Клінікі тыраць прыблізна 20% апэксыў праз тое, што кліянты не прыходзяць. Без аўтаматызаванага следавання месца застаецца вакантным, а разам з ям і дохады.
Ручная праца. Напамінанні пра паўнервацію, следавання платэжаў і паўтарныя падтверджэнні доставкі — усе гэта адбываецца за аднаковым сцэнарыем. Заплата людзям за тое, каб яны чыталі гэта вучора, ёсць дорогай і непатрэбной.
Разбурчаны спрабы, якія ніхто не можа пераканаць. Дзесяць агентаў адпавядае на дзесяць тэлефанных дзвянакоў. Вокальны агент можа адпавядаць на тыячы дзвянакоў адразу, без чакальнай лініі і музыкі.
Тры архітэктуры
Архітэктура вяліць, насколькі шыбка агент адпавядае, насколькі контролю мае ваша команда, насколькі лёгка ўстраненне бягаў і насколькі прыемлівыя застаюцца затраты па меры расшырэння. Домінуюць тры модэлі працы, кожны з яых праграмавае розныя компрэсіі ў чысці затрымкі, контролу і вартасці, і неправы выбар можа каштаваць дужа дорага, калі трэба яго выправіць.
1. Каскадны пайплайн
Тры спецыялізаваныя модэлі працуюць абоўязкова па рэчы. Модуль «голас-у-тэкст» ператварае аудыя на тэкст, LLM чытае гэты тэкст і піша адпаведзь, а модуль «тэкст-у-голас» ператварае адпаведзь знову ў аудыя. Просты тэкст пераходзіць між стадыямі, і самэ гэта простацтва ёсць галоўная перавага. Гэта самая популярная архітэктура працы у 2026 годзе.
Рэалістычны час трымкі пакета дадзеных з начала да канца становіцца 500–800 мс. Гэта не найшырэйшы варыянт, але ён забезпечвае пэўную модулярнасць. Вы можэце заменіць Deepgram на AssemblyAI, ChatGPT на Claude або Cartesia на ElevenLabs, не трогаючы нічога іншага. Кожны компонент стварае лог-файлы, а кожны слой можна змерыць, налаштаваць і заменіць окрэма. Сістэмы з вялікім об’ёмам дадзеных, якія актывна вікорыстоўваюць тэлефонію і ў якіх важліва сувярэннасць, здэйснююць працу такім чынам, не таму што гэта найсучаснейшы спосаб, а таму што гэта найлегшы для кантролю.
Працэс стварэння, выконваны каскадна, складаецца з гэтых частак, кожная з якіх можа быць заменена незалежна:
- Стрэм тэлефоніі. Працюе праз Twilio або AWS Connect і перадае прыйняты аудыя на распазнаванне мовы праз SIP або WebRTC.
- Стрымавае перакладанне з мовы на тэкст. Deepgram Nova-3 у рэжыме стрыму пачынае перакладаць яшчэ до таго, як абоўядцеверы заканчыць фразу.
- Оркестрацыя LLM. Перадайце транскрыпцыю GPT-5 або Claude Sonnet з запросам, якія вказваюць межы, тон і умовы прыглыблення.
- Выклік функцый. Спыяйце CRM, сістэму броніравання або базу дадзеных. Мадэль выклікае іх пад час размовы і чакае на рэзультат.
- Стрымаванне TTS. Адправьце выход мадэлі ў Cartesia або ElevenLabs, каб аудыяванне пачалося раней, чым будзе сгенеравана цэлая адпаведзь.
- Логаванне і перэгляд. Зберагаюце транскрыпцыі і аудыя на кожным роўні, каб можна было выявіць прычыну абякання ў конкрэтным компоненце.
- Перадача ад чалавека. Вызначыце, якія намеры і ключавыя словы спрычыняюць перадачу справы жываму агенту.
2. Паў-каскад
Ёнтэлектуальныя сістэмы прымоюць аудыя-супакі працоўна ў мультымадальным модэлі, які ўсё гэта спрыяець натыўна, а толькі выходны супак прабіваецца праз спецыяльны модэль тэкста-у голас. Гэтае змена зменшае затрымку да 300–500 мс і дазволяе робіць тое, чаго не можа каскадна сістэма.
Модэль заўважае разчароўванага абвяшчальніка, выяўляе падышоўшую інтонацыю ў запытанні або фіксуе змену мовы ў серэдзіне рэчы. Не існуе жадных крокаў транскрыпцыі межы звукам і розуменнем модэля. Выходны супак яшчэ працоўна ў спецыялізаваным модэлі TTS, таму якасць голасу застаецца адлічна керованай. ElevenLabs Agents і Google’s Gemini Live абодва выкорыстоўваюць гэты падход, і гэта правы выбар, калі тое, як хтось кажа, мае такое ж значэнне, як і тое, што ён кажа.
3. Натыўны голас-у-голас
Адзін модэль справляецца з усім: аудыя на вхід, аудыя на выхід, без тэксту між імі і без меж между складовымі. Затрымка зніжваецца да 200–300 мс. Калі яна менейшая за 300 мс, размова перастае адчувацца як програмна, а гэта важна там, дзе ваганні пагубляюць довер'е.
Аднак існуюць рэальныя компрэсіі. Пад час дзяўных калёс косць вырастае, таму што модэль перапрацоўвае кожны пакананы ранейшы токен размовы ў кожны момент, так што калёса, якія за тэорыяю коштаюць 0,30 долара за хвіліну, на практыцы можу коштаць 1,50 долара. Таксама вы відмовляецеся ад кантролю на рэвэлі складовых. Калі ўсё пайшло не так, вы не можэце ізаліраваць відпаведны слой, таму што слоёў немае.
Існуе ўсё жа ўсё адно абмежэнне. Тэлефонныя калёса па публічной сеткі перадаюць аудыя 8 кгц, што пазбавляе ўсё таго багатае спектру, які маюць вікорыстаць натыўныя модэлі аудыя, таму ўжо ўсё меншае ўсё ўжо ўсё адно прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прыроднае прырод
Калі запуск аплікацыі выклікае патрэбу ў тэлефаніі, логаванні дакументацыі пра супакорэнне з правіламі чыстаць або патрэбу ў прыцягнучых зацэнкі, пачніце з каскаднага падходу. Сама модулярнасць ў большасці корпаратыўных сцэнарыяў ёсць падставай для яго выбору. Перэйдзіце да падкаскаднага падходу, калі мае значэнне вхідны аудыя — напрыклад, калі абоўесці мяняюць мову чытаюць, або трэба выявіць эмоцыйны тон, чыста ў тых случаях, калі транскрыпцыя выкарыстоўвае сігналы, якія вам патрэбны. Выбірайце падход «голас-у-голас» толькі тады, калі час адпаведзення менш 300 мс ёсць абавязковым, а колькасць дзвянакоў дазволяе застосавваць расчыткі за хвіліну. Гэта охопляе вузкі сяроград сцэнарыяў, а для большасці запускаў каскадны падход дапамагае яшчэ болей эфектываў.
| Criteria | Cascaded Pipeline | Half-Cascade | Native Speech-to-Speech |
|--------------------------|-------------------------------------------|-----------------------------------------|--------------------------------------------|
| Latency | 500-800ms | 300-500ms | 200-300ms |
| Approx. Cost/min | Low | Medium | High ($0.30 can reach $1.50) |
| Modularity | Full, swap any component independently | Partial, TTS is swappable, input | None, one model, no layers |
| | | model is not | |
| Emotion & Tone Detection | No, transcription strips it | Yes, model hears audio natively | Yes |
| Compliance Logging | Per-layer logs on every component | Partial | Not possible |
| PSTN Compatibility | Strong | Strong | Weak, 8kHz audio narrows the |
| | | | quality advantage |
| Best For | Telephony, compliance-sensitive, | Multilingual callers, emotional | Sub-300ms use cases with manageable |
| | high-volume deployments | context, tone detection | call volume |
| Avoid When | Latency is a hard requirement | You need full component control | Long calls, regulated industries, |
| | under 500ms | or strict cost caps | unpredictable volume |
Пяць слоёў
Незалежна ад таго, насколькі простым чы або складным ёсць агент, структура застаецца аднаковай: з’являецца звук, выходзіць адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна адпаведна ад
| Layer | Role | Common Tools | Enterprise Consideration |
|---------------|-------------------------|-------------------------------|-----------------------------------|
| Telephony | Call routing | Twilio, AWS Connect, SIP | Region coverage, number portability |
| STT | Speech transcription | Deepgram, AssemblyAI, Whisper | Accents, noise, vocabulary |
| LLM | Reasoning and response | GPT, Claude, Gemini, Llama | Latency, compliance, tool use |
| TTS | Voice output | ElevenLabs, Cartesia, PlayHT | First-byte latency, brand voice |
| Orchestration | Turn-taking and routing | Retell AI, Vapi, LiveKit | Barge-in, handoff, monitoring |
Компаненты, парадоксальна спіраль:
- Тэлефанія. Вораты. Абонент выканаллівае номер, і гэты слой захопляе аудыя і прысылае яго далей па лініі. Частыя выборы — Twilio, AWS Connect і WebRTC.
- Пераклад слова ў тэкст. Ператварае тое, што кажа абонент, у тэкст. Шум, акценты і спецыялістычныя тэрміны вплываюць на якасць, а будзь-якія памылкі тут паўтараюцца ў кожным наступным слое.
- LLM. «Мозг». Ён чытае транскрыпцыю, выявляе намер, выбірае дзеянне і пішае адпаведзь. Калі яму трэба зовнішнія даны, такія як статус замовлення або залішок, ён вызывае інструмент і чакае.
- Пераклад тэкста ў голас. Ператварае адпаведзь знову ў аудыя, і якасць голасу, як і швальнасць рэакціі, залежаць ад гэтага.
Кожная перадача дадзеных адзначаецца затрымкамі, а кожны компонент можа зламацца незалежна. Знанне таго, дзе знаходзіцца кожны з компонентаў, дапамагае ператворыць пяцігадзінную сесію адлучэння бягаў у пяціхвілінную.
Слой 1: пераклад голасу ў тэкст
Усё, што знаходзіцца ніжэй па ляйну, залежыць ад гэтага выходу, таму калі тут з’яўляюцца адказы, яны распространяюцца па всім ляйну. Мадэль прымае аудыястрэму, дзеліць яе на часткі і прыбліжна вычысляе найбольш правдападобную последоўнасць слоў на адной з акустычных модэляў і языковых верыятнасцей. Сучасныя сістэмы перакладу голасу ў тэкст шырокія дастатнька швыдкія, каб транскрыбаваць слова за словам, пакуль абоўядцоверы все ўсё гаворыць.
Што пагубна для точнасці. Чатыры фактары паслабляюць карыстаўчыскую перакладчыку мовы ў практычным выкарыстоўванні: шум у фоне, сільныя акценты, спецыфічная лексыка домэна і нізкія стандарты якасці аудыя. Тэлефонная сетка таксама паглыбляе проблему, адколі ўсё большыя частоты (до 8 кгц) не дазволяюць мадэлям розразліваць словы з аднаковым звучаннем.
Інструменты.
- Deepgram Nova-3 — стандартны выбар для рэальнага тэлефанавання, які легка справляецца з шумнымі лініямі, акцентамі і нізкім бітрэйтом.
- AssemblyAI Universal-Streaming падходзіць, калі аудыя чыстае.
- gpt-4o-transcribe ад OpenAI ёсць точным, але дадаўныні, якая ўтвараецца, паслабляе якасць перакладу пад час рэальнага кантакту.
- Whisper — моцны мадэль, створаны для пакетнай обработкі, таму ён не падходзіць для стрымінгу.
Стрымінг проты пакетнай обработкі. Пакетная метода чакае, пакуль абонент не завершыў кантакт, прычым стрымінг перакладае тэкст праз адразу пасля прыбыці аудыя. Для вокальных агентаў стрымінг ёсць ўжо ўсё, што можна выкарыстоўваць.
Прасочанні у слоўніку. За замовчаннем большасць модэляў STT сталкнуцца з труднасцямі з назвамі брэндаў, медычнымі тэрмінамі і спецыялізаванай тэрміналогіяю. Адпаведныя спіскі слоў, падказкі па выгуку і налаштаванні модэля пад конкрэтную сферу дапамагаюць рашыць большасць такіх проблем, таму неабходна загадзя выдзержаць час на ўсе гэта ў сферах охоры здароў’я, логістыкі чы рынка фінансаў.
Слой 2: LLM
Слой STT стварае тэкст, а модэль вяршыць рашэнне, што з ім рабіць. Ён чытае транскрыпцію, выявляе запіт, выбірае дзеянне і піша адпаведную адпаведзь. У простым кантакце гэта значыць адпаведзь на запыт. У складным кантакце — вызов зовнішньего інструмента, чаканне на рэзультаты і аднароджэнне дакументаў у фармаце прыроднай адпаведзі, усё гэта за час, які людзі выдзержваюць між рэчамі.
Выбір модэлі. GPT-5 і Claude Sonnet — апавярэнныя выборы для голасу ў 2026 году, адколі якія здатны эфектыва кераваць кантэкстам, строго следаваць інструкцыям і даваць достатнья короткія адказы, каб іх можна было выгаварыць. Gemini 3 Flash стоіць рассмотрэць, калі прыорытэтам ёсць затрымка. Llama і Mistral падыходзяць для команд, якім патрэбна рэалізацыя на месцы або строгія кантроль віток.
Прыказы голасам проты прыказаў у чаце. У голасовых прыказаў ёсць адна обмежэння, якога няма ў прыказах у чаце — гэта дзейсныяй дужыні. Агент, які чытае параграф, тыраець аб’екта кантакту. У сістэмным прыказе трэба чытальна прызначыць тон, дужыню адказу, умовы пераводу на вышэйшы ранг і точныя словы, якія трэба вжываць, калі агент не мае адказу.
Выклік функцыі. Калі абонент запытаеся пра замовленне, агент запытае інфармацыю ў сістэме замовленняў або CRM, чакае на рэзультат і тады адпавядае. Гэта і ўжо разлічвае агента, які толькі размовляе, ад таго, які дзеяе. Ёсць адна проблема: выклікі функцый блакуе стрымінг, таму павінна быць спланавана размова з урахоўваннем пауз.
Памяць. Існуе два відменнікі. Сеансавая памяць охопляе адзін выклік, таму нікому не трэба павтараць дэталей, а стойкія памяць дзейсніца ў межах кількох выклікаў. Команды зазвычай спачатку впроваджаюць сеансавую памяць, а стойкіснае збераганне — пасля таго, як основны працэс стабілізуецца.
Слой 3: тэкст у голас
Апошнее вражанне абонента ствараецца за дапамогою TTS. Нават правільна, шырока і розсудліва адпаведзь тыяне абонента, калі яна звучыць робатым чынам.
Што робіць голас прыродным. Прасодыя, тэмп і швальнасць першага байта. Прасодыя — гэта мелодыя мовлення, змяненне высоты голасу, якое паведамляе слухачу, чы рэч являе сабо запітанне. Тэмп — гэта правільна пауза ў правым месцы. Мадэлі, навучаныя на вельмі вялікіх колькасцях рэальных аудыяданных, зараз добра справляюцца з обомі аспектамі, а робатыя варыянты мовлення сталі значна рэдкімі, чым у 2025 годзе. Швальнасць першага байта — гэта час адлеглівання, пры якому абонент чакае, пакуль пасля пачатку генеравання не пачуе ўсё.
Інструменты.
- Cartesia Sonic — лідэр па швальнасці, пры якому першы аудыяфайл прыходзіць раней, чым у большасці канкурэнтав.
- ElevenLabs — найболей рэалістычны і дазволяе клонаванне на адварота з короткага аудыяфрагмента.
- gpt-4o-mini-tts ад OpenAI — хорашы стандартны варыянт, калі весь іншы комплект ужо ў OpenAI.
- PlayHT і Rime — вартая пробы, калі патрэбны конкрэтны акцэнт або рэгіональны тон.
Клонаванне голасу. Большасць платформ клануе голас на адпаведнацію з короткага аудыязапісу, што дазволяе падпрыемцам паставіць аднообразны брэндавы голас па кожным дзвянку. Больніца можа звучаць спакойна і клінічна, тады як сетка рэстаранаў з шырокай сэрвіснаю палатой — швытка і анергійна. Узгадайце гэта пры прабным запуске.
Стрымаванне TTS. Абярнулыяяець павінен чуць першае слова, калі модэль яшчэ пішае апошню рэчы, што значыць, аудыя выходзіць раней, чым завершаецца адпаведзь. Важлівае — гэта затрымка ад першага байта, а не загальны час генеравання. Для рэальных дзвянакоў яе трэба трываць менейш 200 мс.
Слой 4: тэлефонія і каналы
Хто тут сустрэчаецца — зовнішній свет і тэхнічная схема. Тое, як аудыя пераводзіцца ад абярнулыяяеца да модэля STT, вялічыць якасць дзвянка, затрымку і ступень контролю над інфраструктурай.
Як працюе з’еднання калэнтаў. PSTN, звычная тэлефонная сетка, обмежвае частоту аудыя до 8 кгц, што пагубна для всіх наступных рашэнняў. SIP выкорыстоўваецца для трафіку VoIP і дазваляе лепшая кантролюваць маршрутызацыю. WebRTC пераводзіць аудыя праз Інтэрнэт з вышэйшай якасцю, таму ён падходзіць для вікорыстання ў браузерах і дапынках. Часта практыкуецца падзел: SIP для вхідных тэлефонных калэнтаў, а WebRTC — для всіх операцый у Інтэрнэце.
Прадаўцы.
- Twilio ёсць надзеяным выборам завдзяк шырокаму паводліванню, надзеянай SIP-транскінгу і якісным інструкцыям, хоць ў вялікіх кантэкстах ён стае дорогім.
- AWS Connect падходзіць для команд, якія ужо вікорыстоўваюць AWS.
- Vonage — хорашы выбар для международнага распрастранення, усабліва ў Еўропе і на Бліжнім Захадзе.
Платформы для керування аранжаментамі. Retell AI, Vapi і LiveKit знаходзяцца на срэдзіні, між оператарыем і вашымі выбрамі ў сферы STT, LLM і TTS. Яны керуюць маршрутаванням жывога аудыю, алгорытмамі зміны партнера паводле ролі, выкрычванням перэрываў і перадачай задач. Для вікорыстання ў тэлефонах Retell AI ёсць найболей розвітым раўнамі, Vapi дае найбольшыя можлівасці для стварэння індывідуальных ланцоў, а LiveKit найэфектывней працуе з WebRTC.
Вхідны і выходны потокі. Вхідны поток чакае на дзвонак і рэагуе на яго прыбыць. Выходны поток здзваняецца, пераканальваецца, хто адпаведзеў, і выканае запланаваную задачу, такую як нагадка пра платэж або паўтарэнне падтверджэння апэксы. Ланцоўка ў обох случаях аднаковая; разліка ў тым, хто ініціюе дзвонак і які спосаб з’ўязку вікорыстоўваецца.
5-й шар: інтэграцыі
Інтэграцыяя ўмоžняюць агенту дзеяць, а не толькі размовляць. Мадэль можа зрозумець намер і падготавіць адпаведны адпаведзенне, але без звязку з рэальнымі сістэмамі яна не можа бронюваць час, шукаць замовленні чыста змяніць даныя. Усё, што яна можа зрабіць, — гэта опісаць, што б яна зрабіла.
Што паў’язваецца. Зазвычай чатыры катэгорыі: CRM-сістэмы для пошуку аблікавацый і кантактных дадзеных, інструменты планавання для броніравання, сістэмы замовленняў чыста логістыкі для перагляду статусу і сервісы апрацоўкі платэжаў для вырахунку сум. Агент клінікі патрэбуе інструмент планавання, агент магазіна — API для замовленняў. Сістэмы разныя, але цыкл застаецца аднаковым: мадэль звертаецца за дапамогай пад час размовы, чакае і выкарыстоўвае адпаведзенне ў сваім наступным выказве.
Як працюе вызов. Ён керуецца механізамам вызову функцыяў, тым самым, што было опісана для шара LLM. Калі мадэль вырашае, што ёй патрэбны зовнішнія даны, яна выдае структураваны запіт і зупіняецца. Рэзультат сам по сабе не вяртаецца. Ваш сэнсар павінен яго пераследзіць і дадаць у історыю размовы, перш чым мадэль зможа яго выкарыстаць. Без гэтага крока агент застаецца у паўзе пад час вызову, не маючы чаго сказаць.
Дзе выходзіць з ладу. Найбольшыя проблэмы вызываюцца двума фактарамі. Медленны API прыносіць дадатковую затрымку, а аберанты не можа з’ясаваць, чы розмышляе мадэль, чы CRM патрабаваў 800 мс, каб адпавесць. Паўза застаецца паўзай. Іншы фактар — адрабатка абыяковасцей. Калі пошук выйшае за час, агенту патрэбна падготавленая фраза, каб сказаць, а не мовчанне і не петля з павтараючыміся рэчамі.
Автанацыя. Кранты зазвычай — гэта ключы API або токены OAuth, якія маюць права толькі на чытанне або скураныя правы на запіс. Для перагляду статусу замовлення достатнья толькі можлівасць чытання. Для перэзначэння часу запланаваных зустрэчаў патрэбны правы на запіс у календары, і гэта падвышае сложнасць карэткавання бягункі, таму што неправільны вызов можа змяніць актуальныя даны.
Скорачэнне затрымкі
Тры методы дапамагаюць супрацаваць з затрымкамі: транслявацыя як даных STT, так і TTS без чакання на ўсё завершэнне, кэшаванне адпаведзей на часта задаваемыя запытанні і размешчэнне всіх компонентаў у аднам рэгіоне. Яе спалохоўвае спрыяе скорачэнню відчуваемай затрымкі прыблізна на 40%, а цэль — зменшыць час ад початку да канца да менш чым адной секунды.
Прычыны затрымкі
Кожны элемент дадзее свой час трымкі. Стрымаванне STT займае 50–150 мс, а інферэнс LLM — 200–500 мс, залежна ад модэлю і дужна запытку; першы байт TTS дадзее ўтрох 100–200 мс, плюс ў кожны момент дадзее додатковы час на перадачу пакета па сеткі. Прыемнік, які мае сярэднія показнікы на кожным слою, застойваецца прыблізна 1,5 секунды без жадных оптымаізацый. Выклікі функцыйяў пагаршваюць сітуацыю, таму што інферэнс зупініцца абсалютна пакуль інструмент не вернёцца, дадзеячы дадзейкі 300–800 мс.
Што рабіць з гэтым
Стрымаванне — гэта найэфектывнейшы спосаб. Заўядоміце STT у рэжыме стрымавання, каб транскрыпцыя пачалася раней, чым абвесцеліўшый заканчыць гаварыць, і выкарыстоўваеце стрымаванне TTS, каб аудыя запускалася раней, чым адпаведзь будзе цэлкам напісана. Лячыльва гэтыя два змяны вядуць да падышку ў 40%.
Кэшаванне таксама дапамагае. Калі большасць абяцкальнікаў ставяе тыя ж тры запытанні, падготавіце ўсе адпаведзенні загадзя і надаеце іх мгновенна. Таксама трэба размешчаць компаненты ў адной геаграфічнай зоне. Раздзелэнне прыладу перакладу мовы на англійскую з Вэст-Часткі СЁША і Штучнага інтэлекту з Захаднай Часткі ЕЎ змушвае на кожны раз пераказваць даныя прыблізна 80–120 мс часу праз сетка.
Для мінімальнага часу адпаведзення метод перакладу мовы на мову натычна зменшае час ад початку да канца перакладу да 200–300 мс. Коштовасці ў такім разе значныя, але перавагі важлівыя там, дзе важкая ўмова — швальнасць дыялогу.
Функцыя перэрыву
Функцыя выклікання перэрыву слухае аудыя абяцкальніка, калі відтвораецца TTS, перэрывае адпаведзенне на паўзе і негайна перэнаправляе дыялог. І AI, і Vapi падтрымліваюць яе натычна. Налагодзіце порог аудыя, каб фонавы шум не спрычыняў ложных перэрываў.
Дзе размясціць
Выбор спосабу розгортання вплывае на вартасць, сарабітанне з правіламі, час адказу і ступень контролю над інфраструктурой, і гэта мае большое значэнне, чым усвядомляюць большасць команд, пакуль яны ўжо не запусціліся у працэ.
Хмара ўжо ёсць стандартам. AWS, Azure і GCP прымушваюць адпаведныя сервісы для кожнага компонента паіплайну, якія дазволяюць шырокае налаштаванне, аўтаматычнае масштабаванне і не трэбуюць апаратуры. Адзін недзея — даныя пакідаюць вашу срэду, што мае значэнне ў рэгулююцыхся галузях.
На власных серверах означае, што аудыя, транскрыпціі і даныя кліяў ніколі не пакідаюць вашы серверы. Сферы такія як охорона здароў’я, фінансы і будзь-якія краіны з правіламі прыбытку даных часта выкарыстоўваюць самэ гэта рашэнне. Адкрытыя кодаваныя рашэнні, такія як Whisper, і самастойна розгорнутыя LLM-ы, дазволяюць гэта зробіць без неабходнасці перабудавы кожнага слоя.
Гібрыдны спосабы розмішчэння дзеляюць поток дадзэйна залежна ад ступеня чутлівасці кожнай часткі. Тэлефонія і прыем перакладу голасу залішаюцца на месцы, таму нечысты аудыя ніколі не выходзіць, апрацоўка LLM адбываецца ў кераванай воблаку, а генераванне голасу — там, дзе затрымка ў мінімуме. Компаніі часта выбіраюць гібрыдны падход, таму што спеціялісты з адпаведнасці можаць окрэма затвердзіць спосаб апрацоўкі дадзэйна кожнага слоя.
Адпаведнасць
- Для сферы охоры здароў’я США стандарт HIPAA вымагае падпісаных угод з кожным прадавцам, зашыфраванага аудыя па час зберагачвання і журналавання запытоў да дадзэйна.
- GDPR распрастраńваецца на всі потокі дадзэйна, якія стосуюцца жытарадчыкаў ЕС, з чысткімі паведамленнямі пра схваленне для запісаных калэс.
- Правілы прыбытку дадзэйна ў АЕШ, Саудавскай Аравіі і Нямеччыне обмежваюць месца, дзе можа знаходзіцца дадзэннэ пра размовы, таму пераканайцеся, што кожны прадавець паслухаецца імі пры запуске.
Масштабаванне
Размешчэнне на хмарах адгукуюцца гораздкасцю, тады як на месцовых сэрвэрах патрэбна планаванне магчымасцей за час піку навантажэння. Перш чым запускаць сістэму, тэставайце яе пры об’ёме, які ў 3–5 разоў перавышае прыбліжны пік.
Становы контроль
Чатыры аспекты выклікаюць сталяву увагу: шчытаўкі і шчыткі перадачы дзвянакоў, час затрымкі на рэвэлюцыю на рывень складовых у STT, LLM і TTS, незусімныя вызовы інструментаў, а таксама неконтрольваныя інтэнты разам з транскрыпціямі, якія зберагаюцца для перэгляду.
Калі шчыткі перадачы растуць стрэмгана, значыць у дызайне размовы ёсць проблемы. Калі час адпаведзення LLM продовжвае зростаць, можна падазроўваць, што запіт стаў занадта дзьвігутым або вызов інструмента застраг у чаканні. LangSmith адпавядае за становы контроль LLM, а Datadog чы Графана — за інфраструктуру.
Тэставанне і ацэнка
Большасць проблем можна выявіць прычыму запуску, якшо правільна працаваць над тэстамі.
- Пачніце з сцэнарыяў, напісаных спецыяльна, для 20–30 основных патрактаванняў дзвянакоў.
- Перайдзіце да тэставання пад атакі: перарвіце праца агента, дайце яму непашчэрплую інфармацыю і запытайце пра тое, што выклікаеца за межы яго функцыяй.
- Следзіце за значнымі аберанцямі — цэлкавымі неправымі адказамі, перадачамі дадзеных, якія ніколі не выклікаюцца, і вызовамі інструментаў, якія не даюць рэакціі.
- Ўжыце такія інструменты, як Hamming чыюсь Vapi's evaluation suite, каб програмна сімулявацыя сотняў сцэнарыяў.
Найважлівейшыя чатыры паказнікі: карэнтнае выкананне задання, карэнтнае стаўленне да аберанцяў, CSAT і сярэдні час обработкі. Следзіце за ўсімі імі з першага дня. Компаненты, якія працуюць стабільна пад 10 адночасных вызоў, часта зламваюцца пад 100, таму і тэсты на навантажэнне у тры-пяць разоў. Пасля запуску ўсё тыдзень пераглядайце транскрыпціі і выкорыстоўвайце іх, каб удосконаліць запіты, згружэць апісанні функцыяй і расшырыць механізмы адкуплення. Агенты, якія праграсваюць найшчыльней, маюць структураваны процэс перагляду.
Дзесяць урокаў з рэальных запускаў
Распрацоўшчыкі, які пачынаюць працаваць з голасовымі тэхналогіямі, зазвычай выходзяць з адной думкі: выбраць хорашы мадэль, напісаць якісны запіт і запусціць сістэму. Чырыць вёсны пазней яны борацца з перэрывамі у зв’язку і рэзкімі падыкамі затрымкі, не разумеючы, чаму агенты з упэўненасцю выкладаюць вымышлены факты. Самэ гэтыя урокі команды выучаюць на власных помылках.
- Транспортаванне дадзеных важлівей выбору модэлі. Замена WebSockets на UDP можа дапамогчы больш, чым зміна самай модэлі. Большасць модэлей працююць добра з адным якісным запітам, тады як затрымкі і інфраструктура зовсім не рэагуюць на запіты.
- Адзін агент — адна задача. Для кальколька розных задач трэба запускаць кальколька агентаў, якія можаць вяліць пераказы між сабою. Адзін агент, які адпавядае за усё, працюе паслаба.
- Выклік функцыі блакуе стрымінг. Нічога не стрымуецца, пакуль не завершыцца выклік інструмента. Структуруйце прайом пераказа так, каб ён вытлумачваў гэты прыем, а не суперчыў ў яму.
Якія ёсць вітраты
Выкананне такой працы самастойна коштае або апошнія $8,500 для простэйшага прыклада рэалізацыі, пры чым сума змінюецца залежна ад об’ёму і функцый, а для сістэмы корпаратыўнага рангу — $100,000 або больш, плюс тры-шысць месцаў на працу інжынераў прычыму до запуску. Гэта яшчэ не включае працу з адпаведнасцю правілам і 15-20% годовых вітатаў на аператыўнае адтрыманне, якія зазвычай ўтвараюцца пасля запуску сістэмы у працэсе.
| Tier | Upfront Cost | Timeline | Key Features |
|-----------------------------------|--------------|-------------|------------------------------------------------------------|
| MVP/Proof of Concept | $8K-$30K | 4-10 weeks | Basic voice flows, single integrations, RAG memory |
| Mid-Tier (CRM/multi-intent) | $25K-$150K | 2-6 months | Contextual reasoning, telephony (Twilio), analytics |
| Enterprise (autonomous, compliant)| $150K-$300K+ | 4-12 months | Multi-agent orchestration, multilingual, deep ERP/CRM, |
| | | | HITL governance |
Толькі кампанія, якая включае інжынераў з AI, разрабоўкаў бэкэнду, спецыялістаў DevOps і QA, коштае 150 000 долераў або больш у год, і гэтая кампанія выклікае свой час на інфраструктуру, а не на основную дзеяльнасць.
Мінімальная працэздатная архітэктура
Перш за ўсё неабходны шасць складовых:
- Прыём аудыю. Twilio або WebRTC перадае голас абяцанніка ў сістэму.
- Стрымінгавая транскрыпцыя. Deepgram Nova-3 перакладае тэкст у рэальны час, пакуль абяцаннік яшчэ гаворыць.
- Мадэль з короткім запітам. GPT-5 або Claude Sonnet; запіты сістэмы должны мяць не болей 500 токенав, таму што большыя запіты спамячваюць адпаведзі.
- Стрымінгавая генерацыя аудыю. Cartesia або ElevenLabs пачынае відтворэнне раней, чым будзе напісана весь адпаведзь.
- Логаванне. Зберагаць транскрыпцыі і аудыю з кожнага слоя з першага дня.
- Альтэрнатыўны варыянт і перадача задачы. Установіце правілу перадачы для тых сітуацыяў, калі агент не можа рашыць проблему.
Частыя запытанні
Чы можна захаваць даны кліента ад трэціх сторон? Так, за дапамогою хостынгу на власных серверах або гібрыднага хостынгу. Зберагаюце тэлефонію і прыем перакладу голасу на сваёй інфраструктурэ, каб необработаны аудыя застаўся пад контролем, а працэс аналізу за дапамогою LLM мог адбывацца на кераванай воблака, калі правіла санкцыяў дазволяюць гэта для кожнага слоя.
Чы можа штучны інтэлект для голасу обрабоўваць дзвянкі і SMS у адной жа прыкладнай програме? Так. Як слой тэлефоніі, так і слой керавання LLM працуюць у розных каналах, таму канал, які обслугоўвае тэлефонны дзвянок, можа перадаць розмову па SMS праз той самы мадэль і логіку вызову функцый.
Як пасаварыць практычна інтонацыю і тэнпас? Прасодыя і тэнпас выкаліваюцца за дапамою модэлі TTS, а не за дапамою сцэнарыю. Cartesia і ElevenLabs за замовчаннем добра справляюцца з натуральным падышчам і падышчам голасу. Калі голас заўсёды звучыць роўна, рашэннем зазвычай ёст тыяперашняя модэль голасу, а не іншы запрос.
Як дадаць штучны інтэлект голасу да існуючай тэлефоннай сістэмы без змены номераў? Перадайце номер праз прадаўца тэлефаніі на SIP-транк, а потым направляйце вхідны аудыя з гэтага транка ў шар STT. Абярнулія набіраюць той самы номер, як і раней, а змінюецца толькі маршрутызацыя пазаду яго.
Як узбегчыць заўязку на паводлікаў? Ожывайце каскадную архітэктуру. Кожны компанент працуе незалежна, таму Deepgram можна заменіць на AssemblyAI, а Cartesia — на ElevenLabs без неабяжнай перабудовы рэшты сістэмы. Як напалоўкавая каскадная, так і натыўная трансляцыя голасу на голас відмовляюцца ад такой гнучкасці зарады меньшага затрымлення.
Супаўязаныя матэрыялы
- AI Voice Agents Explained: How They Work, Where They Fit and Where They Fail — Пашчорнелыя поясненні пра AI-агентаў голасу: пяцьступеневы працэс дзвянка, дзевяць базовых элементаў, прыклады выкарыстання, шасць тэстаў для пакупцоў, вядомыя меры, обавязкі па салідарнасці і показнікі, якія трэба сочыць.