Галасавы AI-агент на жывых тэлефонных званках: чаму asyncio перамог патокі, і тры памылкі
Урокі тэлефоннага агента з STT, LLM і TTS у рэальным часе: перанос перапынення з патокаў на asyncio, а таксама ўцечкі выклікаў інструментаў, завіслыя паведамленні і састарэлыя пераводы.
Крыніцы: Building a Production Voice AI Agent: Threading, Async, and the Bugs Nobody Warns You About
Агент голасу у рэальным часе, які адпавядае на тэлефонныя дзвянкі ў рэальны час, выкарыстоўвае ланцоўку перакладу мовы ў тэкст, ШЫ на адной базе дадзеных і перакладу тэксту ў мову, і праўяеся ў тэлефанную сістэму. Ёму таксама патрэбны можлівасці перарыву дзвянка, каб абярнулы могаў перарваць бота ў серэдзіне фразы, а таксама можлівасць перадачы дзвянка людскаму агенту і чыстага завершэння зв’язку. У статыцы рассматрываюцца выборы пад час праектавання і багі, якія прынеслі найбольшыя урокі пад час працы такой сістэмы пад адночаснымі дзвянкамі, пачынаючы з адной памылкі, якая практычна не была вылечана.
Короткая інфармацыя пра працэс
Кожны дзвянок праходзіць праз тры компоненты ў ланцоўцы:
Caller audio → STT (Deepgram, streaming) → LLM (Groq, LLaMA 70B) → TTS (Cartesia) → Caller
- Сервіс перакладу мовлення ў тэкст прадае аудыячыны праз WebSocket і вяртае транскрыпцыю, з адгукам на актывацыю голасу для выявлення канца фразы.
- Большая мовная машына прадае назад токены, якія зберагаюцца пакуль не будзе парадкуса рэчы (крапка, знак запытання, знак апошнейе або новы радок), па чым яны пераходзяць на сінтэз голасу, тады бот можа пачаць гаварыць яшчэ до таго, як будзе готава ўсё адказ.
- Сінтэз голасу прадае аудыячыны назад да абвесцелівача праз той жа тэлефонны мост, рэгулюючы тэмп па рэальнам часу праз адправку фрагментоў па 20 мс за фіксаваным графікам.
Унутры гэтага знаходзіцца адказва на пераскокінаго дзвонка, якая зупыняе бота як толькі дзвонячый пачынае гаварыць, памяць, якаія створае апূরкі з пакульшых розмов, каб 45-хвілінная розмова застаўалася ў межах вікна кантэксту, а таксама інструменты для выкарыстання певных дзеянь, такіх як перадача розмовы чалавеку або завершэнне дзвонка. Ніякі з эых элементаў сам па сабе не ёсць цікавым. Гэта, што мае значэнне, — гэта тое, што выходзіць, калі адразу ж ведаецца некалькі розмов на простай апаратырэй.
Тэксты здаваліся прыроднымі, але такімі не былі
У першым дызайне кожная розмова мела адпаведны фонавы тэкст для адказва на пераскокінага дзвонка. Ён неперывна праслухоўваў аудыя дзвонячага і паднімаў сігнал, калі пачыналася мова, а іншыя етапы выкарыстоўвалі гэты сігнал, каб з’ясаваць, калі трэба замовкнуць і пачаць праслухоўваць. Кожная розмова патрабуе постаянага праслухоўвальніка, таму аднае тэкста на розмову здавалася логічным рашэнням.
Ён быстра зламаўся. На ноутбуку з 16 ГБ RAM і процэсорам i5 з 8 ядрамі чатыры адночасныя калінкі былі дастатковы, каб усё запускалася з перашкодамі: з пропускамі кадраў аудыю, повалкаючым выкананнем функцый перэрываў і неравнамірным воспроізведанням.
Першая падазрачнасць была зв’язана з розмерам буфера: з максімаў 30 потакоў калінка №50 мусела чакаць пасля іншых. Гэта справжня проблема пры вялікіх масштабах, але гэта не магло поясніць проблемы пад час чатырох калінак.
Асалідныя прычыны былі простыя. Навантажэння вызвана чаканнем, а не вычысленнямі. Нават лёгкі прыемнік па кожны вызов практычна весь час застаецца без дзеяння, чакаючы фрагменты аудыя з моста і достатню сігналу, каб можна было рашыць, чы гэта мова чы шум. Сама праца — перакантролюванне флага чы вычысленне значэння RMS для выявлення тышы — выконваецца за мікрасекунды паўтараючысяся паузамі. Ніткі ОС не падходзяць для такой задачы. Кожная з іх мае стак, вітраты на планаванне ядра і змену кантэксту, а Python дадае GIL для усяго, што не ўсунуто чыста ў чаканні на I/O. Кожны вызов плаціць вітраты на нітку, каб працаваць без дзеяння пакуль не прыйдзе наступны фрагмент.
Async/await змінюе сітуацыю. Адна ціклычная петля можа кераваць тысячамі задач, якія чакаюць на сеткі, таму што прызупінены корутына коштуе майжэ нічога: без спецыяльнага стака, без змены ядра, проста месца ў чэрзі пакуль яе сокет не пакажае даныя.
Такім чынам, прыемнік сігнала, а таксама слоі перакладу мовы ў тэкст, LLM і сінтэзы перайшлі на asyncio. Перапісва прыемніка ёсць гарным прыкладам. Раней фонавы поток будзе працаваць кожныя 20 мс, каб пераглядаў канвейер, шукаў аудыя і вяршыў узнаванне, чы ён являе сабою мову, тое самае — ён працаваў у стане бездзейнасці нават пад час тышы. Пазней цыкл перадачы аудыя вызывае asyncio.wait_for(queue.get(), timeout=...), які повнасцюю зупіняе корутына, не вікорыстоўваючы CPU, пакуль не прыйдзе фрагмент аудыя чы не спрацюе таймаут. Флаг «барг-ін» стае звычным спільным станам, які чытаецца у точках await, заменяючы значэнне, якое пісалася з іншага потока ОС у неперакладзімыя моменты.
У рэзультаце змініўся ліміт паралельнасці. Кэпсьлы вопыт больш не ў тым, сколькіх потакоў можа распрацаваць ОС, а ў тым, сколькіх сокетаў можа застацца ачытымі, які ёсць ліміт швайнаў у прадаўцы і які ёсць пропускная здатнась цяпі, што являе сабою набліжэнейшую крывую масштабавання для такага роду навантажэння. Варта прызнаць: пачатковая абавярка пра выкананне буфера пасля 50 вызоў не была некорэктной, але яна была вторынным, зв’язаным з масштабаванням, проблемам. Галоўная прычына, чаму асінхронны падход ёст лепшы, — гэта архітэктурны факт, адколі потакі ўсё равно являюцься некорэктным абстракцыям для працы, дзе пераважаюць чаканні на I/O, незалежна ад розмеру буфера.
Тры багі, якія варта ведаць
Ніхто з іх не ўскладнены. Усе яны выявляюцца толькі тады, калі рэальны паралельны трафік прабывае да рэальнага прадаўцы LLM.
1. Вызовы інструментаў выходзяць як звычны тэкст
Дзеяныя на серверах Groq чэкпоінты LLaMA іноды залечаюць структураваное поле tool_calls пустым. У замену яны выдаюць строку, якая адгуквае да вызову функцыі, працэйна ў потоке тэксту, які пасля гэтага чытаеся вогулым голасам.
Адаптаванне рэгулярных выразаў для кожнай формы, якая ўжо бачылася, не дапамагае, таму што незначныя змены ў пробелах, парадку клавіш або стыле лапок можу спрацюваць. Лепшы падход — супрацавляць кожны необработаны скобкі або падозрэлы таг у потоку як вялікантажнае элемента, які тымчасова не можа быць выкарыстоўваны. Ён негайна не включаецца ў выходны тэкст і адпускаецца толькі тады, калі паўтарна пераканаецца, што ён адно з двух: цэлы, можна-запрацаваць вызов інструмента (ператворыўшыся ў рэальны запуск і адключыўшыся з выходнага тэксту) або ўсё-такі не яўляецца вызам інструмента (вяртаецца ў поток як звычны тэкст). Спяшнае захістанне таксама дапамагае: якшчы буфер зростае па велічыні за межы без рашэння, яго трэба спрацавляць як хыбна позытыўную рэакцію, можа, ім’е кліента, якое мела сімвалы на кшталт скобак, і вывесты як звычны тэкст, а не блакануць адпаведзь назаўсёды. Урок: калі фармат выходу ёсць неодназначным, не трэба перыявляць усі можлівыя формы абэронаў. Трэба выкарыстоўваць буфер і пераканацца.
2. Незавершаныя вызывы інструментаў пасля перарыву
Калі абонент перакінчуе розмову, калі LLM яшчэ выканаляе запыт да інструмента, історыя можа застацца з AIMessage, які мае tool_calls, які так і не атрымалі рэзультата. API Groq адхоўляе такі варыянт у наступным раундзе, адколі парадак паведамленняў больш не мае структурнага сэнсу.
Для рашэння гэтай проблемы выкарыстоўваюцца два механізмы. Першы — явны анулювання паведамлення ў разе перакінчэння розмовы, якое усувае непатрэбнае AI-паведамленне, яго «забытыя» рэзультаты і паведамленне корыстніка, якое яго запусціла. Пасля таго, як абавеснювач працуе перад кожным вызывам LLM як апошняя лінія захавання, ён усувае пары AI- і інструментальных паведамленняў, якія не падходзяць. Анулювання паведамленняў должна выловіць проблему, а абавеснювач гарантуе, што багі ў іншых частках сістэмы не зможу пашкадзіць наступны раундз.
3. Застарэлы перадачы даных у розмове, якая вядома ўжо заканчылася
Перадача задання чалавеку і разыяўленне з’язку — гэта аднае з іншым разныя вызовы інструментаў. З-за механізма адрабаткі вытэкаў у багу 1 мадэль можа законна актывацаваць аба працэсы ў однай партыі: адны як структураваны вызов, а другі — на базе тэксту, які вытэк. Калі ранейша была зафіксавана запатэнка на перадачу задання з іншай прычыны, а пазней вызов завершыўся разыяўленням з’язку, то сістэма, якая пытаецца, чы не была запатэнка паднята на вышэйшы ранг, можа пабачыць застарэлую запісь і апрацаваць вужо завершаны вызов у чэргу для чалавека.
Рашэнням ёсць правіло прыорытэта, якое застосовваецца ўсюдзе, дзе можа завершыцца вызов: разыяўленне з’язку завжды мае прыорытэт, а кожны шлях, які першы завершае вызов, чыстае будзь-якія незавершаныя запісі пра перадачу. Гэта простае правіло, якое стало зрозумелым толькі пасля спостэрагання за тым, як гэта відбываецца, адтолькі што два асінхронныя вызовы інструментаў можу завершыцца ў будзь-якой парады залежна ад таго, як мадэль фарматуе свой адказ.
Незначныя, але важлівыя дэталі
Калькілаванне дзеяння пад час стварэння зменіла спосаб, якім бот адчувае розмову:
- Бафараванне на межах звестакоў. Тэкст адправляецца на сінтэз у цэлыя звестакі, а не па токенам, што робіць мову натуральной, а не скасаванай з фрагментамі.
- Захад пры пачатку розмовы. Адказ на перарывы ігноруе працоўна першыя падвое-два секунды выступлень бота, таму што дзеяльныя службы сінтэзу бафаруюць усю кліп-выпуск пры стрымаванні. У гэтым тыхім перыядзе мікрафон вядома ўвёраны, і швыракі адказ на пярэднюе выступленне можа быць спыланы за перарыв у нынешняй розмове.
- Настройка праграмы актывацыі голасу для пярэдньяго і канчатковага таймаў. Гэтыя значэнні разлічваюць бота, які перарывае людзей у серэдзіне думкі, ад таго, які здаецца медленным; не існуе універсальных значэнняў, таму яны настраююцца на адповіднасць з рэальнымі запісамі калёў.
Што было неабходна
Нічого з гэтага не вімагало екзотычноі інфраструктуры – без Kubernetes, спеціальніх розшырэнь C чы індывідуальніх мерэжэвіх рышэнь. Для гэтага вікорыстовуваліся asyncio, рэтэльне керування станом і можлівісць відстэжэння працэсу, што відбуваецца під час одночасного выканання двох асінхронніх завдань. Абстракціі, незалежні ад постачальніка, для працы з LLM, перэтворэння мовлення на тэкст і сінтэзу, а таксама чытке падзелу між двігуном розмов і протоколом перэдачы даных у тэлефоніі дозволілі змінюваты постачальніків, додаваты інструменты і віправляты помілкі без необхідносты перэпісуваты все заново. Для тых, хто створуе шчось подыбне, першэ пітання – чы обмежэній обсяг працы операціямі вводу-віводу чы обчыслювальнімі рэсурсамі CPU перад тым, як початы вікорыстовуваты потокі.