Штучний інтелект для голосових дзвінків: чому asyncio кращий за потоки, а також три помилки.
Уроки з реального часу від агента телефонної служби з STT, LLM та TTS: перехід від потоків до asyncio, а також проблеми з витоками викликів інструментів, застряглими повідомленнями та старими переказами.
Джерела: Building a Production Voice AI Agent: Threading, Async, and the Bugs Nobody Warns You About
Агент голосового зв’язку в реальному часі, який відповідає на телефонні дзвінки в прямому ефірі, поєднує технології перекладу мовлення в текст, ШІ та перекладу тексту в мовлення, причому підключається до телефонної системи. Він також потребує можливості переривання, щоб абонент міг перервати бота посеред речення, а також можливості передачі дзвінка людині-агенту та чистого завершення з’єднання. У цьому огляді розглядаються вибори конструкції та помилки, які найбільше навчили під час роботи такої системи з одночасними дзвінками, починаючи з помилки, яку майже не виправили.
Короткий опис процесу
Кожен дзвінок обробляється трьома компонентами у послідовності:
Caller audio → STT (Deepgram, streaming) → LLM (Groq, LLaMA 70B) → TTS (Cartesia) → Caller
- Функція «голос у текст» передає аудіо через WebSocket та повертає транскрипцію, з виявленням кінця фрази на основі активності голосу.
- Штучний інтелект надсилає назад токени, які зберігаються до межі речення (крапка, запитання, вигук чи новий рядок), перш ніж перейти до синтезу мовлення, щоб бот міг почати говорити ще до того, як буде створена повна відповідь.
- Синтез мовлення надсилає аудіо назад до користувача через ту саму телефонну інфраструктуру, пристосовуючи темп до реального часу шляхом надсилання фрагментів кожні 20 мс за фіксованим графіком.
Навколо цього розташовані механізми виявлення переривань, які зупиняють бота щойно абонент починає говорити під час розмови, пам’ять, яка узагальнює попередні діалоги, щоб 45-хвилинна розмова залишалася в межах вікна контексту, та інструменти для виконання дій, таких як передача розмови людині чи завершення дзвінка. Жоден окремий компонент не є найцікавішим. Важливо те, що відбувається, коли одночасно ведеться багато розмов на обмеженому обладнанні.
Треди здавалися природними, але це не так
У першому дизайні кожній розмові призначався окремий фоновий тред для виявлення переривань. Він постійно прослуховував аудіо абонента та піднімав сигнал, коли починалася мова, а інші етапи використовували цей сигнал, щоб зрозуміти, коли потрібно замовкнути та почати прослуховування. Кожній розмові потрібен постійно активний прослуховувач, тому один тред на розмову здавався логічним рішенням.
Він швидко почав працювати некоректно. На ноутбуку з 16 ГБ оперативної пам’яті та процесором i5 з 8 ядрами чотири одночасні дзвінки вже призводили до проблем: затримок у передачі аудіо, повільного виявлення переривань та нерівномірної відтворення.
Першою підозрою було розмір черги обробки запитів: через обмеження у 30 потоків дзвінок номер 50 мусив чекати у черзі після інших. Це справді є проблемою при великому обсязі роботи, але це не могло пояснити проблеми при чотирьох дзвінках.
Справжня причина була простішою. Обсяг роботи обмежується очікуванням, а не обробкою даних. Навіть легкий слухач для кожного виклику майже все своє час проводить у стані неактивності, очікуючи на аудіокадри від мосту та достатньої сили сигналу, щоб визначити, чи це мова, чи шум. Фактична робота — перевірка прапорця чи обчислення значення RMS для виявлення тиші — виконується протягом мікросекунд під час довгих пауз. Операційні системи з їхніми потоками погано підходять для цього. Кожен поток має власну стек-структуру, витрати на планування ядра та зміну контексту, а Python додає GIL для всього, що не є суто очікуванням на ввод-вивід. Кожен виклик оплачує додаткові витрати потоку, поки той не почне обробку наступного кадру.
Async/await змінює ситуацію. Один цикл подій може обробляти тисячі завдань, які очікують на мережу, адже призупинена корутина коштує майже нічого: без окремої стек-структури, без зміни контексту ядра — просто місце у черзі, поки її сокет не отримає дані.
Отже, компонент для прийому сигналів разом із шарами перетворення мовлення на текст, ШІ та синтезу перейшли на asyncio. Перепис слухача є гарною ілюстрацією. Раніше фоновий поток пробуджувався кожні 20 мс, щоб перевірити чергу на наявність аудіо та визначити, чи це мовлення; при цьому він постійно очікував, навіть під час тиші. Пізніше цикл передачі аудіо викликає asyncio.wait_for(queue.get(), timeout=...), що повністю призупиняє корутину та не використовує CPU, поки не надійде дані або не спливе тайм-аут. Флаг для входу сигналів став звичайним спільним станом, який читається у точках await, замінивши значення, яке записувалося з іншого потоку ОС у непередбачувані моменти.
У результаті змінився ліміт конкурентності. Тепер питання полягає не в тому, скільки потоків може запланувати ОС, а в тому, скільки сокетів може залишатися відкритими, який є ліміт швидкості від постачальника та яка є пропускна здатність мережі — це набагато більш придатна крива масштабування для такого типу навантаження. Варто визнати: початкові побоювання щодо вичерпання ресурсів пулу при 50 викликах були обґрунтованими, але це була вторинна проблема, пов’язана з масштабуванням. Основна причина, чому асинхронні рішення є кращими, полягає в архітектурі — потоки є неправильною абстракцією для роботи, яка переважно полягає у очікуванні введення-виведення, незалежно від розміру пулу.
Три баги, про які варто знати
Жоден з них не є екзотичним. Усі вони проявляються лише тоді, коли справжній конкурентний трафік надходить до справжнього постачальника LLM.
1. Виклики інструментів витікають у вигляді звичайного тексту
Деякі чекпоїнти LLaMA, що розміщені на Groq, іноді залишають структуроване поле tool_calls порожнім. Натомість вони виводять рядок, схожий на виклик функції, безпосередньо у потік тексту, який потім озвучує система тексту до голосу.
Написання регулярних виразів для кожної форми, яку було побачено досі, є неефективним, оскільки незначні зміни у пробілах, порядку клавіш чи стилі лапок призводять до проблем. Кращий підхід — вважати будь-які необроблені дужки чи підозрілі теги у потоці тимчасово небезпечними. Їх негайно утримують від передачі, а звільняють лише тоді, коли виявляється, що це або повний, здатний до обробки запит на використання інструменту (який перетворюється на справжній запит та видаляється з тексту відповіді), або це зовсім не запит на використання інструменту (що повертається у потік як звичайний текст). Також допомагає система безпеки: якщо буфер, що утримується, перевищує встановлений розмір без розв’язання проблеми, його слід вважати хибним позитивом, можливо, це ім’я клієнта з символом, схожим на дужку, і його потрібно вивести як текст, замість того щоб безкінечно затримувати відповідь. Урок: коли формат вихідних даних є неоднозначним, не перераховуйте всі можливі форми помилок. Використовуйте буфер та перевіряйте.
2. Залишені запити на використання інструменту після переривання
Якщо абонент перериває процес, поки LLM у процесі виконання запиту до інструменту, історія може містити елемент AIMessage, який зберігає tool_calls, що так і не отримали результату. API Groq відхиляє такий випадок у наступному кроці, оскільки порядок повідомлень більше не має структурного сенсу.
Для вирішення цієї проблеми використовуються два механізми. По-перше, пряме скасування дії при перериванні видаляє непотрібне повідомлення AI, його відповідні результати від інструменту та повідомлення користувача, яке його спричинило. По-друге, перед кожним викликом LLM запускається функція очищення як останній захист, яка видаляє будь-які пари повідомлень AI та інструменту, що не відповідають одне одному. Скасування дії має вирішити проблему, а функція очищення гарантує, що помилки в інших частинах системи не зможуть пошкодити наступний крок.
3. Застаріла передача даних у виклику, який вже завершився
Передача на обробку людини та роз’єднання — це окремі виклики інструментів. Через механізм обробки витоків у багу 1 модель може законно активувати обидва процеси в одному кроці: один як структурований виклик, а інший — на основі тексту, що витек. Якщо раніше була зареєстрована запит на передачу з іншої причини, а потім виклик завершується роз’єднанням, система нижчого рівня, яка запитує про підвищення рівня обробки, може побачити застарілий запис та надіслати вже завершений виклик у чергу для людини.
Рішенням є правило пріоритету, яке застосовується скрізь, де виклик може завершитися: роз’єднання завжди має перевагу, а кожен шлях, який спочатку завершує виклик, очищує будь-які незавершені записи про передачу. Це просте правило, яке стало очевидним лише після спостереження за такими ситуаціями, адже два асинхронні виклики інструментів можуть завершитися в будь-якому порядку залежно від того, як модель сформує свою відповідь.
Непримітні деталі, які мають значення
Кілька коригувань під час процесу створення змінили спосіб, яким бот веде розмову:
- Буферування на межах речень. Текст надсилається на синтез у повних реченнях, а не по окремих токенах, що робить мовлення природним, а не сукупністю фрагментів.
- Захист від ранніх переривань. Детектор переривань ігнорує приблизно перші півтора–два секунди мовлення бота, оскільки деякі постачальники синтезу буферують весь фрагмент перед трансляцією. Протягом цього беззвучного періоду мікрофон вже увімкнений, тож швидка відповідь на попередню фразу може бути сплутана з перериванням поточної.
- Налаштування порогів та таймаутів на основі активності голосу. Ці значення допомагають відрізнити бота, який перериває людей посеред думки, від того, який здається повільним; універсальних значень не існує, тому їх налаштовують на основі реальних записів дзвінків.
Що знадобилося
Для всього цього не було потреби у екзотичній інфраструктурі — жодного Kubernetes, спеціальних розширень мови C чи індивідуальних мережевих рішень. Достатньо було asyncio, ретельного керування станом та готовності відстежувати те, що відбувається, коли два асинхронні завдання конкурують. Абстракції, незалежні від постачальника, для LLM, перетворення мовлення на текст та його синтезу, а також чітке розділення між двигуном розмов та телекомунікаційним протоколом дозволили замінювати постачальників, додавати інструменти та виправляти помилки без необхідності переписувати все заново. Для тих, хто створює щось подібне, перше питання — чи обмежений обсяг роботи операціями введення/виведення чи процесорною потужністю, перш ніж починати використовувати потоки. Це може заощадити час, який інакше пішов би на безуспішні спроби вирішити проблему, коли чотири дзвінки заважають функціонуванню потужного ноутбука.