Strona główna / Artykuły

Agent sztucznej inteligencji głosowej w transmisjach telefonicznych na żywo: dlaczego asyncio przewyższa wątki, plus trzy błędy.

Lekcje z rzeczywistego agenta telefonicznego wykorzystującego STT, LLM i TTS: przenoszenie mechanizmu barge-in z wątków na asyncio, a także problemy z wyciekami wywołań narzędzi, nieskończonymi wiadomościami i przestarzałymi transferami.

Wydawca: REACTAPP.TOP7 min czytania1538 słów

Źródła: Building a Production Voice AI Agent: Threading, Async, and the Bugs Nobody Warns You About

Agent głosowy w czasie rzeczywistym, który odbiera połączenia telefoniczne na żywo, łączy w sobie funkcje konwersji mowy na tekst, modelu językowego typu LLM oraz konwersji tekstu na mowę, i łączy się z systemem telefonicznym. Wymaga również możliwości przerwania rozmowy, aby dzwoniący mógł przerwać bota w trakcie zdania, a także możliwości przekazania połączenia do pracownika ludzkiego oraz czystego zakończenia rozmowy. Przedstawiono tu wybory projektowe oraz błędy, które dały najwięcej wiedzy podczas działania takiego systemu przy jednoczesnych połączeniach, począwszy od błędu, który niemal nie został naprawiony.

Zarys procesu

Każde połączenie uruchamia trzy komponenty w łańcuchu:

Caller audio → STT (Deepgram, streaming) → LLM (Groq, LLaMA 70B) → TTS (Cartesia) → Caller
  • Przekład mowy na tekst przesyła dźwięk przez WebSocket i zwraca transkrypcje, z wykrywaniem końca wypowiedzi na podstawie aktywności głosu.
  • LLM przesyła z powrotem tokeny, które są przechowywane aż do granicy zdania (kropka, znak zapytania, znak wykrzyknienia lub nowa linia), zanim przejdzie się do syntezy mowy, dzięki czemu bot może zacząć mówić, zanim cała odpowiedź będzie gotowa.
  • Synteza mowy przesyła dźwięk z powrotem do rozmówcy przez ten sam most telefoniczny, synchronizowana w czasie rzeczywistym poprzez wysyłanie ram o czasie 20 ms według stałego harmonogramu.

wokół tego znajduje się detekcja przerwania rozmowy, która zatrzymuje bota zaraz po tym, jak ktoś inny zaczyna mówić, pamięć podsumowująca wcześniejsze etapy rozmowy, dzięki czemu 45-minutowa rozmowa mieści się w oknie kontekstowym, oraz narzędzia służące do wykonywania działań takich jak przekazanie rozmowy osobie lub zakończenie połączenia. Żaden pojedynczy element nie jest najciekawszy – ważne jest to, co dzieje się, gdy wiele rozmów odbywa się jednocześnie na skromnym sprzęcie.

Wątki wydawały się naturalne, ale tak nie było

Pierwotny projekt przypisywał każdej rozmowie osobny wątek do obsługi przerwania. Ten wątek nieprzerwanie przysłuchiwał się dźwiękowi rozmówcy i aktywował specjalny sygnał, gdy rozpoczynała się mowa; pozostałe elementy systemu korzystały z tego sygnału, aby wiedzieć, kiedy przestać mówić i znowu słuchać. Każda rozmowa wymaga ciągłego odsłuchu, więc jedna ścieżka na rozmowę wydawała się intuicyjnym rozwiązaniem.

Szybko przestał prawidłowo funkcjonować. Na laptopie z 16 GB pamięci RAM i procesorem i5 o 8 rdzeniach cztery jednoczesne połączenia wystarczyły, by wszystko zaczęło działać nierówno – pojawiały się przerwy w odtwarzaniu dźwięku, powolna detekcja przerwań oraz nieregularne odtwarzanie materiału.

Pierwszą podejrzaną przyczyną był rozmiar puli wątków: przy limicie 30 wątków połączenie numer 50 musiało czekać w kolejce za innymi. To rzeczywiście poważny problem w skali większej, ale nie mogło wyjaśnić problemów przy zaledwie czterech połączeniach.

Prawdziwa przyczyna była bardziej podstawowa. Obciążenie pracy wynika z czekania, a nie z obliczeń. Nawet lżeki słuchacz działający na każde wezwanie spędza niemal cały swój czas w stanie bezczynności, czekając na ramki audio z mostka komunikacyjnego oraz na wystarczająco silny sygnał, by odróżnić mowę od hałasu. Rzeczywiste obliczenia, takie jak sprawdzanie flagi lub obliczanie wartości RMS w celu wykrywania ciszy, trwają mikrosekundy pomiędzy długimi pauzami. Wątki systemu operacyjnego nie nadają się do tego zastosowania – każdy z nich wymaga stosu pamięci, kosztów planowania przez jądro oraz zmiany kontekstu, a Python dodatkowo wprowadza GIL dla wszystkiego, co nie polega wyłącznie na czekaniu na operacje wejścia/wyjścia. Każde wezwanie generuje dodatkowe koszty związane z wątkiem, dopóki nie nadejdzie następna ramka.

Async/await zmienia tę sytuację. Jeden pętla zdarzeń może obsługiwać tysiące zadań czekających na sieć, ponieważ zawieszona korektura kosztuje prawie nic: nie ma dedykowanego stosu, żadnej zmiany kontekstu w jądrze – wystarczy miejsce w kolejce, dopóki socket nie otrzyma danych.

Zatem mechanizm odsłuchu w trybie „barge-in”, wraz z warstwami konwersji mowy na tekst, modeli LLM oraz syntezy dźwięku, przeniesiono na asyncio. Przepisanie tego mechanizmu odsłuchu jest dobrym przykładem. Wcześniej wątek tła budził się co 20 ms, aby sprawdzić kolejkę i ocenić, czy znajduje się w niej dźwięk oraz czy jest to mowa – co oznaczało bezproduktywne czekanie nawet w momencach ciszy. Później pętla przekazywania dźwięku wywołuje asyncio.wait_for(queue.get(), timeout=...), co całkowicie wstrzymuje wykonywanie korutyny, nie zużywając mocy obliczeniowej, aż przyjdzie kolejny fragment dźwięku lub wygaśnie czas oczekiwania. Flaga „barge-in” staje się zwykłym stanem udostępnionym, który jest odczytywany w punktach await, zastępując wartość zapisywaną przez inny wątek systemu operacyjnego w nieprzewidywalnych momentach.

W rezultacie zmienił się sufit równoczesności. Pytanie nie brzmi już o tym, ile wątków może zaplanować system operacyjny, ale o tym, ilu sokietów może pozostać otwartych, jaki jest limit prędkości dostawcy oraz jak duża jest przepustowość sieci – co stanowi znacznie bardziej przyjazną krzywą skalowania dla tego rodzaju obciążenia. Warto przyznać, że początkowe obawy dotyczące wyczerpania zasobów po 50 wywołaniach nie były błędne, ale były to kwestie drugorzędne, związane ze skalowalnością. Głównym powodem, dla którego asynchroniczność ma przewagę, jest aspekt architektoniczny – wątki są niewłaściwą abstrakcją dla zadań, w których dominują czekania na operacje wejścia/wyjścia, niezależnie od wielkości zasobów.

Trzy błędy, o których warto wiedzieć

Żaden z nich nie jest egzotyczny. Wszystkie pojawiają się tylko wtedy, gdy rzeczywisty ruch równoczesny trafia do prawdziwego dostawcy LLM.

1. Wywołania narzędzi wyciekające jako zwykły tekst

Część punktów kontrolnych LLaMA hostowanych na Groq czasami pozostawia puste pole strukturyzowane tool_calls. Zamiast tego wypuszczają do strumienia tekstu ciąg znaków przypominający wywołanie funkcji, który następnie jest odczytywany na głos przez system konwersji tekstu w mowę.

Pisanie reguły regex dla każdego dotychczas widzianego kształtu jest nieskuteczne, ponieważ nawet drobne zmiany w odstępach między znakami, kolejności klawiszy lub stylu cudzysłowów mogą mieć wpływ. Lepszym podejściem jest traktowanie każdego surowego nawiasu lub podejrzanego tagu w strumieniu jako tymczasowo niebezpiecznego. Natychmiast powstrzymuje się jego wyświetlenie i uwalnia go dopiero wtedy, gdy okazuje się jedną z dwóch rzeczy: kompletowym, możliwym do przetworzenia wywołaniem narzędzia (przekształconym w rzeczywiste rozkazanie i usuniętym z wyjścia tekstowego) lub w końcu niebędącym wywołaniem narzędzia (wróconym do strumienia jako zwykły tekst). Pomaga również zawór bezpieczeństwa – jeśli bufor tymczasowy przekroczy limit wielkości bez rozwiązania problemu, należy potraktować to jako fałszywy wynik, być może nazwę klienta zawierającą znak przypominający nawias, i wyrzucić ją jako tekst zamiast na zawsze opóźniać odpowiedź. Lekcja: gdy format wyjścia jest niejednoznaczny, nie należy wymieniać wszystkich możliwych przypadków błędu – należy używać bufora i sprawdzać wyniki.

2. Pozostałe po przerwaniu wywołania narzędzi

Jeśli ktoś przerwie rozmowę w momencie, gdy LLM jest w trakcie wysyłania żądania do narzędzia, historia rozmowy może zawierać AIMessage z elementem tool_calls, który nigdy nie otrzymał rezultatu. API Groq odrzuca taką sytuację w następnej turze, ponieważ kolejność wiadomości nie ma już sensu strukturalnego.

Rozwiązuje to dwa mechanizmy. Po pierwsze, wyraźne cofnięcie stanu po przerwaniu usuwa niepotrzebną wiadomość AI, jej bezpańskie wyniki z narzędzia oraz wiadomość użytkownika, która ją wywołała. Następnie przed każdym wezwaniem LLM uruchamiany jest filtr jako ostatnia linia obrony, który usuwa pary wiadomości AI i narzędzia, które się nie zgadzają. Cofnięcie stanu powinno wykryć problem, a filtr zapewnia, że błędy w innych miejscach nie zepsują następnej tury.

3. Przestarzałe przekazanie danych w przypadku zakończonej rozmowy

Przeniesienie do człowieka i rozłączenie to oddzielne wywołania narzędzi. Ze względu na mechanizm obsługi wycieków w błędzie nr 1 model może legalnie uruchomić oba w jednej turze – jedno jako strukturyzowane wywołanie, a drugie na podstawie tekstu wyciekłego. Jeśli wcześniej z innej przyczyny zapisano prośbę o przeniesienie, a następnie wywołanie zakończyło się rozłączeniem, system poniżej w łańcuchu, który pyta, czy wywołanie zostało podniesione do wyższego poziomu, może zobaczyć przestarzały wpis i wysłać już zakończone wywołanie do kolejki dla ludzi.

Rozwiązaniem jest zasada priorytetu stosowana we wszystkich miejscach, gdzie wywołanie może się zakończyć: rozłączenie zawsze ma pierwszeństwo, a każda ścieżka, która najpierw kończy wywołanie, usuwa wszelkie pending zapisy przeniesienia. To prosta zasada, która stała się oczywista dopiero po obserwowaniu tego zdarzenia, ponieważ dwa asynchroniczne wysyłanie wywołań narzędzi może zakończyć się w dowolnej kolejności, w zależności od tego, w jaki sposób model formatuje swoją odpowiedź.

Niepozorne szczegóły, które mają znaczenie

Kilka modyfikacji w procesie produkcji zmieniło sposób, w jaki bot brzmi podczas rozmowy:

  • Buforowanie na granicach zdań. Tekst trafia do syntezatora w całościach zdaniowych, a nie token po tokenie, co sprawia, że mowa brzmi naturalnie, a nie jak seria fragmentów.
  • Ochrona przed przerwami podczas mówienia. System wykrywania przerw ignoruje mniej więcej pierwsze półtora do dwóch sekund mowy bota, ponieważ niektórzy dostawcy syntezatorów buforują cały fragment przed transmisją. W tym czasie mikrofon jest już włączony, więc szybka odpowiedź na poprzednią wiadomość może zostać błędnie uznana za przerwę w obecnej rozmowie.
  • Dostosowywanie progu i czasu oczekiwania na zakończenie wypowiedzi pod kątem aktywności głosu. Te wartości odróżniają boty, które przerywają ludzi w trakcie mówienia, od tych, które wydają się powolne; nie istnieją uniwersalne wartości, więc są one dostosowywane na podstawie rzeczywistych nagrań rozmów.

Czego wymagało to realizacji

Wszystko to nie wymagało egzotycznej infrastruktury – bez Kubernetes, specjalnych rozszerzeń w języku C ani dedykowanych rozwiązań sieciowych. Wystarczyło asyncio, staranne zarządzanie stanem oraz gotowość do śledzenia tego, co dzieje się, gdy dwie asynchroniczne zadania współistnieją. Abstrakcje niezależne od dostawcy dla modeli językowych, konwersji mowy na tekst i jej syntezy, a także czyste rozdzielenie silnika rozmów od mechanizmu transmisji telefonicznej umożliwiły zamianę dostawców, dodawanie narzędzi oraz naprawę błędów bez konieczności przepisywania całego oprogramowania. Dla każdego, kto buduje coś podobnego, pierwszym pytaniem jest to, czy obciążenie pochodzi z operacji wejścia/wyjścia, czy z procesora, zanim zdecyduje się na użycie wątków. To może oszczędzić mnóstwo czasu spędzonego na bezskutecznym obserwowaniu, jak cztery połączenia blokują wydajny laptop.

Literatura pokrewna

  • Gemini 3.8 Live: Natywni agenci głosowi do konwersji mowy z mową przy użyciu Live API — Co oferują Gemini 3.8 Live i Extended Thinking: natywny dźwięk, wideo oraz narzędzia, konfiguracja Live API w Pythonie, wejście dźwięku i wideo, cenniki oraz zabezpieczenie za pomocą tokenów tymczasowych.