Startseite / Artikel

SprachkI-Assistent in Live-Telefonaten: Warum Asyncio Threads übertrifft – plus drei Fehler.

Erkenntnisse aus einem Echtzeit-STT-, LLM- und TTS-Telefonassistenten: Der Umstieg von Threads auf asyncio sowie leckende Toolaufrufe, hängende Nachrichten und veraltete Übertragungen.

Verlag: REACTAPP.TOP7 Min. Lesezeit1538 Wörter

Quellen: Building a Production Voice AI Agent: Threading, Async, and the Bugs Nobody Warns You About

Ein Echtzeit-Stimmen-Assistent, der Live-Telefonanrufe entgegennimmt, verbindet Sprach-zu-Text-, ein LLM sowie Text-zu-Sprach-Funktionen miteinander und ist in ein Telefonsystem integriert. Zudem benötigt er die Möglichkeit, dass Anrufer den Bot mitten im Satz unterbrechen können, sowie die Übertragung an einen menschlichen Mitarbeiter und eine saubere Trennung des Anrufs. Hier wird auf die Gestaltungsentscheidungen und Fehler eingegangen, die bei der Betrieb solcher Systeme unter gleichzeitigen Anrufen am meisten Lehren brachten – angefangen bei einem Fehler, der beinahe unkorrigiert blieb.

Kurzüberblick über den Ablauf

Jeder Anruf setzt drei Komponenten in einer Kette in Gang:

Caller audio → STT (Deepgram, streaming) → LLM (Groq, LLaMA 70B) → TTS (Cartesia) → Caller
  • Sprach-zu-Text-Systeme übertragen Audio über einen WebSocket und liefern Transkripte, wobei die Ende-des-Satzes-Erkennung anhand der Stimmenaktivität erfolgt.
  • Das große Sprachmodell sendet Tokens zurück, die bis zu einem Satzende (Punkt, Fragezeichen, Ausrufezeichen oder Zeilenumbruch) aufbewahrt werden, bevor sie zur Sprachsynthese weitergeleitet werden, sodass der Bot bereits sprechen kann, bevor die gesamte Antwort fertig ist.
  • Die Sprachsynthese sendet das Audio über dieselbe Telefongrenze zurück an den Anrufer und passt den Rhythmus in Echtzeit an, indem sie alle 20 Millisekunden Frames sendet.

Dazu gehören die Erkennung von Störungen durch Dritte, die den Bot sofort stoppt, sobald jemand dazwischenredet, ein Speicher, der frühere Gesprächsteile zusammenfasst, damit ein 45-minütiges Gespräch im Kontextfenster bleibt, sowie Tools zur Ausführung von Aktionen wie der Weiterleitung an einen Menschen oder das Auflegen. Kein einzelner Bestandteil ist besonders interessant – entscheidend ist vielmehr, was passiert, wenn gleichzeitig viele Gespräche auf begrenzter Hardware ablaufen.

Threads schienen logisch, waren es aber nicht

Bei der ersten Designlösung erhielt jedes Gespräch einen Hintergrundthread für die Erkennung von Störungen. Dieser lauschte kontinuierlich dem Audio des Anrufers und setzte ein Signal, sobald gesprochen wurde; die anderen Schritte prüften dieses Signal, um zu erkennen, wann sie schweigen und wieder zuhören sollten. Da jedes Gespräch einen ständig aktiven Zuhörer benötigt, schien ein Thread pro Gespräch intuitiv zu sein.

Es funktionierte schnell nicht mehr richtig. Bei einem Laptop mit 16 GB RAM und einem 8-Kern-i5 reichten bereits vier gleichzeitige Anrufe aus, um alles zum Stocken zu bringen – mit fehlenden Audiodaten, langsamer Erkennung von Unterbrechungen und unregelmäßiger Wiedergabe.

Der erste Verdacht galt der Größe des Pools: Bei einer Obergrenze von 30 Threads würde Anruf Nummer 50 hinter anderen warten müssen. Das ist bei größeren Skalen tatsächlich ein Problem, doch es konnte die Probleme bei nur vier Anrufen nicht erklären.

Der eigentliche Grund war grundlegender. Die Arbeitsbelastung wird durch Warten und nicht durch Rechnen begrenzt. Selbst ein leichter Zuhörer pro Aufruf verbringt fast seine gesamte Zeit untätig damit, auf Audio-Frame vom Bridge zu warten sowie auf genügend Signalstärke, um zwischen Sprache und Rauschen zu unterscheiden. Die eigentliche Arbeit – das Überprüfen eines Flags oder das Berechnen eines RMS-Werts zur Stilleerkennung – dauert nur Mikrosekunden zwischen langen Pausen. Betriebssystem-Threads eignen sich dafür kaum. Jeder von ihnen verfügt über einen Stack, erfordert Kernel-Scheduling- und Kontextwechselkosten, und Python fügt für alles hinzu, was nicht rein auf I/O wartet, den GIL. Jeder Aufruf zahlt somit Thread-Overhead, bis der nächste Frame eintrifft.

Async/await ändert das. Eine einzige Event-Loop kann Tausende von Aufgaben verwalten, die auf das Netzwerk warten, denn eine suspendierte Koroutine kostet fast nichts: keinen dedizierten Stack, keinen Kernel-Kontextwechsel, nur einen Platz in einer Warteschlange, bis ihr Socket Daten erhält.

Daher wechselte der Eingabehörer zusammen mit den Schichten für Spracherkennung, großes Sprachmodell und Sprachsynthese auf asyncio. Die Überarbeitung des Hörers ist ein gutes Beispiel dafür. Früher weckte ein Hintergrundthread alle 20 ms einen Prozess, um eine Warteschlange abzurufen, nach Audio zu suchen und zu prüfen, ob es sich um Sprache handelte – wodurch auch während Stille Ressourcen verschwendet wurden. Danach ruft der Audio-Weiterleitungsloop asyncio.wait_for(queue.get(), timeout=...) auf, wodurch die Koroutine vollständig pausiert wird, ohne CPU-Ressourcen zu verbrauchen, bis ein Frame eintrifft oder die Frist abläuft. Die Barge-in-Flagge wird zu einem gewöhnlichen gemeinsamen Zustand, der an den await-Punkten gelesen wird, und ersetzt so einen Wert, der zu unvorhersehbaren Zeitpunkten von einem anderen OS-Thread geschrieben wurde.

Dadurch änderte sich die Grenze der Parallelisierung. Die Frage ist nicht mehr, wie viele Threads das Betriebssystem planen kann, sondern wie viele Sockets offen bleiben können, welche Geschwindigkeitsbeschränkung der Anbieter vorgibt und wie viel Netzwerkbandbreite verfügbar ist – eine weitaus freundlichere Skalierungskurve für diese Art von Last. Es muss zugegeben werden: Die ursprüngliche Sorge vor Erschöpfung des Pools bei 50 Aufrufen war nicht falsch, handelte sich aber um eine sekundäre, skalierungsbezogene Besorgnis. Der Hauptgrund, warum Asynchrone Lösungen vorteilhaft sind, liegt in der Architektur: Threads sind die falsche Abstraktion für Aufgaben, bei denen I/O-Wartezeiten dominieren, unabhängig von der Größe des Pools.

Drei Fehler, die man kennen sollte

Keiner davon ist besonders ausgefallen. Sie treten alle erst dann auf, wenn echter konkurrierender Verkehr auf einen echten LLM-Anbieter trifft.

1. Toolaufrufe werden als reiner Text durchgesendet

Einige von Groq gehostete LLaMA-Checkpoints lassen das strukturierte tool_calls-Feld gelegentlich leer. Stattdessen geben sie einen stringähnlichen Inhalt ab, der wie ein Funktionsaufruf aussieht, direkt in den Textstrom – diesen würde anschließend die Sprachsynthese laut vorlesen.

Das Schreiben einer Regex für jede bisher gesehene Form führt nicht zum Erfolg, da kleine Änderungen in den Leerzeichen, der Reihenfolge der Tasten oder dem Anführungsstil durchkommen. Der bessere Ansatz betrachtet jeden rohen Klammernzeichen oder verdächtigen Tag im Datenstrom vorläufig als unsicher. Er wird sofort zurückgehalten und erst freigegeben, wenn sich herausstellt, dass es entweder einen vollständigen, parsierbaren Toolaufruf handelt (der in eine echte Ausführung umgewandelt und aus der gesprochenen Ausgabe entfernt wird) oder es sich letztendlich doch nicht um einen Toolaufruf handelt (der als normaler Text in den Datenstrom zurückgegeben wird). Eine Sicherheitsvorkehrung hilft ebenfalls. Wenn der zurückgehaltene Puffer ohne Lösung eine bestimmte Größe überschreitet, sollte er als Falschalarm behandelt werden – möglicherweise handelt es sich um einen Kundennamen, der ein klammernähnliches Zeichen enthielt – und stattdessen als Text ausgesendet werden, anstatt die Antwort endlos aufzuhalten. Die Lektion: Wenn das Ausgabeformat unklar ist, sollte man nicht alle möglichen Fehlerfälle auflisten. Puffern und überprüfen.

2. Hängende Toolaufrufe nach einer Unterbrechung

Falls ein Anrufer während des Ausführungsprozesses eines Tool-Aufrufs durch das LLM unterbricht, kann die Historie eine AIMessage enthalten, die tool_calls speichert, die nie ein Ergebnis erhielten. Groqs API lehnt dies im nächsten Schritt ab, da die Reihenfolge der Nachrichten nicht mehr strukturell sinnvoll ist.

Zwei Ebenen kümmern sich darum. Zunächst führt ein expliziter Rollback bei einer Unterbrechung dazu, dass die fehlerhafte AI-Nachricht, ihre orphaned Tool-Ergebnisse sowie die vom Benutzer gesendete Auslösnachricht entfernt werden. Anschließend wird vor jedem LLM-Aufruf als letzte Sicherheitsmaßnahme ein Sanitizer ausgeführt, der alle nicht übereinstimmenden AI- und Tool-Nachrichtenpaare entfernt. Der Rollback sollte das Problem beheben, während der Sanitizer sicherstellt, dass Fehler an anderer Stelle den nächsten Schritt nicht verfälschen können.

3. Eine veraltete Übertragung bei einem bereits beendeten Aufruf

Die Übertragung an einen Menschen und das Abbrechen sind separate Aufrufe der Tools. Aufgrund der Handhabung von Lecks im Fehler 1 kann das Modell beide in derselben Runde rechtmäßig auslösen – einen als strukturierten Aufruf und den anderen aus dem geleakten Text. Wenn zuvor aus einem anderen Grund ein Übertragungsantrag aufgezeichnet wurde und der Aufruf anschließend durch Abbrechen endet, könnte ein nachgeschaltetes System, das prüft, ob der Aufruf eskaliert wurde, die veraltete Eintragung sehen und einen bereits abgeschlossenen Aufruf in eine Warteschlange für Menschen senden.

Die Lösung besteht darin, überall dort, wo ein Aufruf enden kann, eine Prioritätsregel anzuwenden: Das Abbrechen hat immer Vorrang, und jeder Pfad, der den Aufruf zuerst beendet, löscht alle ausstehenden Übertragungsdaten. Es handelt sich um eine einfache Regel, die erst nach Beobachtung des Vorgangs offensichtlich wurde, da zwei asynchrone Tool-Aufrufe je nachdem, wie das Modell seine Antwort formatiert, in beliebiger Reihenfolge abgeschlossen werden können.

Nicht besonders auffällige, aber wichtige Details

Eine Reihe von Produktionsanpassungen hat die Art und Weise verändert, wie der Bot klingt, wenn er spricht:

  • Pufferung an Satzgrenzen. Der Text wird in ganzen Sätzen zur Synthese gesendet, nicht Token für Token, wodurch die Sprache natürlicher klingt anstatt wie ein Stottern aus Fragmenten.
  • Schutzmechanismus beim plötzlichen Eingreifen. Die Unterbrechungserkennung ignoriert in der Regel die ersten anderthalb bis zwei Sekunden des Bot-Sprechens, da einige Synthesedienste den gesamten Clip puffern, bevor sie ihn streamen. Während dieses stummen Zeitraums ist das Mikrofon bereits aktiv, und eine schnelle Antwort auf den vorherigen Satz kann fälschlicherweise als Unterbrechung des aktuellen Satzes angesehen werden.
  • Anpassung der Schwellenwerte und Zeitlimits für die Stimmenaktivität am Satzende. Diese Werte unterscheiden einen Bot, der Menschen mitten im Gedanken unterbricht, von einem, der langsam wirkt. Da es keine universellen Werte gibt, werden sie anhand echter Anrufaufnahmen angepasst.

Was dafür nötig war

Dafür war keine exotische Infrastruktur erforderlich – weder Kubernetes, eigene C-Erweiterungen noch maßgeschneiderte Netzwerklösungen. Es reichte asyncio, sorgfältige Zustandsverwaltung sowie die Bereitschaft, zu verfolgen, was passiert, wenn zwei asynchrone Aufgaben gleichzeitig ausgeführt werden. Anbieterunabhängige Abstraktionen für Large Language Models, Sprach-zu-Text- und Text-zu-Sprach-Verarbeitung sowie eine klare Trennung zwischen dem Konversationsmotor und dem Telefonsystem ermöglichten es, Anbieter auszutauschen, Tools hinzuzufügen und Fehler zu beheben, ohne alles neu schreiben zu müssen. Für alle, die etwas Ähnliches entwickeln, stellt sich zunächst die Frage, ob die Arbeitslast durch Eingabe/Ausgabe-Aufgaben oder durch den Prozessor begrenzt ist, bevor man auf Threads zurückgreift. Das könnte einen frustrierenden Nachmittag ersparen, in dem man beobachtet, wie vier Anrufe einen leistungsstarken Laptop lahmlegen.