Startseite / Artikel

Sieben Lektionen aus der Praxis für den Aufbau eines zuverlässigen Sprach-KI-Assistenten

Latenz, Unterbrechungen, Fehlermöglichkeiten der Tools, Geschäftslogik außerhalb des Prompts, Speicher, Überwachbarkeit und Übergabe an Menschen: Was ein Sprachassistent in großem Maßstab benötigt.

Verlag: REACTAPP.TOP7 Min. Lesezeit1580 Wörter

Quellen: 7 Things I Wish I Knew Before Building a Production Voice Agent

Es ist überraschend einfach, einen Sprachassistenten zum Sprechen zu bringen. Man verbindet Telefonie, Spracherkennung, ein LLM, Text-to-Speech-Funktionen sowie einige weitere Tools – schon kann der Assistent ein Gespräch führen. Die eigentliche Herausforderung beginnt erst, wenn fremde Anrufer eintreffen.

Bei einem in Produktion befindlichen Assistenten, der täglich Hunderte von Anrufen entgegennimmt, treten Probleme auf, die in einer Demo nie sichtbar werden. Anrufer unterbrechen den Assistenten und sprechen über ihn hinweg. Sie haben Akzente, die niemand getestet hat. APIs verlangsamen ihre Leistung. Das LLM wählt die falsche Aktion aus. Ein Aufruf eines Tools scheitert mitten im Gespräch. Und eine Verzögerung von einer oder zwei Sekunden, die in der Entwicklung harmlos erschien, lässt den Assistenten plötzlich fehlerhaft wirken. Für alle, die einen solchen Assistenten entwickeln wollen, gibt es sieben wichtige Lektionen.

1. Latenz bestimmt das gesamte Erlebnis

Dies ist vermutlich die wichtigste Lektion. In einer gewöhnlichen App ist eine Anfrage, die ein oder zwei Sekunden dauert, noch in Ordnung. In einem mündlichen Gespräch wirkt das jedoch völlig anders. Stellen Sie sich vor, ein Anrufer bittet darum, einen Termin für morgen zu buchen, und hört anschließend nichts. Eine Sekunde, zwei, drei – bis dahin fragt sich der Anrufer bereits, ob jemand ihn überhaupt gehört hat.

Ein Sprachassistent durchläuft mehrere Schritte, bei denen jeweils Verzögerungen entstehen:

Anrufer → Telefonie → STT → LLM → TTS → Anrufer

Anrufer spüren die Gesamtverzögerung und erkennen nie den Anteil eines einzelnen Komponenten. Vapi bezeichnet beispielsweise die Verzögerung bei der Sprach-zu-Sprache-Übertragung als Summe aus Transport, Endpunktverarbeitung, Transkription, Modellantwort und Sprachsynthese.

Das verändert die Art und Weise, wie Modelle ausgewählt werden sollten. Das leistungsstärkste Modell ist nicht automatisch das beste für Sprachanwendungen – ein etwas schwächeres Modell, das schneller antwortet, führt oft zu einer weitaus besseren Konversation. Sprachassistenten sollten nach der Zeit bis zum ersten Wort optimiert werden und nicht allein nach ihrer reinen Modellintelligenz.

Auch der Datenfluss ist von großer Bedeutung. Der falsche Ablauf wartet darauf, dass jede Phase abgeschlossen ist:

STT wird abgeschlossen → LLM wird abgeschlossen → TTS wird abgeschlossen → Audio wird wiedergegeben

Ein besserer Ablauf überlappt diese Schritte:

STT streamt → LLM streamt → TTS streamt → Audio beginnt zu spielen

Ziel ist es, ein Gesprächsgefühl zu erzeugen und nicht eine Abfolge von API-Aufrufen.

2. Unterbrechungen sind normal

Der angenommte schwierige Teil besteht darin, das LLM dazu zu bringen, gute Antworten zu schreiben. Das ist jedoch nicht der Fall. Der schwierige Teil ist es, sich natürlich zu verhalten, wenn die Person nicht dem Skript folgt. Reale Anrufer unterbrechen mit Aussagen wie „Ja, aber warten Sie“, „Nein, nicht das“ oder „Eigentlich, können wir es statt dessen am Freitag machen?“

Ein Produktionsagent muss erkennen, dass der Anrufer zu sprechen beginnt, und seinen eigenen Ton genau zum richtigen Zeitpunkt stoppen. Dazu gehören:

  • Voice Activity Detection, oder VAD, um Sprache zu erkennen
  • Endpointing – die Entscheidung, wann ein Anrufer fertig ist
  • Die Erkennung von Unterbrechungen, während der Agent spricht
  • Die Steuerung darüber, wer das Wort hat
  • Ein vernünftiges Puffern des Audios
  • Das Abbrechen der Sprachsynthese und deren sauberes Wiederaufnehmen

Stimmenplattformen bieten mittlerweile spezielle Steuerelemente dafür, da eine schlechte Timing-Abstimmung dazu führen kann, dass ein kluger Agent sich miserabel fühlt. Das Gleichgewicht ist äußerst delikat. Eine zu empfindliche Störungserkennung lässt Störgeräusche dazu führen, dass der Agent unterbrochen wird, während eine zu konservative Erkennung dazu führt, dass der Agent den Anrufer übertönt.

Eine natürliche Konversation hängt davon ab, wann man sprechen und wann man schweigen soll – und nicht nur davon, was gesagt wird.

3. Jedes Tool benötigt einen Fehlerfall-Plan

Ein Stimmenagent existiert selten nur zum Sprechen. Früher oder später muss er handeln: einen Termin überprüfen, eine Bestellung finden, ein CRM aktualisieren, ein Treffen buchen, eine Bestätigung senden. Genau da kommt die Funktionsaufruflogik ins Spiel, und die Architektur entwickelt sich zu etwas wie diesem Muster:

Zu diesem Zeitpunkt ist das Agent nicht mehr nur ein Problem der KI, sondern wird zu einem Problem von verteilten Systemen. Angenommen, der Anrufer bittet um einen Termin um 16 Uhr morgen. Die LLM ruft checkAvailability() auf, die API benötigt zwei Sekunden, anschließend versagt die Buchungs-API – doch das Agent muss dem Anrufer trotzdem mitteilen, was passiert ist. Ein Auswurf einer Exception und Beendigung der Anfrage ist keine Option. Das Agent muss im Gespräch wieder in die Spur kommen. Anstelle einer rohen Meldung wie „ERROR 500“ braucht es Formulierungen wie „Diesen Termin kann derzeit nicht überprüft werden. Möchten Sie es zu einem anderen Zeitpunkt versuchen?“

Jedes Tool, auf das das Agent zugreifen kann, benötigt einen Fehlerfall-Plan. Es reicht nicht aus, nur den erfolgreichen Ablauf vom Antrag bis zum Erfolg zu planen. Die Gestaltung muss Erfolg, Zeitüberschreitung, ungültige Eingaben, API-Fehler, teilweisen Fehler, Wiederholungsversuche sowie Notlösungen abdecken.

4. Halten Sie Geschäftsregeln aus dem Prompt raus

Eine weitere Falle ist der ständig wachsende Systemprompt. Er beginnt mit einer Regel wie „Wenn der Benutzer X sagt, dann macht Y“, fügt anschließend hinzu „Aber wenn X nach Y kommt, dann macht Z“ und weiter mit „Es sei denn, die Frage betrifft...“. Bald enthält ein 5.000-Wörter-langer Prompt die Hälfte der Geschäftslogik der Anwendung. Das funktioniert – bis es nicht mehr funktioniert.

Ein Prompt sollte die Rolle oder Identität, den Kommunikationsstil und -prinzipien, Grenzen und Schutzmaßnahmen, das Verhalten im Gespräch, wann Tools verwendet werden sollen und welche Informationen gesammelt werden müssen, abdecken. Deterministische Geschäftsregeln gehören in die Anwendung selbst. Ob beispielsweise ein Termin gebucht werden kann, sollte nicht ausschließlich vom LLM entschieden werden. Die Backend-Systeme sollten diese Entscheidung treffen:

LLM
 ↓
checkAvailability()
 ↓
Backend validates availability
 ↓
Booking API
 ↓
Result returned to agent

Das LLM wählt welche Aktion ausgeführt werden soll, und die Anwendung entscheidet ob diese Aktion gültig ist. Das Logisieren obliegt dem LLM, während alles, was korrekt sein muss, durch deterministischen Code gewährleistet wird.

5. Kontext ist keine Erinnerung

Dass ein Kontext vorhanden ist, bedeutet nicht, dass ein Sprachassistent über Erinnerungsfähigkeit verfügt. Es sind verschiedene Arten von Informationen im Spiel. Was ist in diesem Gespräch passiert, zum Beispiel „der Nutzer möchte einen Termin am Freitag“? Was ist über diesen Anrufer aus früheren Interaktionen bekannt, zum Beispiel „der Nutzer bevorzugt in der Regel Nachmittage“? Was sollte der Assistent stets zur Hand haben, zum Beispiel „unsere Stornierungsrichtlinie beträgt 24 Stunden“?

Diese Informationen sollten nicht automatisch in einen einzigen großen Prompt zusammengefasst werden. Zwei Fragen erfordern Antworten: Was benötigt der Agent gerade und was sollte nach Beendigung des Gesprächs erhalten bleiben? Dies wird umso wichtiger, je länger die Gespräche dauern, denn mehr Kontext bedeutet nicht automatisch besseren Kontext. Dem Modell weniger, aber relevantere Informationen zu geben, führt manchmal zu besseren Ergebnissen. Speicherung bedeutet nicht, alles aufzubewahren – es geht darum, zu entscheiden, was zum richtigen Zeitpunkt abgerufen werden sollte.

6. Beobachtbarkeit – sonst nur Vermutungen

Manuelle Tests verbergen dieses Problem. Ein Gespräch klingt gut, das nächste auch. Dann kommen im Produktbetrieb Hunderte von Gesprächen hinzu, und jemand meldet, „der Agent war wirklich langsam“. Wo liegt das Problem? In der Telefonie, bei der Spracherkennung, beim Endpunktmanagement, im LLM, bei der Ausführung von Tools, bei der Sprachwiedergabe oder im Netzwerk? Ohne echte Beobachtbarkeit bleibt nur Spekulation.

Zu Beginn kann ein Team einen Agenten einfach durch das Anhören von Anrufen bewerten. Das hilft zwar, ist aber kostspielig und nicht skalierbar – insbesondere wenn die Bewertungen über viele Anrufe hinweg durchgeführt werden müssen. Irgendwann wird ein separates Überwachungsdashboard notwendig, damit Muster sichtbar werden, ohne jede Unterhaltung manuell prüfen zu müssen.

Zumindest sollte ein einzelner Anruf auf den ersten Blick verständlich sein:

Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome

Das Debuggen ändert sich völlig. „Der Agent wirkte langsam“ wird zu „Die durchschnittliche Zeit vom ersten Token bei LLMs stieg von 350 ms auf 1,4 s“, und das ist etwas, was behoben werden kann. Eine schlechte Entscheidung, die nicht überprüft werden kann, lässt sich auch nicht zuverlässig verbessern.

7. Wissen, wann man abgeben sollte

Das könnte die wichtigste Lektion sein. Das Ziel ist kein AI, der alles bewältigt – es geht um ein erfolgreiches Gesamtsystem, und manchmal ist die beste Maßnahme ein Übertragung an einen Menschen. Stellen Sie sich einen frustrierten Kunden vor, der bereits dreimal dasselbe gesagt hat. Die AI dazu zu zwingen, weiterzuprobieren, ist keine Intelligenz – es ist in der Regel eine schreckliche Erfahrung.

Produktionsysteme benötigen klare Grenzen, zum Beispiel:

Simple request
      ↓
     AI
      ↓
Can AI solve it?
  ↙        ↘
Yes         No
 ↓           ↓
Solve      Fallback
             ↓
       Human / callback

Ein Fallback bedeutet nicht, dass das System versagt. Es ist Teil der Konzeption. Ein Produktionsagent sollte nicht versuchen, jedes Gespräch für sich zu gewinnen, sondern erkennen, wann er es weiterleiten muss.

Zuverlässigkeit ist das entscheidende Merkmal

Vor der Entwicklung scheint die zentrale Herausforderung darin zu liegen, die KI intelligent klingen zu lassen. Danach stellt sich eine bessere Frage: Wie kann das gesamte System so zuverlässig gemacht werden, dass ein Mensch ihm vertrauen kann? Das ist ein anderes Ingenieurproblem. Es umfasst Verzögerungen, Abwechslung im Gesprächsfluss, Telefonie, APIs, Ausfälle, Speicher, Beobachtbarkeit und Fallback-Mechanismen, sowie auch das LLM, das nur ein Bestandteil ist.

Einen Sprachagenten zum Sprechen zu bringen, ist einfach. Einen Agenten durch hunderte oder tausende echter Gespräche zu führen, ist eine weitere Herausforderung – und der Unterschied liegt nicht hauptsächlich in besseren Anweisungen oder einem intelligenteren Modell. Es geht vielmehr um die Ingenieursleistung, die das Modell umgibt.

Bevor man versucht, einen Agenten „intelligenter“ zu machen, verdienen diese sieben Bereiche besondere Aufmerksamkeit:

  1. Latenz
  2. Bearbeitung von Unterbrechungen
  3. Toolexekution mit Zuverlässigkeit
  4. Deterministische Geschäftslogik
  5. Kontext und Speicher
  6. Beobachtbarkeit
  7. Gerechte Fallback-Lösungen

Sobald ein Agent in der Produktion eingesetzt wird, wird Zuverlässigkeit zum entscheidenden Merkmal.