Strona główna / Artykuły

Siedem lekcji z praktyki produkcyjnej przy tworzeniu niezawodnego agenta AI głosowego

Opóźnienia, przerwy, możliwe awarie narzędzi, logika biznesowa poza treścią zapytania, pamięć, możliwość obserwacji oraz przekazywanie zadań między ludźmi: co potrzebuje agent głosowy w skali przemysłowej.

Wydawca: REACTAPP.TOP7 min czytania1580 słów

Źródła: 7 Things I Wish I Knew Before Building a Production Voice Agent

Zaskakująco łatwo jest sprawić, by agent głosowy mówił. Wystarczy połączyć telefonię, funkcję konwersji mowy na tekst, model językowy, konwerter tekstu na mowę oraz kilka narzędzi, a rezultat będzie w stanie prowadzić rozmowę. Prawdziwa praca zaczyna się wtedy, gdy dzwonią obcy ludzie.

W przypadku agenta produkcyjnego odbierającego setki połączeń dziennie pojawiają się problemy, których demo nigdy nie ujawnia. Dzwoniący przerywają i mówią głośniej niż agent. Mają akcenty, których nikt nie testował. API zwalniają pracę. Model językowy wybiera niewłaściwą akcję. Wywołanie narzędzia zostaje przerwane w trakcie rozmowy. A opóźnienie jednej lub dwóch sekund, które wydawały się nieszkodliwe w fazie rozwoju, nagle sprawia, że agent wydaje się niepracować. Siedem lekcji jest szczególnie ważnych dla każdego, kto zamierza go stworzyć.

1. Opóźnienie to całe doświadczenie

To jest zapewne najważniejsza lekcja. W zwykłej aplikacji prośba trwająca sekundę lub dwie jest do przyjęcia. W rozmowie ustnej sytuacja wygląda zupełnie inaczej. Wyobraź sobie osobę dzwoniącą, która prosi o umówienie spotkania na jutro, a potem nie słyszy żadnej odpowiedzi. Jedna sekunda, druga, trzecia. W tym czasie dzwoniący zastanawia się, czy ktoś w ogóle to usłyszał.

Agent głosowy obejmuje kilka etapów, z których każdy powoduje opóźnienie:

Dzwoniący → Telefonia → STT → LLM → TTS → Dzwoniący

Dzwoniący odczuwają całkowite opóźnienie i nigdy nie widzą udziału żadnego z poszczególnych elementów. Vapi określa opóźnienie w komunikacji głosowej jako sumę czasu transportu, obsługi końcowa, transkrypcji, odpowiedzi modelu oraz syntezy mowy.

To zmienia sposób wyboru modeli. Najzdolniejszy model nie jest automatycznie najlepszy do obsługi głosu, a nieco słabszy model, który odpowiada szybciej, często zapewnia o wiele lepszą rozmowę. Agenci głosowi powinni być dostrojeni pod kątem czasu od początku do pierwszego słowa, a nie tylko pod kątem ogólnej inteligencji modelu.

Bardzo ważna jest również transmisja strumieniowa. Błędny schemat wymaga czekania na zakończenie każdego etapu:

STT kończy się → LLM kończy się → TTS kończy się → odtwarzanie audio

Lepszy schemat umożliwia jednoczesne przepływanie tych etapów:

STT jest w transmisji → LLM jest w transmisji → TTS jest w transmisji → audio zaczyna się odtwarzać

Celem jest stworzenie wrażenia rozmowy, a nie łańcucha wywołań API.

2. Przerwy są normalne

Uważa się, że trudnym elementem jest sprawienie, by model językowy generował dobre odpowiedzi. W rzeczywistości tak nie jest. Prawdziwym wyzwaniem jest naturalne zachowanie, gdy rozmówca nie postępuje zgodnie z scenariuszem. Prawdziwi dzwoniący przerywają mówiąc coś w stylu „Tak, ale poczekaj”, „Nie, nie to” lub „Właściwie, czy możemy zrobić to w piątek?”.

Agent obsługujący połączenia musi zauważyć, że rozmówca zaczął mówić, i w odpowiednim momencie przerwać własny dźwięk. Obejmuje to:

  • Rozpoznawanie aktywności głosowej, czyli VAD, służące do wykrywania mowy
  • Określanie momentu zakończenia rozmowy przez dzwoniącego
  • Rozpoznawanie przerw podczas rozmowy agenta
  • Kontrolowanie tego, kto ma głos
  • Rozsądne buforowanie dźwięku
  • Przerwanie syntezy mowy i jej czyste wznowienie

Pliatformy głosowe oferują teraz dedykowane funkcje kontrolne w tym celu, ponieważ nieodpowiedni moment może sprawić, że sprytny agent będzie się czuł okropnie. Równowaga jest delikatna – detekcja przerw, która jest zbyt wrażliwa, pozwala hałasowi tła przerwać rozmowę z agentem, natomiast ta zbyt konserwatywna sprawia, że agent mówi głośniej niż rozmówca.

Prawdziwa konwersacja zależy od umiejętności określenia, kiedy mówić, a kiedy milczeć, a nie tylko od tego, co jest mówione.

3. Każde narzędzie wymaga ścieżki awaryjnej

Rzadko zdarza się, by agent głosowy istniał wyłącznie po to, by rozmawiać. Prędzej czy później musi on działać: sprawdzić umówione spotkanie, znaleźć zamówienie, zaktualizować dane w CRM, zarezerwować spotkanie lub wysłać potwierdzenie. Wtedy właśnie wchodzą w grę wywołania funkcji, a architektura przybiera coś w rodzaju tego:

W tym momencie agent przestaje być jedynie problemem związanym z sztuczną inteligencją i staje się problemem systemów rozproszonych. Załóżmy, że dzwoniący prosi o termin jutro o 16:00. LLM wywołuje funkcję checkAvailability(), API potrzebuje dwóch sekund, następnie API do rezerwacji zawodzi, a agent nadal musi poinformować dzwoniącego o tym, co się stało. Rzucenie wyjątku i zakończenie żądania nie jest rozwiązaniem. Agent musi odzyskać kontrolę w trakcie rozmowy. Zamiast surowego komunikatu „BŁĄD 500” potrzebny jest tekst w stylu „W tym momencie nie można sprawdzić tego terminu. Czy chce pan spróbować innego razu?”

Każde narzędzie, do którego może się odwołać agent, musi mieć plan działania na wypadek awarii. Nie wystarczy zaprojektować tylko ścieżkę pomyślnej realizacji żądania. Projekt powinien uwzględniać sytuacje sukcesu, przekroczenia czasu oczekiwania, nieprawidłowych danych wejściowych, awarii API, częściowych błędów, próby ponowne oraz rozwiązania awaryjne.

4. Unikaj wskazówek zawierających reguły biznesowe

Kolejną pułapką jest coraz dłuższy prompt systemowy. Zaczyna się od zasady typu „jeśli użytkownik powie X, zrób Y”, potem dodaje się „ale jeśli X pojawia się po Y, zrób Z”, a następnie „chyba że pytanie dotyczy...”. Wkrótce prompt składający się z 5000 słów zawiera połowę logiki biznesowej aplikacji. Działa to do chwili, aż przestaje.

Prompt powinien określać rolę lub tożsamość, styl i zasady komunikacji, granice i zasady bezpieczeństwa, zachowanie podczas rozmowy, kiedy używać narzędzi oraz jakie informacje zbierać. Deterministyczne zasady biznesowe powinny znajdować się w samej aplikacji. Na przykład to, czy można zarezerwować termin, nie powinno w całości zależeć od LLM. Decyzję powinien podjąć backend:

LLM
 ↓
checkAvailability()
 ↓
Backend validates availability
 ↓
Booking API
 ↓
Result returned to agent

LLM wybiera jaką akcję podjąć, a aplikacja decyduje czy ta akcja jest ważna. Uzasadnianie należy do LLM, natomiast wszystko, co musi być poprawne, powinno znajdować się w kodzie deterministycznym.

5. Kontekst to nie pamięć

Posiadanie kontekstu nie oznacza, że agent głosowy ma pamięć. W grze są różne rodzaje informacji: co wydarzyło się podczas tej rozmowy, na przykład „użytkownik chce umówić się w piątek”? Co wiadomo o tym dzwoniącym z wcześniejszych interakcji, na przykład „użytkownik zazwyczaj woli popołudnia”? Co agent powinien zawsze mieć pod ręką, na przykład „nasza polityka anulowania to 24 godziny”?

To nie powinno być automatycznie umieszczane w jednym ogromnym poleceniu. Potrzebne są odpowiedzi na dwa pytania: co agent potrzebuje w tym momencie oraz co powinno pozostać po zakończeniu rozmowy? Problem ten staje się coraz ważniejszy w miarę wydłużania się rozmów, ponieważ większa ilość kontekstu nie oznacza lepszego kontekstu. Dostarczenie modelowi mniej, ale bardziej istotnych informacji czasami przynosi lepsze rezultaty. Pamięć nie oznacza przechowywania wszystkiego – oznacza decydowanie, co warto odzyskać we właściwym momencie.

6. Obserwowalność, inaczej tylko zgadywanie

Testy ręczne ukrywają ten problem. Jedna rozmowa wydaje się dobrze przebiegać, następna też. Potem w środowisku produkcyjnym pojawiają się setki rozmów, a ktoś zgłasza, że „agent działał bardzo wolno”. Gdzie? W telefonii, konwerterze mowy na tekst, punkcie końcowym, modelu językowym, wykonywaniu narzędzi, konwerterze tekstu na mowę czy w sieci? Bez rzeczywistej obserwowalności jest to tylko zgadywanie.

Na początku zespół może ocenić agenta, po prostu słuchając rozmów. To pomaga, ale jest kosztowne i nie nadaje się do skalowania, szczególnie gdy ocena wielu rozmów sprawia dodatkowe obciążenie. W końcu konieczny staje się oddzielny panel analityczny, dzięki któremu można dostrzec wzorce bez konieczności ręcznej analizy każdej rozmowy.

Przynajmniej jedna rozmowa powinna być zrozumiała na pierwszy rzut oka:

Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome

Debugowanie całkowicie się zmienia. Zamiast „agent działa powoli” mamy „średni czas generowania pierwszego tokena przez LLM wzrósł z 350 ms do 1,4 s”, a to jest coś, co da się naprawić. Zła decyzja, której nie można przeanalizować, nie może zostać skutecznie poprawiona.

7. Wiedz, kiedy przekazać zadanie

To może być najważniejsza lekcja. Celem nie jest sztuczna inteligencja, która zajmuje się wszystkim. Chodzi o skuteczny system jako całość, a czasami najlepszym rozwiązaniem jest przekazanie zadania człowiekowi. Wyobraź sobie sfrustrowanego klienta, który już trzy razy powtórzył to samo. Zmuszanie sztucznej inteligencji do dalszych prób to nie inteligencja – to zazwyczaj okropne doświadczenie.

Systemy produkcyjne wymagają jasnych granic, na przykład:

Simple request
      ↓
     AI
      ↓
Can AI solve it?
  ↙        ↘
Yes         No
 ↓           ↓
Solve      Fallback
             ↓
       Human / callback

Rozwiązanie awaryjne to nie porażka systemu. To element projektu. Agent produkcyjny nie powinien próbować wygrać każdej rozmowy i musi umieć rozpoznać, kiedy należy ją przekazać innemu.

Niezawodność to kluczowa cecha

Zanim zacznie się jego budowa, głównym wyzwaniem wydaje się sprawienie, by sztuczna inteligencja brzmiała inteligentnie. Później pojawia się lepsze pytanie: jak sprawić, by cały system był na tyle niezawodny, by człowiek mógł mu ufać? To zupełnie inny problem inżynieryjny. Obejmuje on opóźnienia, kolejność przemówień, telefonię, API, awarie, pamięć, możliwość obserwacji i rozwiązania awaryjne, a także LLM, które jest tylko jednym z komponentów.

Zmuszenie agenta głosowego do mówienia jest łatwe. Przeszkodą jest umożliwienie mu przeprowadzenia setek lub tysięcy rzeczywistych rozmów, a rozwiązanie tego problemu nie polega głównie na lepszym promptzie czy inteligentniejszym modelu. Chodzi o inżynierię otaczającą ten model.

Zanim spróbujemy uczynić agenta „mądrzejszym”, należy zwrócić uwagę na te siedem obszarów:

  1. Opóźnienie
  2. Obsługa przerwań
  3. Wiarygodna eksploatacja narzędzi
  4. Deterministyczna logika biznesowa
  5. Kontekst i pamięć
  6. Obserwowalność
  7. Eleganckie rozwiązania awaryjne

Gdy agent trafi do środowiska produkcyjnego, wiarygodność staje się kluczową cechą.