Strona główna / Artykuły

Dlaczego agenci głosowi brzmią jak roboty: łańcuchy procesów, wykrywanie kolejności rozmowy i framework TEN

Dlaczego asystenci głosowi brzmią jak roboty: łańcuchy przetwarzania mowy na tekst, modeli językowych i tekstu na mowę powodują przerwy i nieprzyjemne zakłócenia. Cztery rodzaje asystentów głosowych oraz sposób, w jaki TEN zarządza kolejnościami rozmowy.

Wydawca: REACTAPP.TOP8 min czytania1924 słów

Źródła: Why Your Voice Agent Sounds Like a Robot on Hold and How TEN Fixes It

Większość agentów głosowych, które zachowują się niewłaściwie, nie ma problemu z modelem. Model językowy jest zazwyczaj wystarczająco inteligentny. Problem leży w synchronizacji: agent przerywa osobie, która tylko myśli, milczy przez trzy sekundy po zadaniu pytania lub odmawia przerwania, gdy ktoś mu przerywa. Ten tekst wyjaśnia, dlaczego klasyczny sposób tworzenia agentów głosowych powoduje takie objawy, jakie rodzaje agentów głosowych istnieją oraz w jaki sposób otwarte narzędzie TEN od Agory radzi sobie z problemem synchronizacji.

Co stanowi agenta konwersacyjnego

Termin ten jest używany tak swobodnie, że stracił większość swojego znaczenia, dlatego pomocna jest prosta definicja. Agent konwersacyjny to oprogramowanie, które prowadzi żywą, dwukierunkową rozmowę i rozumie sens wypowiedzi, a nie tylko szuka pasujących słów kluczowych. Słowo „agent” dodaje możliwość działania na podstawie tego zrozumienia: wyszukiwania informacji, rezerwowania spotkania, aktualizowania zgłoszenia lub odpowiadania przy użyciu kontekstu z wcześniejszej części sesji.

Menu telefoniczne, które prosi o naciśnięcie 1 w celu sprawdzenia rachunku, nie należy do tej kategorii. Bot obsługi klienta, który słyszy, że ktoś nie otrzymał zwrotu pieniędzy za zamówienie z zeszłego wtorku, i odpowiada informacją o stanie tego konkretnego zamówienia, jest już bliższy tego ideału. W najlepszym przypadku taki agent spokojnie radzi sobie z przerwami, pamięta kontekst rozmowy, słucha i mówi jednocześnie z rozmówcą oraz odpowiada na tyle szybko, że cisza nigdy nie jest błędnie interpretowana jako awaria. Szybkość i naturalność to dokładnie te aspekty, w których większość systemów zawodzi.

Kaskada i dlaczego jest to niezręczne

Przed pojawieniem się takich frameworków jak TEN, agent głosowy polegał na sekwencyjnym działaniu trzech oddzielnych systemów: konwersji mowy na tekst, modelu językowego oraz konwersji tekstu z powrotem na mowę. Osoba mówi, pierwszy model przekształca dźwięk na transkrypcję, drugi pisze tekstową odpowiedź, a trzeci zamienia tę odpowiedź z powrotem na dźwięk.

Na papierze wygląda to schludnie. W praktyce każdy etap czeka, aż poprzedni całkowicie się zakończy. Transkrypcja nie wysyła żadnych danych, dopóki mówca nie przestanie mówić. Model językowy nie rozpoczyna pracy, dopóki nie nadejdzie cała transkrypcja. Synteza mowy nie zaczyna się, dopóki nie powstanie pełna odpowiedź. Proste rozwiązanie łatwo dodaje od dwóch do czterech sekund ciszy przed tym, jak usłyszy się cokolwiek, a ta cisza jest interpretowana jako błąd.

Domniemywanie, kiedy ktoś skończył

Kaskada nie ma inteligentnego sposobu na określenie, kiedy dana osoba zakończyła mówienie. Opiera się na detekcji aktywności głosowej, która w rzeczywistości tylko nasłuchuje ciszy. Jeśli przerwa przekroczy określony próg, na przykład pół sekundy, system zakłada, że rozmowa się skończyła, i rozpoczyna przetwarzanie. Konsekwencje są znane:

  • Mówca, który robi pauzę w połowie zdania, by pomyśleć, zostaje przerwany przez przedwczesną odpowiedź.
  • Mówca, który chce przerwać agenta, stwierdza, że ten nadal mówi.
  • Wymiana informacji odbywa się strukturalnie na zasadzie kolejnych kroków, podobnie jak pisanie wiadomości na głos.
  • Ponieważ każdy etap realizowany jest przez odrębnego dostawcę, debugowanie wymaga analizy trzech systemów.

Nowsza opcja i jej koszt

Modele przekształcające mowę w mowę przyjmują dźwięk i zwracają dźwięk w jednej operacji. Tak działają GPT-4o Realtime i Gemini Live. Opóźnienie jest mniejsze, ponieważ nie ma tekstu pośredniczącego. Cena zależy od modularności: część odpowiedzialna za rozumowanie nie może być wymieniona niezależnie od funkcji głosowych, filtrów zgodności nie można łatwo wstawić pomiędzy wejście a wyjście, a te zintegrowane modele zazwyczaj słabiej radzą sobie z złożonym rozumowaniem i wykorzystywaniem narzędzi w porównaniu z dedykowanymi modelami językowymi.

Cztery rodzaje agentów głosowych

Zanim wybierzesz framework, przydatne jest ustalenie, jaki rodzaj agenta ma być stworzony, ponieważ każdy z nich odpowiada innym oczekiwaniom użytkowników.

Słuchacz. To model ściśle półduplekstowy, w którym jednocześnie może mówić tylko jedna osoba. Agent czeka na potwierdzenie ciszy, a następnie odpowiada. Tutaj znajdują się klasyczne menu telefoniczne, formularze wypełniane głosem oraz asystenci poleceń, takie jak ustawianie timera. Łatwy do stworzenia, prosty w użyciu i odpowiedni, gdy zadanie ma określoną strukturę. Przestaje być skuteczny, gdy rozmowa staje się bardziej złożona.

Przerywacz. Agenci typu pełny duplex słuchają i mówią jednocześnie oraz radzą sobie z przerwami bez utraty kontekstu. Nawet korekta w trakcie zdania może sprawić, że agent przestanie mówić. Wymaga to inteligentnego wykrywania kolejności wypowiedzi, a nie tylko wykrywania ciszy, i stanowi podstawę dla wszystkich rozwiązań, które mają być naturalne w użytkowaniu.

Specjalista. Agenci multimodalni obsługują wideo, obrazy, dokumenty oraz strumienie danych razem z mową. Przykładami są nauczyciel, który obserwuje ekran, podczas gdy uczeń opisuje kod, asystent medyczny, który analizuje zdjęcia rentgenowskie przy opisywaniu objawów, lub bot do spotkań, który tworzy podsumowanie na żywo. Wymagają one frameworku zdolnego do koordynacji kilku strumieni jednocześnie bez wąskich gardeł.

Współpracownik. Agenci wielostronne uczestniczą w sesjach grupowych: spotkaniach, salach lekcyjnych, grach wieloosobowych, lekcjach językowych z kilkoma uczniami. Potrzebują one diaryzacji mówców, aby wiedzieć, kto mówi, kontekstu dotyczącego każdego mówcy oraz możliwości zwracania się do konkretnych osób. W prostym podejściu jest to niemal niemożliwe, natomiast w frameworku z wbudowanym routowaniem audio w czasie rzeczywistym jest to znacznie łatwiejsze do zrealizowania.

Czym jest TEN

TEN to skrót od Transformative Extensions Network. Jest to framework o otwartym kodzie źródłowym stworzony przez Agorę do obsługi agentów konwersacyjnych w czasie rzeczywistym, wielomodalnych. Mówiąc prościej, jest to środowisko działające pomiędzy modelami AI a użytkownikiem. Koordynuje transmisję danych, kierowanie dźwiękiem pomiędzy modelami oraz stan rozmowy, dzięki czemu nie trzeba niczego budować ręcznie za pomocą kodu pomocniczego.

Framework ten został udostępniony na licencji otwartej w 2024 roku i od tamtej pory jest wykorzystywany do tworzenia towarzyszy AI, tłumaczy, botów obsługi klienta w czasie rzeczywistym oraz narzędzi do podsumowywania spotkań w czasie rzeczywistym. Wersja hostowana, Agora’s Conversational AI Engine, wykorzystuje globalną sieć czasu rzeczywistego zdefiniowaną oprogramowanie firmy, dzięki czemu infrastruktura jest już zarządzana.

Korzystny model mentalny: kaskadowy pipeline oznacza konieczność zarządzania trzema relacjami z dostawcami i liczenie na to, że dane będą przepływać pomiędzy nimi prawidłowo. W przypadku TEN elementy te stanowią rozszerzenia, modułowe i wymienne w ramach jednego grafu, który jest uruchamiany przez framework. Rozszerzenia te pełnią rolę elementów budulcowych. Etapy kaskadowe to oddzielne budynki połączone mostkami.

Co go wyróżnia

Graph uruchamiany równolegle

W kaskadzie każdy etap czeka. TEN uruchamia swój pipeline jako graf skierowany, w którym każde rozszerzenie – czy to transkrypcja, model językowy, synteza czy detekcja głosu – stanowi węzeł. Węzły działają jednocześnie i przekazują częściowe wyniki dalej w miarę ich powstawania. W ten sposób framework ma za zadanie zmniejszyć opóźnienie o 60 do 70 procent w porównaniu z prostszymi rozwiązaniami: rozpoznawanie, generowanie i synteza odbywają się jednocześnie w formie strumieni danych.

Model, który wie, kiedy mówić

TEN dostarcza własny model wykrywania kolejności wypowiedzi, zbudowany na bazie Qwen2.5-7B i przeszkolony do rozpoznawania intencji w rozmowie. Zamiast reagować na ciszę, klasyfikuje każdą wypowiedź jako jedno z trzech stanów:

  • Zakończone. Myśl jest ukończona i oczekuje się odpowiedzi, np. przy prośbie o pomoc z zamówieniem.
  • Czekaj. Osoba poinstruowała agenta, aby nie mówił, np. mówiąc „poczekaj chwilę”.
  • Niezakończone. Nastąpiła pauza, ale ma nastąpić jeszcze coś, więc agent pozostaje cichy.

Rozumienie przyczyny pauzy, a nie tylko jej faktu, odróżnia ten model od metod wykrywania opartych na ciszy. Języki angielski i chiński są obsługiwane w sposób natywny.

Tani filtr przed transkrypcją

Lekki model aktywności głosowej pełni również rolę prefiltru. Zanim dźwięk trafi do usługi konwersji mowy na tekst, usuwa hałasy tła, muzykę, oddech i ciszę. Mniej danych trafia do usługi transkrypcji, co bezpośrednio obniża koszty API. W połączeniu oba te elementy tworzą system dwuwarstwowy: jeden decyduje o tym, czy dochodzi do mówienia, a drugi o tym, czy kolejność mówienia się zakończyła.

Elementy wymienne

Każdy komponent stanowi rozszerzenie. Przejście od jednego dostawcy usług transkrypcji do innego oznacza zmianę jednego takiego rozszerzenia. Porównywanie GPT-4o z DeepSeek na poziomie językowym wymaga wymiany rozszerzeń. Dodanie funkcji wyszukiwania, aby agent mógł korzystać z dokumentów firmy, oznacza włączenie rozszerzenia pamięci. Rozszerzenia niestandardowe można napisać w Pythonie, Go lub C++, a środowisko działania jest dostępne na Windows, Mac, Linux oraz platformach mobilnych.

Wizualny projektant

TMAN Designer to narzędzie wizualne do tworzenia grafów agentów bez konieczności pisania kodu. Rozszerzenia są przeciągane, łączone i konfigurowane za pośrednictwem interfejsu, a powstały graf można przejrzeć przed wdrożeniem. Dzięki temu zasięg jego zastosowania wykracza poza inżynierów backendu, ponieważ zespoły produktowe mogą tworzyć prototypy konfiguracji i je przekazywać dalej.

Krawędź i chmura razem

Rozszerzenia mogą działać na urządzeniu znajdującym się blisko użytkownika, w chmurze lub w połączeniu obu tych rozwiązań. Zadania wrażliwe na opóźnienia pozostają na krawędzi, natomiast złożone obliczenia są przetwarzane w chmurze. Zrównoważenie kosztów i szybkości staje się kwestią zmiany konfiguracji, a nie przepisywania kodu.

Globalna sieć w tle

Dzięki hostowanemu silnikowi agent ma dostęp do sieci Agory w czasie rzeczywistym, która dynamicznie kieruje dźwiękiem, radzi sobie z utratą pakietów i utrzymuje niską opóźnioność w różnych regionach. Ta sama infrastruktura obsługuje duże ilości zwykłych rozmów audio i wideo, dzięki czemu agent dobrze funkcjonuje w rzeczywistych warunkach sieciowych, a nie tylko w spokojnym środowisku demonstracyjnym.

Kiedy to działa, a kiedy nie

TEN jest odpowiedni, gdy celem jest naturalna rozmowa w czasie rzeczywistym, a nie serię pytań i odpowiedzi, gdy dostawcy LLM, transkrypcji i syntezy powinni być swobodnie łączeni, gdy doświadczenie ma charakter multimodalny, gdy potrzebna jest skalowalność na poziomie globalnym bez konieczności budowy infrastruktury WebRTC, oraz gdy obsługa przerw nie może sprawiać wrażenia nieprawidłowej. Typowymi zastosowaniami są towarzysze AI, nauczyciele na żywo, zaawansowana obsługa klienta oraz narzędzia do współpracy w spotkaniach.

Alternatywy są lepsze w trzech przypadkach. Jeśli absolutnie najniższy opóźnienie ma większe znaczenie niż modułowość, lepszym wyborem jest model przekładający mowę na mowę. Jeśli przypadkiem użycia jest prosta komenda i odpowiedź bez przerw, wystarczy podstawowa kaskada. A jeśli zgodnie z wymogami każdy wprowadzony dźwięk musi być transkrybowany i przechowywany na każdym etapie, system kaskadowy z wyraźnymi granicami tekstu jest łatwiejszy do weryfikacji.

Detekcja zmiany strony jest produktem

Główną lekcją po przestudiowaniu tego wszystkiego jest to, że większość problemów z jakością głosu nie wynika z problemów modelu językowego. Pojawiają się one na skrajach: zbyt wczesne przerwanie rozmówcy, brak zauważenia, że ten nadal mówi, lub kontynuowanie mówienia po przerwaniu. Graf i hybrydowe rozwiązania są ważne, ale najważniejszym elementem może być dedykowany model wykrywania kolejności mówienia, stworzony specjalnie do rozwiązania tego problemu, który decyduje o tym, czy rozmowa z maszyną wydaje się naturalna. Wszystko inne można dostosować. Jeśli agent nie wie, kiedy przestać mówić, nic innego nie ma znaczenia.

To narzędzie jest otwartym oprogramowaniem pod licencją MIT, uruchamia się z kontenera Docker w ciągu kilku minut i zawiera działający przykładowy agent, który warto uruchomić przed napisaniem jakiegokolwiek kodu dostosowanego pod potrzeby. Najlepszym agentem głosowym jest ten, którego architektura jest tak dobrze zaprojektowana, że użytkownik o niej zapomina, ponieważ rozmowa po prostu przebiega sprawnie.