Галоўная / Артыкулы

Сем прадакшн-урокаў для надзейнага галасавога AI-агента

Затрымка, перапыненні, сцэнарыі збояў інструментаў, бізнес-логіка па-за промптам, памяць, назіральнасць і перадача чалавеку: што патрэбна галасаваму агенту пры маштабе.

Выдавец: REACTAPP.TOP7 хв чытання1580 слоў

Крыніцы: 7 Things I Wish I Knew Before Building a Production Voice Agent

Здзівляюча прытамо, стварыць агента на голасныя комунікацыі ўсё ж такі легка. Прыяўнае з’ѐеднанне, пераклад мовы з голасу ў тэкст, LLM, пераклад тэксту ў голас і калькі інструментаў — і такі агент можа весты размову. Асалоджаныя проблемы пачынаюцься тады, калі пачынаюць дзваніць незнайомцы.

У агенце, які ў рэальных умовах прыймае сотні дзвонакоў на дзень, з’яўляюцца проблемы, якіх немагчыма пазнакоміцца пад час дэманстрацыі. Абояўцы перарываюць і гаворзяць праз агента, у яных ёсць акценты, якія ніхто не тэставаў, API сповалкаюцься, LLM выбірае неправільную дзеянне, а інструменты перастаюць працаваць у серэдзіне размовы. Дажынкі на секунду-две, якія здаваліся незначнымі пад час розработы, раптам робяць агента неканэктывным. Для тых, хто збіраецца стварыць такога агента, важлівы сем прыкладоў.

1. Затрымка — гэта весь апыт

Гэта, верагаце, найважнейшы урок. У звычным додатку запіт, які віконуецца за секунду-две, ўсё ж прыйнятны. У уснай розмове сітуацыя здаецца абсолютна іншай. Уявіце сабе, калі абонент просіць забронюваць встрэчу на завтра, але не чуе жоднай адказы. Одна секунда, две, тры… До тэ часу абонент вучыцца, чыі-небудзь ўсё ж чуў яго.

Агент голасовага адпаведзення включае кілька етапаў, кожны з якіх дадае затрымку:

Абонент → Тэлефонія → STT → LLM → TTS → Абонент

Абоненты відчуваюць загальную затрымку, але ніколі не бачаць часткі кожнага з компонентов. Напрыклад, Vapi опісвае затрымку перадачы голасу як суму часу на транспортуванне, апрацоўку канцэнтраў, транскрыпцыю, адказ мадэлі і сінтэзу мовы.

Гэта змінюе спосаб выбору модэляў. Найбольш супэльны модэль не завжды ўзьмецца за найкрашчы для працы з голасам, а трохі слабейшы модэль, які адпавядае быстрэй, часта дае набліжна лепшую розмову. Агенты на голасавай базе должны быць налаштованы па часу да першага слова, а не толькі па інтэлектуальных характэрыстыках модэля.

Стрымаванне таксама мае вельмі важлівую ролю. Неправільны прабег задачы вымагае чакання, пакуль не завершыцца кожны етап:

STT завершыцца → LLM завершыцца → TTS завершыцца → аудыя запускаецца

Лепшы прабег дозволяе ўсі этапы вестыся одночасна:

STT стрымуецца → LLM стрымуецца → TTS стрымуецца → аудыя пачынае воспроіцанне

Мета — стварыць вражанне розмовы, а не ланцюга вызоў API.

2. Перарывы ёсць нормальнымі

Здаецца, што самая складная частка — гэта калі LLM павінен прабавацца напісаць хорашыя адказы. Але гэта не так. Справжня складна частка — гэта нормальна праца, калі адзваны не дазволяе працаваць за сценарыем. Рэальныя адзваныя перакрываюць ўсё фразамі на кшталт „Так, але чакай“, „Няма, не гэта“ або „У працоўні, чаму бы не у пятніцу?“

Агент, які керуе працэю, павінен зразумець, што адзваныя пачалі гаварыць, і ў правы момент зупініць свой власны аудыя. Для гэтага трэба:

  • Выкананне дытэкціі актывацыі голасу, або VAD, каб выявіць мовленне
  • Выбіранне моменту, калі адзваныя заканчыла гаварыць
  • Выявленне перакрыцення мовлення пад час розмовы агента
  • Контроль таго, хто зараз мае право гаварыць
  • Разумна буферавання аудыя
  • Зупінка сінтэзу мовлення і яго чыстая перакінанне

Сэрвісы голасовай свяронкі зараз апраноюць спецыяльныя засобы кантролю для гэтага, адказнае часаванне можа змусіць хутрага працаваючага агента пачуцца жахліва. Баланс тут чутлівы: адказнае выкрычванне перадмерна чутлівага дазволяе фонавым шумам перарваць агента, тады як перадмерна канзерватывая адказнае выкрычванне змушвае агента гаварыць перад тым, хто званае.

Натуральная розмова залежыць ад ведома, калі гаварыць, а калі мовчаць, а не толькі ад таго, што кажуцца.

3. Кожны інструмент патрэбуе механізма для адзінакоў.

Рэдкая голасовая агента існуе толькі для таго, каб гаварыла. Раней чым пазней яй трэба дзеяць: пераканацься ў часе апынку, знайсці замовленне, апдэйтаваць даныя в CRM, заброніраваць зустрэч, апрацаваць падтверджэнне. Сюды і входзіць вызов функцый, і архітэктура стае такой:

У такім случае агент перастае быць простаю проблемай ШЫ і стае проблемай распрацоўкі даступных сістэм. Сказаўм, абяцаннік прасіць про час завтра о 16:00. LLM вызывае checkAvailability(), API працуе два секунды, пасля чаго API для бронів выканаеся неудачна, але агент все равно павінен паведаміць абяцанніку, што сталося. Вызванне асключэння і завершэнне запіту не ўзьмецца пад увагу. Агент павінен вярнуць ся да розмовы. У замяну на простае „ERROR 500“ патрэбныя фразы на кшталт „Эты час у даній момант немагчыма пераканаліць. Хочаце спробаваць іншы час?“

Każны інструмент, які можа вызваць агент, патрэбуе шляху для развароту у случаю неудачы. Дастаткова толькі спроекаваць шлях до успеху ад запіту, недастаткова. Праектаванне должна пакрываць успех, прахід часу, некарэктны ввод, неудачу API, частковую неудачу, павторную спробу і альтэратыўны варыант.

4. Не включаць правілы бізнесу ў запіт

Іншая пастка — гэта постаўляючыся ў велічыну сістэмны запрос. Ён пачынаецца з такога правіла, як «калі корыстувач кажа X, то трэба зрабіць Y», пасля чаго дадаюцца умовы на кшталт «але калі X прыходзіць пасля Y, то трэба зрабіць Z», а потым «як толькі пытанне не стосуецца...». Няваткоў часу запрос дыяжыць 5 000 слоў і ў сабе мае палову логікі працы прыкладнага програма. Ён працуе, пакуль не перэстане.

Запрос павінен включаць інформацыю пра ролю або ідэнтычнасьць, стыль і прынцыпы камунікацыі, межы і правіла, поведзенне пад час размовы, калі вікорыстоўваць інструменты і якія даны збіраты. Дэтэрміністычныя бізнес-правіла патрабуюцься ў самай прыкладнай програме. Напрыклад, можна лічыцца на тое, што запіс на прыемку можа быць здабыты, толькі калі гэта не будзе абсалютна залежаць ад LLM. Рашэнне павінен прымець бэкенд.

LLM
 ↓
checkAvailability()
 ↓
Backend validates availability
 ↓
Booking API
 ↓
Result returned to agent

LLM выбірае які дзеянні спробаваць, а прыкладна програма вяршыць выбор, чы рэгулярныя гэтыя дзеянні. Разумаванне адносіцца да LLM, а все, што павінна быць правільным, — да дэтэрміністычнага коду.

5. Кантэкст — гэта не памяць

Наявнасць кантэксту не значыць, што вокальны агент мае памяць. У гэтым працэсе беруць удзел разныя віды інфармацыі. Што адбылася пад час гэтага календара, напрыклад, "пользоватэль хочаць планаванне на пятніца"? Што вядома пра гэтаго абонента з пакульшых взаімадзеянняў, напрыклад, "пользоватэль зазвычай вяршыць выбор на апоўдні"? Што агент павінен завжды мець пад рукою, напрыклад, "наша політыка анулявання — 24 гадзіны"?

Іх не трэба апошнаваць сама сабой у ўжоўдзеньны запіт. Патрэбны адказы на два пытанні: што агенту трэба зараз і што павінна застацца пасля завершэння календара? Гэта становіцься ўсё важлівейшым, калі розмовы падаюць у дужэй шырокія, адколі больш кантэксту не значыць лепшы кантэкст. Часам даўленне модэлю менш, але болей рэлевантных дакументаў даёт лепшыя рэзультаты. Памяць не значыць зберагчы все. Гэта значыць выбіраць, што варта адзначыць у правы момант.

6. Возможнасць спостэрэння, іначы вы толькі здагадваецеся

Ручныя тэсты маскуюць гэтую проблему. Адна календар выглядае добра, наступная таксама. А потым у працэўным рэжыме з’являюцца сотні календароў, і хтось абвешчае, што „агент працаваў дужа медленна“. Дзе? У тэлефаніі, STT, аператывных точках, LLM, выкананні інструментаў, TTS чы ў сетцы? Без рэальнай можлівасці спостэрэння гэта толькі здагадкі.

У пачатковым етапах команда можа ацэніць агента, проста паслухаючы каліткі. Гэта дапамагае, але ўсё ж ёсць дорогім і не падходзіць для масштабавання, особліва калі неабходна ацэнка большага чысла калітак. У канцыкавіну стае неабходныя окалечная панель назірнасці, каб можна было выявіць патэрны без неабходнасці ручнага аналізу кожнай беседы.

Як мінімум, адна калітка должна быць зрозумелай за адну мінуту:

Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome

Працэс адміністрування зменяецца цалкам. Фраза «Агент работаў медленна» ператвараецца на «Серэдні час адпаведзь AI да першага токена зрас з 350 мс да 1,4 с», і гэта тое, што можна вылечыць. Неправільныя рашэння, якія немагчыма пераглядзець, не можна надзейвана паспрабаваць паправіць.

7. Знаеце, калі трэба перадаць задачу

Гэта можа быць найважлівейшы урок. Мета — не AI, якае рашае усё; мета — успешная цэлая сістэма, і інодзе найкрашчы выбар — перадача задачы чалавеку. Уявіце разчароўанага кліента, які ужо тры разы павтарыў свае запітанні. Змусэнне AI продаважваць прабаваць — гэта не інтэлігенція; зазвычай гэта стварае жахлівы досвід.

Сістэмы для працы трэбуе чыстых меж, напрыклад:

Simple request
      ↓
     AI
      ↓
Can AI solve it?
  ↙        ↘
Yes         No
 ↓           ↓
Solve      Fallback
             ↓
       Human / callback

Альтэрнатыўны варыант — гэта не абвалка сістэмы. Гэта частка яе праектавання. Агент для практычнага выкарыстоўвання не павінен прабаваць выграць кожную розмову, і ён павінен разумець, калі трэба яе перадаць іншаму.

Надзеямасць — гэта ключовая характарыстыка

Перш чым ствараць такі агент, галоўныя вызыкі — гэта стварэнне атмасферы інтэлігентнасці у працы ШЫ. Пасля чаго выйшае іншы, болей важлівы вопыт: як зробіць цэлую сістэму настолькі надзеямасцю, каб людзі моглі ёй даваць довер'е? Гэта аблічны інжынерны задача. Яна включае затрымкі, алгорытмы перабірання ролей, тэлефанію, API-інтарфейсы, абвалкі, памяць, можлівасці стэрагавання і альтэрнатыўныя рашэнні, а таксама LLM, які ёсць лішней часткаю ціяўной структуры.

Змусіць голасовага агента гаварыць — гэта проста. Але пераканаць яго працаваць праз сотні чы то тыясячы рэальных розмов — гэта іншы вызык, і прычына гэтага не ў крашчых запітах чы розумнейшых мадэлях. Гэта інжынерныя рашэнні, якія ствараюць адпаведную суперфісу для модэлі.

Перш чым прагнуць зробіць агента „больш розумным“, варта ўвагі гэтая семь направаў:

  1. Затрымка
  2. Обработка перарываў
  3. Надзеянае выкананне інструментаў
  4. Дэтэрміністычная бізнес-логіка
  5. Кантэкст і памяць
  6. Возможнасць абзору
  7. Эфектывныя альтэрнатыўныя рашэння

Калі агент пачынае працаваць у рэальных умовах, надзеянасць становіцца галоўным прызнакам.