Головна / Статті

Сім уроків з практики для створення надійного віртуального AI-агента.

Затримки, перерви, можливі проблеми з інструментами, бізнес-логіка поза межами запиту, пам’ять, можливість спостереження та передача обов’язків людині: що потрібно віртуальному агенту у масштабному використанні.

Видавець: REACTAPP.TOP7 хв читання1580 слів

Джерела: 7 Things I Wish I Knew Before Building a Production Voice Agent

Здивувально просто змусити віртуального агента розмовляти. Під’єднайте телефонію, систему перекладу мовлення у текст, ШІ, систему перекладу тексту у мовлення та кілька інструментів — і результатом може стати розмова. Справжня робота починається тоді, коли починають дзвонити незнайомці.

У продакшн-версії агента, який приймає сотні дзвінків на день, з’являються проблеми, яких немає у демо-версії. Абоненти переривають та говорять поверх агента. У них є акценти, які ніхто не тестував. API сповільнюються. ШІ обирає неправильні дії. Виклик інструменту завершується посеред розмови. А затримка в одну-дві секунди, яка здавалася незначною під час розробки, раптово робить агента некоректним у функціонуванні. Є сім важливих уроків для тих, хто збирається створювати такий агент.

1. Затримка — це вся сутність досвіду

Це, мабуть, найважливіший урок. У звичайному додатку затримка у одну-дві секунди є прийнятною. У усній розмові все виглядає зовсім інакше. Уявіть, що абонент просить забронювати зустріч на завтра, а потім не чує жодної відповіді. Одна секунда, дві, три. До цього часу абонент вже замислюється, чи хтось узагалі почув його.

Віртуальний оператор обробки дзвінків поєднує кілька етапів, кожен з яких додає затримку:

Абонент → Телефонія → STT → LLM → TTS → Абонент

Абоненти відчувають загальну затримку та ніколи не бачать частку окремого компонента. Наприклад, Vapi описує затримку при передачі голосу як суму часу на транспортування, обробку кінцевих точок, транскрипцію, відповідь моделі та синтез мовлення.

Це змінює підхід до вибору моделей. Найсильніша модель не обов’язково є найкращою для роботи з голосом, а трохи слабша модель, яка відповідає швидше, часто забезпечує набагато кращу розмову. Агенти голосового зв’язку слід налаштовувати з урахуванням часу до першого слова, а не лише рівня інтелекту моделі.

Стрімінг також має величезне значення. Неправильний підхід передбачає очікування завершення кожного етапу:

STT завершується → LLM завершується → TTS завершується → аудіо починається

Кращий підхід передбачає одночасну роботу всіх етапів:

STT стрімується → LLM стрімується → TTS стрімується → аудіо починає відтворюватися

Мета — створити враження розмови, а не послідовності API-запитів.

2. Переривання є нормальними

Вважається, що складною є задача змусити ШІ-модель писати гарні відповіді. Але це не так. Справжня складність полягає у природній комунікації, коли співрозмовник не дотримується сценарію. Справжні абоненти перебивають, кажучи щось на кшталт „Так, але зачекайте“, „Ні, не цей варіант“ чи „Власне, чи можемо ми зробити це у п’ятницю?“

Агент системи має помічати, що абонент почав говорити, та у правильний момент зупинити власний аудіо-сигнал. Це вимагає:

  • виявлення активності голосу, або VAD, для розпізнавання мовлення
  • визначення моменту завершення розмови абонентом
  • розпізнавання перебивань під час розмови агента
  • контролю за тим, хто має слово
  • розумного буферування аудіо
  • припинення синтезу мовлення та його чистого відновлення

Платформи для голосового спілкування тепер мають спеціальні засоби керування для цього, адже поганий момент для втручання може зробити навіть розумного агента нещасним. Баланс тут дуже делікатний. Система виявлення переривань, яка є занадто чутливою, дозволяє фоновому шуму переривати агента, тоді як система, що є занадто консервативною, змушує агента говорити перекриваючи голос абонента.

Природна розмова залежить від уміння визначати, коли говорити, а коли мовчати, а не лише від того, що кажеться.

3. Кожен інструмент потребує механізму вирішення проблем

Рідко трапляється, щоб голосовий агент існував лише для розмов. Рано чи пізно йому доводиться діяти: перевірити запис про зустріч, знайти замовлення, оновити інформацію в CRM, забронювати зустріч, надіслати підтвердження. Саме тут використовуються функції виклику, і архітектура стає приблизно такою:

У цей момент агент перестає бути лише проблемою ШІ та стає проблемою розподілених систем. Припустимо, абонент просить час на завтра о 16:00. LLM викликає checkAvailability(), API обробляє запит протягом двох секунд, потім API бронювання зазнає невдачі, але агент все одно мусить повідомити абонента про те, що сталося. Винесення винятку та завершення запиту не є варіантом. Агент повинен відновити розмову. Замість простого „ERROR 500“ потрібні формулювання на кшталт „Цей час наразі неможливо перевірити. Хочете спробувати інший раз?“

Кожен інструмент, який може викликати агент, має шлях на випадок невдачі. Недостатньо проектувати лише шлях успішного виконання запиту. Дизайн має охоплювати ситуації успіху, тайм-ауту, недійсних даних введення, невдач API, часткових невдач, повторних спроб та альтернативні рішення.

4. Не включайте бізнес-правила до запиту

Ще одна пастка — це постійно зростаючий системний запит. Він починається з правила на кшталт „якщо користувач каже X, робити Y“, потім додається „але якщо X йде після Y, робити Z“, а потім ще „якщо тільки питання не стосується...“. Незабаром запит довжиною 5 000 слів містить половину бізнес-логіки додатку. Це працює, поки не перестане.

Запит має охоплювати роль чи ідентичність, стиль та принципи комунікації, межі та обмеження, поведінку під час розмови, коли використовувати інструменти та яку інформацію збирати. Детерміновані бізнес-правила мають знаходитися в самому додатку. Наприклад, можливість бронювання зустрічі не повинна залежати виключно від ШІ. Рішення має приймати бекенд:

LLM
 ↓
checkAvailability()
 ↓
Backend validates availability
 ↓
Booking API
 ↓
Result returned to agent

LLM вибирає яку дію спробувати, а додаток вирішує чи є ця дія дійсною. Міркування належать до обов’язків LLM, а все, що має бути точним, — до детермінованого коду.

5. Контекст — це не пам’ять

Наявність контексту не означає, що віртуальний агент має пам’ять. Діють кілька видів інформації. Що сталось під час цього дзвінка, наприклад „користувач хоче призначити зустріч у п’ятницю“? Що відомо про цього абонента з попередніх взаємодій, наприклад „користувач зазвичай віддає перевагу післяобідньому часу“? Що агент завжди має мати під рукою, наприклад „наша політика скасування — 24 години“?

Їх не варто автоматично об’єднувати в один величезний запит. Потрібні відповіді на два запитання: що потрібно агенту прямо зараз та що має зберігатися після завершення дзвінка? Це стає все важливішим у міру подовження розмов, адже більше контексту не означає кращого контексту. Іноді надання моделі меншої, але більш релевантної інформації дає кращі результати. Пам’ять — це не зберігання всього; це вміння вирішувати, що варто отримати у правильний момент.

6. Спостережуваність, інакше доводиться здогадуватися

Ручні тести приховують цю проблему. Один дзвінок здається гарним, наступний — також. А потім у продакшені з’являються сотні дзвінків, і хтось повідомляє, що „агент працював дуже повільно“. Де саме? У телефонії, STT, обробці кінцевих точок, LLM, виконанні інструментів, TTS чи мережі? Без справжньої спостережуваності це лише здогадки.

На початковому етапі команда може оцінити агента, просто прослухавши дзвінки. Це допомагає, але є дорогим та не підходить для масштабування, особливо коли кількість оцінок зростає через велику кількість дзвінків. Зрештою стає необхідним окремий панель керування для спостереження, щоб можна було виявити закономірності без необхідності вручну переглядати кожну розмову.

Як мінімум, один дзвінок має бути зрозумілим за один погляд:

Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome

Процес відлову помилок кардинально змінюється. Фраза «Агент працює повільно» перетворюється на «Середній час отримання першого токена LLM зріс з 350 мс до 1,4 с», і це щось, що можна виправити. Погане рішення, яке неможливо перевірити, не може бути надійно покращене.

7. Знайте, коли передати завдання

Це, можливо, найважливіший урок. Метою не є створення ШІ, яке б вирішувало усе. Метою є успішна загальна система, і іноді найкращим кроком є передача завдання людині. Уявіть розчарованого клієнта, який вже тричі повторив свою проблему. Змушувати ШІ продовжувати спроби — це не прояв інтелекту. Це зазвичай жахливий досвід.

Системи в промисловому використанні потребують чітких меж, наприклад:

Simple request
      ↓
     AI
      ↓
Can AI solve it?
  ↙        ↘
Yes         No
 ↓           ↓
Solve      Fallback
             ↓
       Human / callback

Функція відновлення роботи — це не ознака збою системи. Це частина її проектування. Продакшн-агент не повинен намагатися виграти кожну розмову, а має розуміти, коли потрібно передати її іншій стороні.

Надійність — це ключова характеристика

Перед створенням такого агента основною проблемою здається те, щоб ШІ звучав інтелектуально. Після цього виникає краще запитання: як зробити всю систему достатньо надійною, щоб людина могла їй довіряти? Це інша інженерна проблема. Вона охоплює затримки, чергування учасників розмови, телефонні з’єднання, API, збої, пам’ять, можливість спостереження та функції відновлення, а також LLM, який є лише одним з компонентів.

Змусити голосового агента говорити — це просто. Проте пройти через сотні чи тисячі реальних розмов — це інша проблема, і причина цього полягає не стільки у кращому запиті чи розумнішій моделі, скільки у інженерних рішеннях, які оточують модель.

Перш ніж намагатися зробити агента „розумнішим“, варто зосередитися на цих семи аспектах:

  1. Затримка
  2. Обробка переривань
  3. Надійна виконуваність інструментів
  4. Детерміністична бізнес-логіка
  5. Контекст та пам’ять
  6. Спостережуваність
  7. Ефективні альтернативні рішення

Як тільки агент потрапляє у продакшн, надійність стає ключовою характеристикою.