Семь уроков из практики для создания надежного голосового ИИ-агента
Задержки, перебои, сценарии сбоев инструментов, бизнес-логика вне запроса, память, возможности мониторинга и передача задач человеку: что необходимо голосовому агенту в масштабном использовании.
Источники: 7 Things I Wish I Knew Before Building a Production Voice Agent
Заставить голосового агента разговаривать на удивление просто. Подключите телефонию, функцию преобразования речи в текст, большую языковую модель, функцию преобразования текста в речь и несколько инструментов — и результатом будет возможность вести диалог. Настоящая работа начинается тогда, когда начинают звонить незнакомцы.
У производственного агента, принимающего сотни звонков в день, возникают проблемы, которые никогда не проявляются в демо-версии. Звонящие прерывают агента и говорят поверх него. У них акценты, которые никто не тестировал. API замедляют работу. Большая языковая модель выбирает неверные действия. Вызов инструмента прерывается посреди разговора. А задержка в одну-две секунды, которая казалась незначительной на этапе разработки, вдруг делает агента неработоспособным. Для тех, кто собирается создавать подобный агент, выделяются семь важных уроков.
1. Задержка — это всё в этом опыте
Это, вероятно, самый важный урок. В обычном приложении задержка в одну-две секунды считается допустимой. Однако в устной беседе ситуация совершенно иная. Представьте, что звонящий просит запланировать встречу на завтра, но не получает никакой реакции. Одна секунда, две, три. К тому моменту звонящий уже задается вопросом, слышал ли кто-нибудь его.
Голосовой агент включает в себя несколько этапов, каждый из которых добавляет задержку:
Звонящий → Телефония → STT → LLM → TTS → Звонящий
Звонящие ощущают общую задержку и не видят доли времени, затрачиваемой отдельными компонентами. Например, Vapi описывает задержку при передаче голоса как сумму времени на передачу данных, обработку на конечных точках, транскрипцию, ответ модели и синтез речи.
Это меняет подход к выбору моделей. Самая мощная модель не обязательно лучше всего подходит для голосового взаимодействия, а немного слабее модель, отвечающая быстрее, часто обеспечивает гораздо более качественный диалог. Агенты голосового взаимодействия должны настраиваться с учётом времени до первого слова, а не только с учётом общей интеллектуальности модели.
Очень важна также технология потоковой обработки. При неправильном подходе приходится ждать завершения каждого этапа:
Завершение STT → Завершение LLM → Завершение TTS → Воспроизведение аудио
При более эффективном подходе этапы выполняются одновременно:
Поток STT → Поток LLM → Поток TTS → Начало воспроизведения аудио
Цель — создать ощущение диалога, а не последовательности вызовов API.
2. Перебивания — это нормально
Как считается, сложной частью является заставить большую языковую модель писать хорошие ответы. На самом деле это не так. Настоящая сложность заключается в естественном ведении разговора, когда человек не следует заранее подготовленному сценарию. На самом деле звонящие перебивают, говоря что-то вроде «Да, но подождите», «Нет, не это» или «Вообще-то, можно ли сделать в пятницу?»
Агент, обрабатывающий звонки, должен заметить, что звонящий начал говорить, и в нужный момент остановить собственную аудиозапись. Для этого требуется:
- Обнаружение речевой активности, или VAD, для выявления речи
- Определение момента окончания разговора звонящим
- Обнаружение перебивания во время разговора агента
- Контроль за тем, кто сейчас говорит
- Разумное хранение аудиоданных в буфере
- Полное прекращение синтеза речи и его чистое возобновление
Современные платформы голосового общения предоставляют специальные средства управления для этой цели, поскольку неправильный момент начала разговора может сделать даже умного агента неэффективным. Баланс здесь крайне тонкий: слишком чувствительный детектор прерываний позволяет фоновому шуму мешать агенту, в то время как слишком консервативный детектор заставляет агента говорить поверх звука звонящего.
Природный диалог зависит от умения определять, когда говорить, а когда молчать, а не только от сказанного.
3. Каждый инструмент должен иметь механизм обработки сбоев
Голосовые агенты редко существуют только для того, чтобы разговаривать. Рано или поздно им необходимо действовать: проверять записи встреч, находить заказы, обновлять данные в CRM, бронировать встречи, отправлять подтверждения. Именно здесь вступает в игру вызов функций, и архитектура становится примерно такой:
В этот момент агент перестаёт быть просто проблемой ИИ и становится проблемой распределённых систем. Предположим, звонящий просит время на завтра в 16:00. LLM вызывает функцию checkAvailability(); API обрабатывает запрос за две секунды, затем API бронирования выдаёт ошибку, но агент всё равно должен сообщить звонящему, что произошло. Вызов исключения и прекращение обработки запроса не являются вариантом — агент должен восстановить ситуацию в ходе разговора. Вместо простого сообщения «ОШИБКА 500» необходимо использовать формулировку вроде «В настоящее время невозможно проверить это время. Хотите попробовать в другое время?»
Каждый инструмент, который может вызываться агентом, должен иметь механизм обработки сбоев. Недостаточно проектировать только успешный путь от запроса до результата — конструкция должна учитывать ситуации успеха, истечения времени ожидания, некорректных данных, сбоев API, частичных сбоев, возможность повторной попытки и использование альтернативных решений.
4. Избегайте включения бизнес-правил в промпт
Ещё одна ловушка — постоянно увеличивающийся системный промпт. Он начинается с правила вроде «если пользователь говорит X, делай Y», затем добавляются условия вроде «но если X следует за Y, делай Z», а потом «если только вопрос не касается...». Вскоре промпт длиной 5000 слов содержит половину бизнес-логики приложения. Такой подход работает до тех пор, пока не перестаёт.
Промпт должен описывать роль или идентичность, стиль и принципы общения, границы и ограничения, поведение во время разговора, когда использовать инструменты и какую информацию собирать. Детерминистические бизнес-правила должны находиться в самом приложении. Например, решение о возможности бронирования встречи не должно полностью зависеть от ЯИ. Решение должен принимать бэкенд:
LLM
↓
checkAvailability()
↓
Backend validates availability
↓
Booking API
↓
Result returned to agent
LLM выбирает какое действие предпринять, а приложение определяет является ли это действие допустимым. Расчеты выполняет LLM, а всё, что должно быть точным, — это детерминистический код.
5. Контекст — это не память
Наличие контекста не означает, что у голосового агента есть память. Здесь задействованы различные виды информации: что произошло в ходе этого звонка, например «пользователь хочет назначить встречу на пятницу»? Что известно о данном звонящем из предыдущих взаимодействий, например «пользователь обычно предпочитает послеобеденное время»? Что агент должен всегда иметь под рукой, например «наша политика отмены — 24 часа»?
Эти элементы не следует автоматически объединять в один огромный запрос. Необходимо ответить на два вопроса: что сейчас нужно агенту и что должно сохраниться после окончания разговора? Это становится всё более важным по мере увеличения длительности разговоров, поскольку больше контекста не обязательно означает лучший контекст. Иногда предоставление модели меньшего количества, но более релевантной информации даёт лучшие результаты. Память не означает хранение всего — это значит решать, что стоит восстановить в нужный момент.
6. Возможность наблюдения, иначе приходится догадываться
Ручные тесты скрывают эту проблему. Один разговор проходит хорошо, следующий тоже. Затем в режиме производства появляются сотни разговоров, и кто-то сообщает, что «агент работал очень медленно». Где проблема: в телефонии, системе распознавания речи, обработке концовых точек, самом большом языковом модели, выполнении инструментов, системе синтеза речи или в сети? Без настоящей возможности наблюдения всё сводится к догадкам.
В начальной стадии команда может оценить агента, просто прослушав звонки. Это помогает, но является дорогостоящим и неэффективным в масштабе, особенно когда необходимо проводить оценку большого количества звонков. В конечном итоге возникает необходимость в отдельной панели управления наблюдаемостью, чтобы можно было выявлять закономерности без необходимости вручную анализировать каждый разговор.
Как минимум, один звонок должен быть понятен с первого взгляда:
Call ID
├── duration
├── transcript
├── latency per turn
├── STT latency
├── LLM latency
├── TTS latency
├── tool calls
├── tool failures
├── interruptions
├── errors
└── final outcome
Отладка кардинально меняется. Фраза «Агент работает медленно» превращается в «Среднее время генерации первого токена у LLM выросло с 350 мс до 1,4 с», и это то, что можно исправить. Плохое решение, которое невозможно проанализировать, нельзя надёжно улучшить.
7. Знайте, когда передавать задачу
Возможно, это самый важный урок. Цель — не создание ИИ, который справляется со всем, а успешная работа всей системы в целом, и иногда лучшим решением является передача задачи человеку. Представьте раздражённого клиента, который уже трижды повторил свою просьбу. Попытки заставить ИИ продолжать попытки — это не проявление интеллекта; обычно это приводит к ужасному опыту.
В производственных системах необходимы чёткие границы, например:
Simple request
↓
AI
↓
Can AI solve it?
↙ ↘
Yes No
↓ ↓
Solve Fallback
↓
Human / callback
Функция восстановления — это не сбой системы. Это часть дизайна. Продакшн-агент не должен пытаться выиграть каждый диалог и должен уметь определять, когда его нужно передать другому.
Надежность — это ключевая характеристика
Перед созданием такого агента основной задачей кажется сделать ИИ похожим на умного. Однако затем возникает более важный вопрос: как сделать всю систему достаточно надежной, чтобы человек мог ей доверять? Это уже другая инженерная проблема. Она включает в себя задержки, порядок общения, телефонию, API, сбои, память, возможность наблюдения и механизмы восстановления, а также сам LLM, который является лишь одним из компонентов.
Заставить голосового агента говорить легко. Но пройти с ним сотни или тысячи реальных диалогов — это уже другая задача, и причина проблемы не в лучшем запросе или более умном модели. Проблема заключается в инженерных решениях, обеспечивающих работу модели.
Прежде чем пытаться сделать агента «более умным», следует уделить внимание этим семи аспектам:
- Задержка
- Обработка сбоев
- Надежная работа инструментов
- Детерминистическая бизнес-логика
- Контекст и память
- Наблюдаемость
- Эффективные резервные решения
Как только агент запускается в производстве, надежность становится ключевой характеристикой.