Как создать ИИ-голосового агента в 2026 году: архитектура и структура системы
Как создать голосового агента ИИ в 2026 году: каскадные, полукаскадные и модели голос-к-голосу, пятиуровневая архитектура, работа с задержками, тестирование, соответствие стандартам и затраты.
Источники: How to Build an AI Voice Agent in 2026: Architecture & Stack
Агент на основе ИИ отвечает на телефонные звонки, понимает по естественной речи, чего хочет звонящий, и либо отвечает, либо предпринимает действие, при этом не требуется использование меню с номерными опциями. Для реализации этого сотрудничают три компонента: модель, которая транскрибирует аудио звонящего, большая языковая модель, которая определяет, что делать с этой информацией, и модель, которая произносит ответ.
Телефонные звонки не исчезли. Компании перенесли обслуживание клиентов в чаты и электронную почту, но клиенты продолжали звонить. Именно агент на основе голосового распознавания заполняет этот пробел. Это не чат-бот с прикрепленным динамиком — он слушает, распознаёт намерения по тому, как люди на самом деле говорят и ведут себя, примерно так же, как это сделал бы обученный сотрудник по телефону.
Чтобы перейти за стадию демо-версии, необходимо выбрать архитектуру и набор технологий, а также сократить время задержки до менее чем одной секунды до того, как с ним свяжется настоящий звонящий. В следующих разделах рассматривается всё это.
Разработка за восемь решений
Каждый выбор сужает возможности для следующего.
- Определите рабочий процесс обработки звонков. Решите, какие типы звонков будет обрабатывать агент, что он может делать и когда именно будет принята помощь от человека.
- Выберите архитектуру. Каскадная, полукаскадная или нативная трансляция речи в речь. Этот выбор определяет минимальное время задержки и максимальную стоимость.
- Выберите телефонию. Twilio, AWS Connect или WebRTC в зависимости от канала и региона.
- Добавьте функцию распознавания речи. Deepgram Nova-3 или AssemblyAI в режиме потоковой обработки с пользовательским словарем терминов из конкретной области, загружаемым перед запуском.
- Соедините большую языковую модель с инструментами. Настройте правила вызова функций и передачи задач на более высокий уровень, а также свяжите с CRM или системой бронирования.
- Добавьте функцию синтеза речи. Выберите голос, включите потоковую передачу и постарайтесь сделать время воспроизведения первого аудиофайла менее 200 мс.
- Тестирование задержек и сбоев. Запускайте скриптованные и агрессивные сценарии, стремясь к времени обработки запроса от начала до конца менее одной секунды.
- Мониторинг после запуска. Следите за показателями завершения операций, уровнем контроля ситуации, удовлетворённостью клиентов и временем обработки с первого дня.
Почему компании их создают
Объём звонков, который раньше оправдывал наличие отдельной команды по обработке звонков, больше не помещается в рамки работы одной команды. Повторяющиеся вопросы, звонки в нерабочее время, последующие контакты с теми, кто не явился, и напоминания — всё это поступает через один и тот же канал, и найм дополнительных сотрудников для обработки всего этого препятствует дальнейшему росту.
Меню с интерактивным голосовым ответом отпугивают звонящих, которые сразу же вешают трубку, оказавшись вне списка доступных опций. Голосовой агент ведет себя иначе, поскольку может вести настоящий диалог, задавать дополнительные вопросы, направлять сложные случаи и массово выполнять повторяющиеся рабочие процессы. Данные по внедрению указывают на то же самое. По результатам опросов доля пользователей мобильных устройств, использующих голосовых помощников, составляет 97%, 89% клиентов отдают предпочтение брендам с поддержкой голосового ИИ, а компании, внедряющие его, сообщают о снижении операционных расходов на 20–30%. Рассматривайте эти цифры как результаты отраслевых опросов, а не как гарантии.
Давление обычно проявляется в пяти сферах, где человеческие команды не могут справиться:
Повторяющееся количество входящих звонков. В логистике, по оценкам, от 50 до 70% входящих звонков — это запросы вида «Где мой заказ?». Один и тот же вопрос тысячи раз в день, обрабатываемый людьми, которые могли бы заниматься более сложной работой.
Звонки в нерабочее время. Пациенты пытаются записаться в полночь, а заявители на кредит звонят по воскресеньям. Клиенты не планируют свои вопросы с учётом рабочего времени.
Отказы от визитов без возможности восстановления записи. Клиники теряют примерно 20% записей из-за отказов от визитов. Без автоматизированного доследования время остаётся свободным, а доходы исчезают вместе с ним.
Ручная обработка звонков. Напоминания о продлении, контроль за платежами в рассрочку и подтверждения доставки — всё это выполняется по одинаковому шаблону. Нанимать людей для его чтения вслух дорого и ненужно.
Всплески нагрузки, которые некому обработать. Десять операторов обрабатывают десять звонков. Виртуальный оператор может обрабатывать тысячи звонков одновременно, без очереди и музыки ожидания.
Три архитектуры
Архитектура определяет скорость ответов агента, степень контроля, которую сохраняет ваша команда, удобство отладки и предсказуемость затрат при масштабировании. Доминируют три типа производственных решений, каждое из которых по-разному сбалансировано между задержками, контролем и затратами, и неверный выбор может стоить дорого в плане исправления.
1. Каскадная система
Три специализированных модели работают последовательно: модель преобразования речи в текст превращает аудио в текст, большая языковая модель читает этот текст и формирует ответ, а модель преобразования текста в речь возвращает ответ обратно в аудиоформат. Между этапами передается простой текст, и именно в этой простоте заключается суть. Это самая распространённая производственная архитектура в 2026 году.
Реалистичное время задержки от начала до конца составляет от 500 до 800 мс. Это не самый высокий показатель, но он обеспечивает полную модульность. Вы можете заменить Deepgram на AssemblyAI, ChatGPT на Claude или Cartesia на ElevenLabs, не меняя ничего другого. Каждый компонент генерирует логи, а каждый слой можно измерять, настраивать и заменять отдельно. Такой подход используется в проектах с большим объемом данных, акцентом на телефонию и высокими требованиями к соответствию стандартам; это связано не с наивысшей сложностью, а с наибольшей возможностью контроля.
Процесс построения системы разделяется на эти компоненты, каждый из которых можно заменить независимо:
- Телефонный поток. Подключение через Twilio или AWS Connect с передачей входящего аудио на систему распознавания речи по протоколам SIP или WebRTC.
- Стриминговое распознавание речи. Deepgram Nova-3 в режиме стриминга начинает транскрибировать речь еще до того, как звонящий закончит фразу.
- Оркестрация LLM. Передавайте транскрипт в GPT-5 или Claude Sonnet с инструкцией, определяющей объем задачи, тон общения и условия усиления действий.
- Вызов функций. Подключайте CRM, систему бронирования или базу данных. Модель вызывает их в ходе разговора и ждет результата.
- Стриминговый TTS. Отправляйте результаты работы модели в Cartesia или ElevenLabs, чтобы воспроизведение начиналось еще до полного генерирования ответа.
- Логирование и воспроизведение. Фиксируйте транскрипты и аудио на каждом этапе, чтобы можно было отследить причину сбоя до конкретного компонента.
- Передача задачи человеку. Определите, какие интенты и ключевые слова запускают передачу задачи живому оператору.
2. Полукаскадная архитектура
Здесь аудио сразу поступает в мультимодальную модель, которая воспринимает его в нативном формате, причем только результат обработки проходит через специализированную модель текста в речь. Благодаря этой изменении задержка снижается до 300–500 мс, и становится возможным то, чего не может сделать каскадная система.
Модель распознаёт раздражённого звонящего, замечает повышение интонации при задании вопроса или изменение языка посреди предложения. Между звуком и пониманием моделью нет этапа транскрипции. Результат всё равно обрабатывается специализированной моделью TTS, поэтому качество голоса остаётся тщательно контролируемым. ElevenLabs Agents и Google Gemini Live также используют эту схему, и она является правильным выбором, когда способ выражения мыслей имеет такое же значение, как и сами мысли.
3. Нативная технология текста в речь
Один модель обрабатывает всё: входной аудио, выходной аудио, без текста между ними и без границ компонентов. Задержка снижается до 200–300 мс. При значении ниже 300 мс разговор уже не кажется программным решением, что важно там, где колебания подрывают доверие.
Однако существуют реальные компромиссы. При длительных звонках стоимость растёт, поскольку модель перепроцессирует каждый предыдущий токен разговора при каждом шаге, так что звонок, который кажется стоимостью 0,30 доллара в минуту, на практике может стоить 1,50 доллара. Кроме того, теряется возможность управления на уровне компонентов. Когда что-то идёт не так, невозможно выделить ответственный слой, поскольку слоёв вообще нет.
Существует ещё одно ограничение. Телефонные звонки через общедоступную сеть передают аудио с частотой 8 кГц, что приводит к потере большей части деталей, которые предназначены быть использованными нативными аудиомоделями, поэтому их преимущество перед каскадными решениями сильно снижается.
Что выбрать
Начните с каскадной схемы, если развертывание связано с телефонией, ведением журналов соблюдения правил или необходимостью предсказуемости затрат. Уже сама модульность является основанием для ее использования в большинстве корпоративных случаев. Переходите к полукаскадной схеме, когда важен входной аудиосигнал — например, при смене звонящими языка или обнаружении эмоционального тона, или в любых ситуациях, когда транскрипция уничтожает необходимые сигналы. Используйте схему «голос-в-голос» только тогда, когда время ответа менее 300 мс является абсолютной необходимостью, а объем звонков позволяет сделать расчеты по стоимости за минуту целесообразными. Это охватывает узкий круг случаев, а для большинства развертываний каскадная схема дает лучшие результаты.
| Criteria | Cascaded Pipeline | Half-Cascade | Native Speech-to-Speech |
|--------------------------|-------------------------------------------|-----------------------------------------|--------------------------------------------|
| Latency | 500-800ms | 300-500ms | 200-300ms |
| Approx. Cost/min | Low | Medium | High ($0.30 can reach $1.50) |
| Modularity | Full, swap any component independently | Partial, TTS is swappable, input | None, one model, no layers |
| | | model is not | |
| Emotion & Tone Detection | No, transcription strips it | Yes, model hears audio natively | Yes |
| Compliance Logging | Per-layer logs on every component | Partial | Not possible |
| PSTN Compatibility | Strong | Strong | Weak, 8kHz audio narrows the |
| | | | quality advantage |
| Best For | Telephony, compliance-sensitive, | Multilingual callers, emotional | Sub-300ms use cases with manageable |
| | high-volume deployments | context, tone detection | call volume |
| Avoid When | Latency is a hard requirement | You need full component control | Long calls, regulated industries, |
| | under 500ms | or strict cost caps | unpredictable volume |
Пять уровней
Независимо от того, насколько простым или сложным является агент, структура остаётся одинаковой: звук поступает внутрь, ответ выходит наружу, а промежуточные этапы определяют, насколько быстрым, точным и похожим на общение с человеком будет этот диалог.
| Layer | Role | Common Tools | Enterprise Consideration |
|---------------|-------------------------|-------------------------------|-----------------------------------|
| Telephony | Call routing | Twilio, AWS Connect, SIP | Region coverage, number portability |
| STT | Speech transcription | Deepgram, AssemblyAI, Whisper | Accents, noise, vocabulary |
| LLM | Reasoning and response | GPT, Claude, Gemini, Llama | Latency, compliance, tool use |
| TTS | Voice output | ElevenLabs, Cartesia, PlayHT | First-byte latency, brand voice |
| Orchestration | Turn-taking and routing | Retell AI, Vapi, LiveKit | Barge-in, handoff, monitoring |
Компоненты в порядке следования:
- Телефония. Входная дверь. Звонок поступает, и этот слой захватывает аудио и передает его дальше по цепочке обработки. Распространёнными решениями являются Twilio, AWS Connect и WebRTC.
- Преобразование речи в текст. Преобразует сказанное звонящим в текст. Шум, акценты и специализированные термины влияют на качество, а любые ошибки в этом слое отражаются на всех последующих этапах.
- LLM. «Мозг». Он читает транскрипт, определяет намерение, выбирает действие и формирует ответ. Когда ему нужны внешние данные, такие как статус заказа или остаток средств, он вызывает соответствующий инструмент и ждёт ответа.
- Преобразование текста в речь. Преобразует ответ обратно в аудио, причём качество голоса и скорость реакции зависят от этого слоя.
Каждая передача данных увеличивает задержку, и каждый компонент может выйти из строя независимо. Знание того, где находится каждый компонент, позволяет превратить пятичасовую сессию отладки в пятиминутную.
Уровень 1: преобразование речи в текст
Все последующие этапы зависят от результата этой обработки, поэтому ошибки здесь распространяются по всей цепочке. Модель принимает аудиопоток, разделяет его на фрагменты и предсказывает наиболее вероятную последовательность слов на основе акустических паттернов и языковых вероятностей. Современные системы преобразования речи в текст работают достаточно быстро, чтобы транскрибировать слово за словом даже во время разговора звонящего.
Что снижает точность. Четыре фактора ухудшают качество преобразования речи в текст в реальном времени: фоновый шум, сильные акценты, специфика языка и низкое качество аудио. Сети мобильной связи усугубляют проблему, поскольку их ограничение частотой 8 кГц исключает те частоты, которые помогают моделям различать похоже звучащие слова.
Инструменты.
- Deepgram Nova-3 — стандартный выбор для телефонных разговоров в реальном времени, он эффективно справляется с шумными линиями, акцентами и низкой скоростью передачи данных без особых проблем.
- AssemblyAI Universal-Streaming отлично подходит, когда аудио качественное.
- gpt-4o-transcribe от OpenAI обеспечивает высокую точность, однако добавляемая задержка ощущается во время прямого разговора.
- Whisper — мощная модель, разработанная для обработки данных пакетами, поэтому она плохо подходит для потоковой передачи.
Стриминг против пакетной обработки. При пакетной обработке система ждет, пока звонящий закончит говорить, прежде чем начать обработку, тогда как при стриминге транскрипция генерируется по мере поступления аудио. Для голосовых агентов стриминг является единственным приемлемым вариантом.
Проблемы с лексикой. По умолчанию большинство моделей перевода речи плохо справляются с названиями брендов, медицинскими терминами и специализированной терминологией. Специальные списки слов, указания на произношение и доработка модели под конкретную область помогают решить большинство этих проблем, поэтому заранее уделите время на их подготовку перед внедрением в сферах здравоохранения, логистики или финансов.
Уровень 2: большие языковые модели
Уровень перевода речи генерирует текст, а модель решает, что с ним делать. Она читает транскрипцию, определяет запрос, выбирает действие и пишет ответ. При простом звонке это означает ответ на вопрос. При сложном звонке это подразумевает вызов внешнего инструмента, ожидание результатов и объединение полученных данных в естественный ответ — все это за время, за которое человек делает паузу между предложениями.
Выбор модели. GPT-5 и Claude Sonnet — самые надежные варианты для голосового взаимодействия в 2026 году, поскольку обе хорошо справляются с контекстом, строго следуют инструкциям и дают достаточно короткие ответы для произнесения вслух. Gemini 3 Flash стоит рассмотреть, если приоритетом является низкая задержка. Llama и Mistral подходят командам, которым нужно развертывание на собственном оборудовании или более строгий контроль затрат.
Голосовые промпты против чат-промптов. У голосового взаимодействия есть одно ограничение, отсутствующее у чата, — длина сообщений. Если агент зачитывает целый абзац, звонящий теряет интерес. В системном промпте следует указать тон, длину ответа, условия перехода к вышестоящему уровню поддержки и точные формулировки, которые должен использовать агент в случае отсутствия ответа.
Вызов функций. Когда звонящий задаёт вопрос о заказе, агент запрашивает информацию в системе управления заказами или CRM, ждёт результата, а затем отвечает. Именно это отличает агента, который просто разговаривает, от того, кто действует. Есть один недостаток: вызовы функций мешают потоковому взаимодействию, поэтому диалог следует строить с учётом пауз.
Память. Существует два вида памяти. Сессионная память охватывает один звонок, чтобы никому не приходилось повторять детали, а постоянная память сохраняет информацию между звонками. Команды обычно сначала внедряют сессионную память, а функции сохранения добавляют позже, когда основная структура работы налажена.
Уровень 3: текст на речь
Окончательное впечатление звонящего формируется благодаря функции текста на речь. Даже правильный, быстрый и тщательно продуманный ответ теряет эффективность, если звучит роботизированно.
Что делает голос естественным. Прозодия, ритм и скорость генерации первого байта. Прозодия — это мелодия речи, изменение высоты тона, которое помогает слушателю понять, является ли фраза вопросом. Ритм связан с правильным расположением пауз. Модели, обученные на огромных объемах реальной речи, сейчас хорошо справляются с обоими аспектами, а роботизированный голос стал гораздо реже встречаться по сравнению с 2025 годом. Скорость генерации первого байта — это время задержки, проходящее до того, как собеседник услышит что-либо после начала генерации.
Инструменты.
- Cartesia Sonic лидирует по скорости, так как аудио появляется раньше, чем у большинства конкурентов.
- ElevenLabs обеспечивает наиболее естественный звук и позволяет клонировать голос на основе короткого аудиофрагмента.
- gpt-4o-mini-tts от OpenAI — хороший стандартный вариант, если вся остальная система уже основана на технологиях OpenAI.
- PlayHT и Rime стоит попробовать, если требуется определенный акцент или региональный тон.
Клонирование голоса. Большинство платформ клонируют голос на основе краткой записи, что позволяет компаниям сохранять единый стиль общения на всех звонках. Больница может звучать спокойно и профессионально, в то время как сеть ресторанов быстрого обслуживания — динамично и энергично. Решите этот вопрос до запуска системы.
Трансляция текста голосом в реальном времени. Звонящий должен услышать первое слово ещё до того, как модель закончит писать последнее предложение, что означает, что аудио транслируется до завершения ответа. Важна задержка первого байта, а не общее время генерации. Для реальных звонков она должна быть менее 200 мс.
Уровень 4: телефония и каналы
Именно здесь внешний мир встречается с системой обработки. Способ передачи аудио от звонящего к модели STT определяет качество звонка, задержку и степень контроля над инфраструктурой.
Как происходит подключение звонков. Обычная телефонная сеть PSTN ограничивает частоту аудиосигнала 8 кГц, что негативно сказывается на всех последующих решениях. SIP используется для трафика VoIP и позволяет более точно контролировать маршрутизацию. WebRTC передаётся через Интернет с лучшим качеством аудио, поэтому подходит для использования в браузерах и приложениях. Распространённым подходом является использование SIP для входящих звонков и WebRTC для всех операций в сети.
Поставщики услуг.
- Twilio является безопасным стандартным выбором благодаря широкой доступности, надёжной SIP-маршрутизации и хорошей документации, хотя его стоимость растёт при больших объёмах использования.
- AWS Connect подходит командам, уже работающим с AWS.
- Vonage — хороший вариант для международного расширения, особенно в Европе и на Ближнем Востоке.
Платформы оркестрации. Retell AI, Vapi и LiveKit занимают промежуточное положение между оператором связи и вашими вариантами STT, LLM и TTS. Они обеспечивают управление маршрутизацией аудио в реальном времени, контролем очередности общения, обнаружением прерываний и передачей задач. Для использования в телефонных системах Retell AI является наиболее зрелым решением, Vapi предоставляет наибольше возможностей для настройки собственных процессов, а LiveKit наилучшим образом работает с WebRTC.
Входящие и исходящие вызовы. Входящий поток ожидает звонка и реагирует на его поступление. Исходящий поток совершает звонок, проверяет, кто ответил, и выполняет заранее запрограммированные действия, такие как напоминание о платеже или подтверждение встречи. Структура процесса одинакова в обоих случаях; отличаются только инициатор и способ начала вызова.
Уровень 5: интеграции
Интеграции позволяют агенту действовать, а не просто разговаривать. Модель может понять намерение пользователя и составить ответ, но без связи с реальными системами она не может забронировать время, найти заказ или изменить запись. Всё, что она может сделать, — это описать, что бы она сделала.
Что подключается. Обычно это четыре категории: CRM-системы для поиска контактов и информации о клиентах, инструменты планирования для бронирования, системы управления заказами или логистикой для проверки статуса и платежные шлюзы для выставления счетов. Агенту клиники нужен инструмент планирования, а агенту магазина — API для управления заказами. Системы могут отличаться, но принцип остается неизменным: модель делает запрос во время разговора, ждет ответа и использует его в следующем предложении.
Как работает вызов. Его запускает вызов функции — тот же механизм, что и для слоя LLM. Когда модель решает, что ей нужны внешние данные, она отправляет структурированный запрос и останавливается. Результат сам по себе не возвращается; ваш собственный код должен его поймать и добавить в историю разговора, прежде чем модель сможет им воспользоваться. Без этого шага агент застревает в процессе вызова, не имея чего сказать.
Где возникают проблемы. Большинство проблем вызываются двумя факторами. Медленный API напрямую увеличивает задержку, и вызывающий не может понять, задумалась ли модель или CRM потребовал 800 мс на ответ. Пауза остается паузой. Еще одной проблемой является обработка сбоев: когда поиск истекает сроком, агенту нужна готовая фраза для ответа, а не молчание или повторение одних и тех же предложений.
Аутентификация. Креденциалы обычно представляют собой ключи API или токены OAuth с ограничениями на чтение или узкие права на запись. Для проверки статуса заказа требуется только право на чтение. Переназначение встреч требует права на запись в календарь, что повышает сложность обработки ошибок, поскольку ошибка может изменить актуальные данные.
Снижение задержек
Для снижения задержек используются три основных метода: передача данных как в формате STT, так и TTS без ожидания полного результата, кэширование ответов на часто задаваемые вопросы и размещение всех компонентов в одном регионе. В совокупности они позволяют сократить ощущаемые задержки примерно на 40%, а целевой показатель для полного цикла работы — менее одной секунды.
Причины задержек
Каждый компонент добавляет свой собственный промежуток времени. Процесс преобразования речи в текст в потоковом режиме занимает от 50 до 150 мс, инференция больших языковых моделей — от 200 до 500 мс в зависимости от модели и длины вводного текста, а обработка первого байта аудио в режиме голосового синтеза требует ещё от 100 до 200 мс; к этому добавляется время передачи данных по сети на каждом этапе. Система, в которой каждый слой работает в среднем, без каких-либо оптимизаций, занимает около 1,5 секунды. Вызовы функций ухудшают ситуацию, поскольку процесс инференции полностью приостанавливается до возврата результата от инструмента, что добавляет ещё от 300 до 800 мс.
Что делать с этим
Самым эффективным решением является использование потокового режима. Запускайте преобразование речи в текст в потоковом режиме, чтобы транскрипция начиналась ещё до окончания речи пользователя, а также используйте потоковый голосовой синтез, чтобы аудио воспроизводилось до того, как ответ полностью сформируется. Уже эти два изменения приносят прирост производительности в 40%.
Кэширование тоже помогает. Если большинство звонящих задают одни и те же три вопроса, заранее подготовьте ответы на них и предоставляйте их мгновенно. Также храните компоненты рядом друг с другом с географической точки зрения. Разделение сервиса STT в регионе США-Восток и нейросети LLM в регионе ЕС-Запад приводит к задержкам в размере от 80 до 120 мс на каждую операцию из-за передачи данных по сети.
Для минимизации задержек технология нативного преобразования речи в речь сокращает общую задержку до уровня от 200 до 300 мс. Компромиссы в стоимости значительны, но преимущества становятся важными там, где критически важна скорость ведения диалога.
Вмешательство в процесс
Функция обнаружения вмешательства прослушивает аудио звонящего во время воспроизведения текста озвучкой, прерывает ответ на полуслове и сразу перенаправляет внимание на звонящего. Системы Retell AI и Vapi поддерживают её встроенно. Настройте порог обнаружения аудио, чтобы фоновый шум не вызывал ложных прерываний.
Где развертывать
Выбор способа развертывания влияет на стоимость, соответствие нормам, задержку и степень контроля над инфраструктурой, и это имеет большее значение, чем понимают большинство команд, пока они ещё не перешли на производственную среду.
Облачные решения являются стандартом. AWS, Azure и GCP предоставляют управляемые сервисы для каждого компонента цепочки обработки данных, обеспечивающие быструю настройку, автоматическое масштабирование и отсутствие необходимости в аппаратном обеспечении. Однако цена заключается в том, что данные покидают вашу среду, что имеет значение в отраслях с строгими регулированиями.
Развертывание на собственных серверах означает, что аудиофайлы, транскрипты и данные клиентов никогда не покидают ваши серверы. Сферы здравоохранения, финансы и любые страны с правилами резидентности данных часто требуют именно этого. Инструменты с открытым исходным кодом, такие как Whisper, и самостоятельно развернутые большие языковые модели, позволяют реализовать такой подход без необходимости полной перестройки всей инфраструктуры.
Гибридное развертывание предполагает разделение цепочки обработки в зависимости от степени чувствительности каждой её части. Телефония и преобразование речи в текст остаются на предприятии, чтобы сырой аудиофайл никогда не покидал его территорию; инференция больших языковых моделей выполняется в управляемых облаках, а синтез речи — там, где задержка минимальна. Компании часто выбирают именно такой вариант, поскольку специалисты по соблюдению норм могут отдельно утверждать способы обработки данных на каждом уровне.
Соблюдение норм
- В сфере здравоохранения США требования HIPAA предполагают наличие подписанных соглашений с каждым поставщиком, шифрование аудиофайлов в состоянии покоя и ведение журналов доступа.
- GDPR распространяется на все цепочки обработки, затрагивающие жителей ЕС, и предусматривает четкие уведомления о сборе данных для записанных звонков.
- Правила размещения данных в ОАЭ, Саудовской Аравии и Германии ограничивают место хранения данных разговоров, поэтому перед запуском необходимо проверить каждого поставщика на соответствие этим требованиям.
Масштабирование
Развертывание в облаке позволяет осуществлять горизонтальное масштабирование, тогда как локальные решения требуют заранее планирования мощностей с учётом ожидаемых пиков нагрузки. Перед запуском проводите тестирование с объёмом данных, в три–пять раз превышающим ожидаемый пик.
Мониторинг
Внимание должно постоянно уделяться четырем аспектам: скорости завершения звонков и их передачи, задержкам на уровне компонентов в процессах STT, LLM и TTS, неудачным вызовам инструментов, а также нереализованным запросам вместе с транскриптами для повторного прослушивания.
Если скорость передачи данных резко возрастает, значит, в проектировании диалога есть проблемы. Если время ответа LLM продолжает увеличиваться, возможно, причина в слишком длинном запросе или задержке в вызове инструмента. LangSmith отвечает за наблюдаемость за работой LLM, а Datadog или Grafana — за инфраструктуру.
Тестирование и оценка
Большинство сбоев можно обнаружить до запуска, если тестировать соответствующие аспекты.
- Начните с сценариев, написанных заранее, для 20–30 основных типов звонков.
- Переходите к тестированию в условиях атак: прерывайте действия агента, предоставляйте ему неполную информацию и задавайте вопросы, выходящие за рамки его компетенций.
- Обращайте внимание на значимые сбои: уверенные неверные ответы, ситуации, когда передача задач не происходит, и вызовы инструментов, которые не вызывают никакой реакции.
- Используйте такие инструменты, как Hamming или набор инструментов оценки Vapi, для программной имитации сотен сценариев.
Наиболее важны четыре показателя: коэффициент завершения задач, коэффициент сдерживания сбоев, CSAT и среднее время обработки запросов. Отслеживайте их с самого первого дня. Компоненты, которые работают стабильно при 10 одновременных запросах, часто терпят неудачу при 100 запросах, поэтому проводятся тесты с нагрузкой в три–пять раз. После запуска еженедельно анализируйте записи диалогов и используйте их для улучшения инструкций, уточнения определений функций и расширения механизмов обработки нештатных ситуаций. Агенты, которые улучшаются быстрее всего, имеют за собой структурированную процедуру анализа.
Десять уроков из реальных внедрений
Разработчики, впервые работающие с голосовыми технологиями, обычно начинают с одной уверенности: выбрать хорошую модель, составить качественный запрос и запустить систему. Через шесть недель они уже борются с пропущенными звонками и резкими скачками задержек, не понимая, почему агенты с полной уверенностью излагают выдуманные факты. Именно эти уроки команды усваивают на собственном опыте.
- Транспортная протоколы важнее выбора модели. Замена WebSockets на UDP может принести больше пользы, чем смена самой LLM-модели. Большинство моделей хорошо работают при наличии качественного запроса, тогда как задержки и инфраструктура совсем не реагируют на запросы.
- Один агент — одна задача. Для нескольких разных задач следует использовать несколько агентов, способных взаимодействовать друг с другом. Один агент, отвечающий за всё, плохо справляется со своими обязанностями.
- Вызовы функций мешают потоковой передаче данных. Ничего не передаётся в потоковом режиме, пока не завершится вызов инструмента. Стройте логику диалога с учётом этого промежутка времени, а не вопреки ему.
Сколько это стоит
Реализация внутри компании стоит примерно 8 500 долларов для самого простого прототипа; стоимость варьируется в зависимости от объема работы и функций. Для систем корпоративного уровня требуется 100 000 долларов и более, плюс от трех до шести месяцев на разработку перед запуском. Это еще до работы по соблюдению стандартов и ежегодных расходов в размере 15–20%, которые обычно возникают после внедрения в производство.
| Tier | Upfront Cost | Timeline | Key Features |
|-----------------------------------|--------------|-------------|------------------------------------------------------------|
| MVP/Proof of Concept | $8K-$30K | 4-10 weeks | Basic voice flows, single integrations, RAG memory |
| Mid-Tier (CRM/multi-intent) | $25K-$150K | 2-6 months | Contextual reasoning, telephony (Twilio), analytics |
| Enterprise (autonomous, compliant)| $150K-$300K+ | 4-12 months | Multi-agent orchestration, multilingual, deep ERP/CRM, |
| | | | HITL governance |
Только команда, включающая инженеров по ИИ, разработчиков бэкенда, специалистов DevOps и QA, стоит 150 000 долларов в год или больше, причем эта команда тратит время на инфраструктуру, а не на основную деятельность бизнеса.
Минимально жизнеспособная архитектура
Прежде всего необходимо шесть компонентов:
- Прием аудио. Twilio или WebRTC передают голос звонящего в систему обработки.
- Прямая транскрипция речи. Deepgram Nova-3 записывает текст в реальном времени, пока звонящий говорит.
- Модель с кратким запросом. GPT-5 или Claude Sonnet, при этом длина запроса к системе не должна превышать 500 токенов, так как более длинные запросы замедляют ответы.
- Прямая трансляция текста речи. Cartesia или ElevenLabs начинают воспроизведение ещё до того, как будет полностью сформирован ответ.
- Логирование. С первого дня необходимо сохранять транскрипции и аудиофайлы со всех уровней обработки.
- Альтернативные варианты и передача задач. Установите правило передачи для случаев, когда агент не может решить проблему.
Часто задаваемые вопросы
Возможно ли сохранить данные клиентов в секрете от третьих сторон? Да, с помощью локального или гибридного хостинга. Разместите телефонию и систему преобразования речи в текст на собственной инфраструктуре, чтобы необработанный аудио оставался в защищённом формате, а инференцию больших языковых моделей можно запускать в управляемых облаках, если соответствующие требования разрешают это для каждого слоя.
Может ли голосовой ИИ обрабатывать звонки и SMS в одном приложении? Да. Как слой телефонии, так и слой оркестрации больших языковых моделей работают в разных каналах, поэтому система, обслуживающая телефонный звонок, может направлять SMS-сообщения через ту же модель и логику вызова функций.
Как исправить проблемы с интонацией и ритмом речи? Прозодия и ритм определяются моделью голосового синтеза, а не сценарием. Cartesia и ElevenLabs по умолчанию хорошо обеспечивают естественные изменения высоты голоса. Если речь всё равно звучит однотонно, обычно решением является использование другой модели голоса, а не другого запроса.
Как добавить технологию голосового ИИ в существующую телефонную систему без изменения номеров? Перенесите номер на SIP-трунк через оператора телефонии, затем направляйте входящий аудиосигнал с этого трунка в слой распознавания речи. Звонящие будут набирать тот же номер, что и раньше, просто маршрутизация сигнала станет другой.
Как избежать зависимости от поставщика? Используйте каскадную архитектуру. Каждый компонент работает независимо, поэтому Deepgram можно заменить на AssemblyAI, а Cartesia — на ElevenLabs, не перестраивая остальную часть системы. Как полукаскадная, так и нативная технологии преобразования речи в речь лишаются этой гибкости в обмен на более низкую задержку.
Связанные статьи
- Объяснение AI-агентов голоса: как они работают, где находят применение и где допускают ошибки — простым языком о AI-агентах голоса: пятиэтапный процесс разговора, девять основных компонентов, сферы применения, шесть критериев оценки покупателя, известные ограничения, требования к соответствию нормам и показатели эффективности для отслеживания.