Gemini 3.8 Live: голосовые агенты с нативным speech-to-speech через Live API

Google выпустила Gemini 3.8 Live — голосовую модель реального времени для живого диалога — и родственную модель Gemini 3.8 Live Extended Thinking. Вторая рассчитана на более сложные рассуждения, пока разговор продолжается. Обе доступны в Gemini API, а в Google AI Studio их можно попробовать, не написав ни строчки кода.

Главное здесь — устройство. Gemini 3.8 Live — это не распознавание речи, прикрученное к LLM, а затем к синтезу речи. Это нативная модель speech-to-speech, которая принимает живой ввод и выдаёт речь с низкой задержкой. Поэтому она хорошо подходит для голосовых агентов, репетиторов, ассистентов, систем поддержки клиентов и других мультимодальных приложений.

Что такое Gemini 3.8 Live

Классические голосовые ассистенты устроены как цепочка отдельных этапов:

Ваш голос → распознавание речи → LLM → синтез речи → голосовой ответ

Каждое звено добавляет задержку.

Gemini 3.8 Live устроена иначе. Google называет это нативным опытом audio-to-audio, который поддерживает взаимодействие в реальном времени, работает с мультимодальной информацией и умеет пользоваться инструментами.

Модель принимает текст, изображения, аудио и видео и может выдавать текст и аудио. В спецификации указан лимит ввода 131 072 токена и лимит вывода 65 536 токенов.

Google позиционирует её как выбор по умолчанию для большинства голосовых агентов с низкой задержкой — там, где нужен естественный диалог без лишней задержки на более глубокие рассуждения.

Gemini 3.8 Live и Extended Thinking

На самом деле в релизе две модели:

• Gemini 3.8 Live настроена на быстрый, естественный разговор. Выбирайте её, когда важна задержка и в приоритете быстрые ответы.
• Gemini 3.8 Live Extended Thinking нацелена на более сложные задачи. Она рассуждает глубже и может запускать асинхронные инструменты в фоне, пока разговор продолжается.

Допустим, звонящий просит голосового агента найти самый дешёвый рейс, сравнить варианты и выбрать тот, что подходит под его календарь. Обычная голосовая модель может просто замолчать, пока работает.

Модель Extended Thinking может оставаться в разговоре, пока работа идёт где-то ещё. По словам Google, пока работают инструменты, она использует разговорные паузы-заполнители и промежуточные обновления. Это важнее всего для агентных голосовых приложений и куда меньше — для простых голосовых чат-ботов.

Что она умеет

1. Speech-to-speech в реальном времени

Главная функция — нативное аудиовзаимодействие в реальном времени. Система не ждёт, пока целое предложение будет расшифровано, чтобы сгенерировать текстовый ответ. Live API держит открытой постоянную двустороннюю сессию между вашим приложением и Gemini и использует для этого непрерывного обмена WebSocket.

Это важно, потому что голосовой агент отличается от обычного чат-бота. Чат-бот проходит цикл ввода, обработки и вывода. Голосовой агент должен слушать, понимать, отвечать, снова слушать, принимать перебивания и продолжать. Live API существует как раз для поддержки этой непрерывной петли.

2. Мультимодальный ввод

Модель не ограничена звуком с микрофона. Она принимает аудио, текст, изображения и видео, и это открывает дорогу более интересным продуктам.

Пример — приложение-репетитор. Ученик наводит камеру на задачу по математике и просит объяснить ошибку. Модель использует визуальный ввод и отвечает голосом. В документации Live API также описана отправка кадров видео как изображений во время сессии.

3. Вызов инструментов

Именно инструменты превращают Gemini 3.8 Live из говорящего чат-бота в агента. Live API поддерживает function calling, так что ваше приложение может предоставить функции вроде таких:

check_weather()
search_flights()
book_meeting()
get_order_status()
query_database()
send_email()

Gemini сама решает, когда нужна функция. Ваше приложение выполняет её и возвращает результат модели. Возьмём клиента, который спрашивает о статусе заказа:

User:
"What's the status of my order?"

За кулисами поток выглядит так:

        ↓Gemini 3.8 Live        ↓get_order_status(order_id)        ↓Your backend        ↓Order database        ↓Result returned to Gemini        ↓Spoken response

Такая архитектура может превратить простого голосового ассистента в полноценного рабочего агента.

4. Опора на Google Search

Gemini 3.8 Live также умеет подкреплять ответы данными Google Search, что полезно для вопросов, зависящих от актуальных фактов. Пользователь может спросить о свежих новостях ИИ. Вместо того чтобы полагаться только на то, что хранится в модели, Live API может использовать Search для получения свежей информации. Включается это в конфигурации сессии:

tools = [
    {"google_search": {}}
]

Благодаря этому голосовые агенты реального времени становятся гораздо полезнее для приложений, работающих с большим объёмом информации.

5. Чередующиеся рассуждения

Gemini 3.8 Live поддерживает и чередующиеся рассуждения. Рассуждение может происходить внутри идущего мультимодального обмена, без перехода в отдельный текстовый поток. В документации Google мышление указано среди возможностей Gemini 3.8 Live, а модель Extended Thinking идёт дальше: более глубокие рассуждения и асинхронное выполнение инструментов во время живого разговора.

6. Транскрипция

Live API может возвращать расшифровку как ввода пользователя, так и ответа модели. Разработчики могут сохранять, что сказал пользователь и что ответила Gemini, при том что сам разговор идёт голосом. Это помогает для:

• расшифровок звонков в поддержку
• ассистентов на встречах
• голосовых репетиторов
• аналитики звонков
• ИИ-интервьюеров
• голосовых агентов

Так что выбирать между голосовым взаимодействием и текстовыми логами, по которым можно искать, не придётся.

Как попробовать без своего приложения

Проще всего экспериментировать в Google AI Studio, где есть интерфейс Live для моделей реального времени. Анонс Google направляет разработчиков именно туда: AI Studio Live.

Это хороший способ понять поведение модели до написания кода. Можно начать с такого промпта:

Explain quantum computing like I'm 12.

А потом продолжить так:

Now explain it using a real-world analogy.Now ask me questions to test whether I understood it.

Мультимодальное поведение тоже можно проверить: дайте визуальный ввод и попросите Gemini описать или проанализировать его.

Gemini Live для разработчика

Разработчики работают с Gemini Live API через GenAI SDK от Google. Сначала установите его:

pip install -U google-genai

Текущая документация рекомендует для Live API SDK google-genai. Ещё понадобится ключ Gemini API. Его можно сгенерировать в AI Studio, и Google советует хранить его в переменной окружения, а не зашивать в код. В Windows:

set GEMINI_API_KEY=YOUR_API_KEY

В Linux или macOS:

export GEMINI_API_KEY="YOUR_API_KEY"

Простой пример на Python

Минимальное подключение на удивление короткое. Начните с импортов:

import asyncio
from google import genai

Затем создайте клиент, выберите модель и откройте сессию, которая отправит одно текстовое сообщение и напечатает всё, что придёт в ответ:

client = genai.Client()model = "gemini-3.8-live"config = {
    "response_modalities": ["AUDIO"]
}async def main():    async with client.aio.live.connect(
        model=model,
        config=config
    ) as session:        print("Gemini Live session started")        await session.send_realtime_input(
            text="Explain artificial intelligence in simple words."
        )        async for response in session.receive():            if response.server_content:
                print(response.server_content)if __name__ == "__main__":
    asyncio.run(main())

Ключевой вызов — вот этот:

client.aio.live.connect()

Он ведёт себя не как обычный вызов API с одним запросом. Он устанавливает постоянную живую сессию, и через одно и то же соединение можно продолжать отправлять ввод и получать вывод.

Отправка аудио

Настоящее голосовое приложение стримит в сессию фрагменты аудио. Сейчас Live API ожидает на вход сырой 16-битный PCM с частотой 16 кГц. Сначала импортируйте типы:

from google.genai import types

Затем отправляйте каждый фрагмент так:

await session.send_realtime_input(
    audio=types.Blob(
        data=audio_chunk,
        mime_type="audio/pcm;rate=16000"
    )
)

Gemini отвечает аудио, которое ваше приложение проигрывает пользователю. Это базовый кирпичик голосового агента реального времени.

Отправка видео

Кадры тоже можно отправлять во время сессии:

await session.send_realtime_input(
    video=types.Blob(
        data=frame,
        mime_type="image/jpeg"
    )
)

Согласно документации, видеоввод — это серия отдельных кадров-изображений, для этого сценария не больше одного кадра в секунду. Пайплайн может выглядеть так:

Camera
   ↓
Frames
   ↓
Gemini 3.8 Live
   ↓
Visual understanding
   ↓
Voice response

Так можно строить ИИ-репетиторов, визуальных ассистентов и инструменты промышленного контроля.

Голосовой агент с инструментами

Теперь представьте ИИ-ассистента банка, которого пользователь спрашивает, сколько ушло на еду в этом месяце.

Прямой доступ к вашей базе данных Gemini не нужен. Вы регистрируете функцию, которую она может запросить:

def get_food_expenses(month):
    # Query your database
    return 18500

Gemini запрашивает эту функцию через function calling. Ваше приложение выполняет её и передаёт результат обратно. От начала до конца обмен выглядит так:

User speaks
      ↓
Gemini 3.8 Live
      ↓
Understands request
      ↓
Calls get_food_expenses()
      ↓
Your backend
      ↓
Database
      ↓
₹18,500
      ↓
Gemini
      ↓
"Your food expenses this month are ₹18,500."

Для пользователя это ощущается как один непрерывный разговор.

Почему это важно для агентов

Главное изменение — не качество голоса. Настоящий сдвиг — в сочетании голоса, зрения, рассуждений, инструментов и взаимодействия в реальном времени в одной системе. Вместе они позволяют строить агентов, которые не просто отвечают на вопросы, а действуют в окружающей обстановке. Несколько примеров:

• Агент поддержки, который слушает клиента, читает загруженный документ, смотрит актуальные данные аккаунта, вызывает внутренний API и объясняет результат вслух.
• Репетитор, который слушает ученика, смотрит на рукописное решение и подстраивает объяснение под реакцию ученика.
• Ассистент выездного сервиса, который видит оборудование через камеру, пока техник задаёт вопросы голосом.

Ничто из этого не похоже на традиционный текстовый чат-бот.

Цены

В анонсе Google для Gemini 3.8 Live и Extended Thinking указана одна цена: $0.005 за минуту аудиоввода и $0.018 за минуту аудиовывода. Реальный счёт сильно зависит от того, сколько говорят пользователи и сколько аудио генерирует модель. Для голосового агента это настоящий фактор дизайна: длинные разговоры быстро накапливают расход аудио.

Gemini 3.8 Live и традиционный стек

Основная разница умещается в две схемы. Традиционный голосовой стек:

Microphone
   ↓
Speech Recognition
   ↓
LLM
   ↓
Text
   ↓
Text-to-Speech
   ↓
Speaker

И с Gemini 3.8 Live:

Microphone / Camera / Text
          ↓
   Gemini 3.8 Live
          ↓
Audio / Text

Второй подход может упростить архитектуру, потому что больше не нужно вручную соединять распознаватель, модуль рассуждений и генератор речи. В подаче Google Live-модели — альтернатива каскадным голосовым пайплайнам.

Вопрос безопасности, который нельзя пропускать

Для экспериментов API-ключ подходит. Но в продакшен-приложении для браузера или мобильного устройства никогда не кладите долгоживущий ключ в клиентский код.

Google рекомендует эфемерные токены для приложений Live API, где клиент подключается к серверу, — это снижает риск утечки обычных учётных данных. Продакшен-схема должна выглядеть скорее так:

User Device
     ↓
Your Application
     ↓
Secure Authentication
     ↓
Ephemeral Token
     ↓
Gemini Live API

Постоянный ключ Gemini вообще не попадает во фронтенд.

Что это значит для голосового ИИ

Gemini 3.8 Live знаменует реальное изменение в том, как строится голосовой ИИ. Интересна не сама речь: системы ИИ и так говорят очень естественно. Новое в том, что модель ведёт живой разговор, одновременно обрабатывая аудио, изображения, видео и текст, вызывает инструменты, а в варианте Extended Thinking ещё и выполняет более тяжёлые рассуждения в фоне.

Начать легко. Откройте Live в Google AI Studio, попробуйте модель и переходите на Gemini Live API, когда будете готовы строить своё приложение. Базовый стек теперь очень прост:

User
 ↓
Voice / Camera
 ↓
Gemini 3.8 Live
 ↓
Reasoning + Tools + Search
 ↓
Voice Response

Именно за этим стоит следить. Голосовой ИИ смещается от говорящего чат-бота к мультимодальным агентам реального времени, которые умеют доводить дела до конца.