Gemini 3.8 Live: голосові агенти з нативним speech-to-speech через Live API

Google випустила Gemini 3.8 Live — голосову модель реального часу для живого діалогу — і споріднену модель Gemini 3.8 Live Extended Thinking. Друга розрахована на складніші міркування, поки розмова триває. Обидві доступні в Gemini API, а в Google AI Studio їх можна спробувати, не написавши жодного рядка коду.

Головне тут — устрій. Gemini 3.8 Live — це не розпізнавання мовлення, прикручене до LLM, а потім до синтезу мовлення. Це нативна модель speech-to-speech, яка приймає живе введення й видає мовлення з низькою затримкою. Тому вона добре пасує для голосових агентів, репетиторів, асистентів, систем підтримки клієнтів та інших мультимодальних застосунків.

Що таке Gemini 3.8 Live

Класичні голосові асистенти влаштовані як ланцюжок окремих етапів:

Ваш голос → розпізнавання мовлення → LLM → синтез мовлення → голосова відповідь

Кожна ланка додає затримку.

Gemini 3.8 Live влаштована інакше. Google називає це нативним досвідом audio-to-audio, що підтримує взаємодію в реальному часі, працює з мультимодальною інформацією й уміє користуватися інструментами.

Модель приймає текст, зображення, аудіо й відео і може видавати текст та аудіо. У специфікації вказано ліміт введення 131 072 токени й ліміт виведення 65 536 токенів.

Google позиціонує її як типовий вибір для більшості голосових агентів із низькою затримкою — там, де потрібен природний діалог без зайвої затримки на глибші міркування.

Gemini 3.8 Live та Extended Thinking

Насправді в релізі дві моделі:

• Gemini 3.8 Live налаштована на швидку, природну розмову. Обирайте її, коли важлива затримка й у пріоритеті швидкі відповіді.
• Gemini 3.8 Live Extended Thinking націлена на складніші задачі. Вона міркує глибше й може запускати асинхронні інструменти у фоні, поки розмова триває.

Припустімо, той, хто телефонує, просить голосового агента знайти найдешевший рейс, порівняти варіанти й обрати той, що пасує до його календаря. Звичайна голосова модель може просто замовкнути, поки працює.

Модель Extended Thinking може лишатися в розмові, поки робота йде деінде. За словами Google, поки працюють інструменти, вона використовує розмовні паузи-заповнювачі й проміжні оновлення. Це найважливіше для агентних голосових застосунків і значно менше — для простих голосових чат-ботів.

Що вона вміє

1. Speech-to-speech у реальному часі

Головна функція — нативна аудіовзаємодія в реальному часі. Система не чекає, доки ціле речення буде розшифровано, щоб згенерувати текстову відповідь. Live API тримає відкритою постійну двобічну сесію між вашим застосунком і Gemini та використовує для цього безперервного обміну WebSocket.

Це важливо, бо голосовий агент відрізняється від звичайного чат-бота. Чат-бот проходить цикл введення, обробки й виведення. Голосовий агент мусить слухати, розуміти, відповідати, знову слухати, приймати перебивання й продовжувати. Live API існує саме для підтримки цієї безперервної петлі.

2. Мультимодальне введення

Модель не обмежена звуком із мікрофона. Вона приймає аудіо, текст, зображення й відео, і це відкриває шлях цікавішим продуктам.

Приклад — застосунок-репетитор. Учень наводить камеру на задачу з математики й просить пояснити помилку. Модель використовує візуальне введення й відповідає голосом. У документації Live API також описано надсилання кадрів відео як зображень під час сесії.

3. Виклик інструментів

Саме інструменти перетворюють Gemini 3.8 Live з чат-бота, що говорить, на агента. Live API підтримує function calling, тож ваш застосунок може надати функції на кшталт таких:

check_weather()
search_flights()
book_meeting()
get_order_status()
query_database()
send_email()

Gemini сама вирішує, коли потрібна функція. Ваш застосунок виконує її й повертає результат моделі. Візьмімо клієнта, який питає про статус замовлення:

User:
"What's the status of my order?"

За лаштунками потік виглядає так:

        ↓Gemini 3.8 Live        ↓get_order_status(order_id)        ↓Your backend        ↓Order database        ↓Result returned to Gemini        ↓Spoken response

Така архітектура може перетворити простого голосового асистента на повноцінного робочого агента.

4. Опора на Google Search

Gemini 3.8 Live також уміє підкріплювати відповіді даними Google Search, що корисно для запитань, які залежать від актуальних фактів. Користувач може спитати про свіжі новини ШІ. Замість того щоб покладатися лише на те, що зберігається в моделі, Live API може використати Search для отримання свіжої інформації. Вмикається це в конфігурації сесії:

tools = [
    {"google_search": {}}
]

Завдяки цьому голосові агенти реального часу стають значно кориснішими для застосунків, що працюють із великим обсягом інформації.

5. Чергування міркувань

Gemini 3.8 Live підтримує й чергування міркувань. Міркування може відбуватися всередині поточного мультимодального обміну, без переходу в окремий текстовий потік. У документації Google мислення вказано серед можливостей Gemini 3.8 Live, а модель Extended Thinking іде далі: глибші міркування й асинхронне виконання інструментів під час живої розмови.

6. Транскрипція

Live API може повертати розшифровку як введення користувача, так і відповіді моделі. Розробники можуть зберігати, що сказав користувач і що відповіла Gemini, хоча сама розмова йде голосом. Це допомагає для:

• розшифровок дзвінків у підтримку
• асистентів на зустрічах
• голосових репетиторів
• аналітики дзвінків
• ШІ-інтерв'юерів
• голосових агентів

Тож обирати між голосовою взаємодією й текстовими логами, якими можна шукати, не доведеться.

Як спробувати без власного застосунку

Найпростіше експериментувати в Google AI Studio, де є інтерфейс Live для моделей реального часу. Анонс Google спрямовує розробників саме туди: AI Studio Live.

Це добрий спосіб зрозуміти поведінку моделі до написання коду. Можна почати з такого промпту:

Explain quantum computing like I'm 12.

А потім продовжити так:

Now explain it using a real-world analogy.Now ask me questions to test whether I understood it.

Мультимодальну поведінку теж можна перевірити: дайте візуальне введення й попросіть Gemini описати чи проаналізувати його.

Gemini Live для розробника

Розробники працюють із Gemini Live API через GenAI SDK від Google. Спершу встановіть його:

pip install -U google-genai

Поточна документація рекомендує для Live API SDK google-genai. Ще знадобиться ключ Gemini API. Його можна згенерувати в AI Studio, і Google радить зберігати його в змінній середовища, а не зашивати в код. У Windows:

set GEMINI_API_KEY=YOUR_API_KEY

У Linux або macOS:

export GEMINI_API_KEY="YOUR_API_KEY"

Простий приклад на Python

Мінімальне підключення напрочуд коротке. Почніть з імпортів:

import asyncio
from google import genai

Потім створіть клієнт, оберіть модель і відкрийте сесію, яка надішле одне текстове повідомлення й надрукує все, що прийде у відповідь:

client = genai.Client()model = "gemini-3.8-live"config = {
    "response_modalities": ["AUDIO"]
}async def main():    async with client.aio.live.connect(
        model=model,
        config=config
    ) as session:        print("Gemini Live session started")        await session.send_realtime_input(
            text="Explain artificial intelligence in simple words."
        )        async for response in session.receive():            if response.server_content:
                print(response.server_content)if __name__ == "__main__":
    asyncio.run(main())

Ключовий виклик — ось цей:

client.aio.live.connect()

Він поводиться не як звичайний виклик API з одним запитом. Він встановлює постійну живу сесію, і через те саме з'єднання можна далі надсилати введення й отримувати виведення.

Надсилання аудіо

Справжній голосовий застосунок стримить у сесію фрагменти аудіо. Наразі Live API очікує на вході сирий 16-бітний PCM із частотою 16 кГц. Спершу імпортуйте типи:

from google.genai import types

Потім надсилайте кожен фрагмент так:

await session.send_realtime_input(
    audio=types.Blob(
        data=audio_chunk,
        mime_type="audio/pcm;rate=16000"
    )
)

Gemini відповідає аудіо, яке ваш застосунок програє користувачеві. Це базова цеглинка голосового агента реального часу.

Надсилання відео

Кадри теж можна надсилати під час сесії:

await session.send_realtime_input(
    video=types.Blob(
        data=frame,
        mime_type="image/jpeg"
    )
)

Згідно з документацією, відеовведення — це серія окремих кадрів-зображень, для цього сценарію не більше одного кадру на секунду. Пайплайн може виглядати так:

Camera
   ↓
Frames
   ↓
Gemini 3.8 Live
   ↓
Visual understanding
   ↓
Voice response

Так можна будувати ШІ-репетиторів, візуальних асистентів та інструменти промислового контролю.

Голосовий агент з інструментами

Тепер уявіть ШІ-асистента банку, якого користувач питає, скільки пішло на їжу цього місяця.

Прямого доступу до вашої бази даних Gemini не потрібно. Ви реєструєте функцію, яку вона може запросити:

def get_food_expenses(month):
    # Query your database
    return 18500

Gemini запитує цю функцію через function calling. Ваш застосунок виконує її й передає результат назад. Від початку до кінця обмін виглядає так:

User speaks
      ↓
Gemini 3.8 Live
      ↓
Understands request
      ↓
Calls get_food_expenses()
      ↓
Your backend
      ↓
Database
      ↓
₹18,500
      ↓
Gemini
      ↓
"Your food expenses this month are ₹18,500."

Для користувача це відчувається як одна безперервна розмова.

Чому це важливо для агентів

Головна зміна — не якість голосу. Справжній зсув — у поєднанні голосу, зору, міркувань, інструментів і взаємодії в реальному часі в одній системі. Разом вони дають змогу будувати агентів, які не просто відповідають на запитання, а діють у довколишньому середовищі. Кілька прикладів:

• Агент підтримки, який слухає клієнта, читає завантажений документ, дивиться актуальні дані акаунта, викликає внутрішній API й пояснює результат уголос.
• Репетитор, який слухає учня, дивиться на рукописний розв'язок і підлаштовує пояснення під реакцію учня.
• Асистент виїзного сервісу, який бачить обладнання через камеру, поки технік ставить запитання голосом.

Ніщо з цього не схоже на традиційний текстовий чат-бот.

Ціни

В анонсі Google для Gemini 3.8 Live та Extended Thinking вказано одну ціну: $0.005 за хвилину аудіовведення і $0.018 за хвилину аудіовиведення. Реальний рахунок сильно залежить від того, скільки говорять користувачі й скільки аудіо генерує модель. Для голосового агента це справжній чинник дизайну: довгі розмови швидко накопичують витрату аудіо.

Gemini 3.8 Live і традиційний стек

Основна різниця вміщується у дві схеми. Традиційний голосовий стек:

Microphone
   ↓
Speech Recognition
   ↓
LLM
   ↓
Text
   ↓
Text-to-Speech
   ↓
Speaker

І з Gemini 3.8 Live:

Microphone / Camera / Text
          ↓
   Gemini 3.8 Live
          ↓
Audio / Text

Другий підхід може спростити архітектуру, бо більше не потрібно вручну з'єднувати розпізнавач, модуль міркувань і генератор мовлення. У подачі Google Live-моделі — альтернатива каскадним голосовим пайплайнам.

Питання безпеки, яке не можна пропускати

Для експериментів API-ключ підходить. Але в продакшн-застосунку для браузера чи мобільного пристрою ніколи не кладіть довгоживучий ключ у клієнтський код.

Google рекомендує ефемерні токени для застосунків Live API, де клієнт підключається до сервера, — це знижує ризик витоку звичайних облікових даних. Продакшн-схема має виглядати радше так:

User Device
     ↓
Your Application
     ↓
Secure Authentication
     ↓
Ephemeral Token
     ↓
Gemini Live API

Постійний ключ Gemini взагалі не потрапляє у фронтенд.

Що це означає для голосового ШІ

Gemini 3.8 Live позначає реальну зміну в тому, як будується голосовий ШІ. Цікаве не саме мовлення: системи ШІ й так говорять дуже природно. Нове в тому, що модель веде живу розмову, водночас обробляючи аудіо, зображення, відео й текст, викликає інструменти, а у варіанті Extended Thinking ще й виконує важчі міркування у фоні.

Почати легко. Відкрийте Live у Google AI Studio, спробуйте модель і переходьте на Gemini Live API, коли будете готові будувати власний застосунок. Базовий стек тепер дуже простий:

User
 ↓
Voice / Camera
 ↓
Gemini 3.8 Live
 ↓
Reasoning + Tools + Search
 ↓
Voice Response

Саме за цим варто стежити. Голосовий ШІ зміщується від чат-бота, що говорить, до мультимодальних агентів реального часу, які вміють доводити справи до кінця.