Gemini 3.8 Live: agentes de voz con speech-to-speech nativo mediante la Live API

Google ha lanzado Gemini 3.8 Live, un modelo de voz en tiempo real pensado para conversaciones naturales de ida y vuelta, junto con un modelo hermano llamado Gemini 3.8 Live Extended Thinking. Este segundo está pensado para razonamientos más difíciles mientras la conversación sigue su curso. Ambos están disponibles en la Gemini API, y Google AI Studio permite probarlos sin escribir código.

Lo llamativo es el diseño. Gemini 3.8 Live no es un paso de voz a texto atornillado a un LLM y luego a un paso de texto a voz. Es un modelo speech-to-speech nativo que recibe entrada en directo y genera voz con baja latencia. Eso lo convierte en un candidato sólido para agentes de voz, tutores, asistentes, sistemas de atención al cliente y otras aplicaciones multimodales.

Qué es Gemini 3.8 Live

Los asistentes de voz clásicos funcionan como una cadena de etapas separadas:

Tu voz → voz a texto → LLM → texto a voz → respuesta hablada

Cada eslabón añade retraso.

Gemini 3.8 Live se organiza en torno a otra cosa. Google lo describe como una experiencia nativa de audio a audio que admite interacción en tiempo real, maneja información multimodal y puede trabajar con herramientas.

El modelo acepta texto, imágenes, audio y vídeo, y puede producir texto y audio. Su especificación indica un límite de entrada de 131.072 tokens y uno de salida de 65.536 tokens.

Google lo presenta como la opción por defecto para la mayoría de los agentes de voz de baja latencia, en los casos en que se busca un diálogo natural sin el retraso adicional de un razonamiento más profundo.

Gemini 3.8 Live frente a Extended Thinking

En realidad el lanzamiento incluye dos modelos:

• Gemini 3.8 Live está ajustado para conversaciones rápidas y naturales. Elígelo cuando la latencia importa y la prioridad son las respuestas rápidas.
• Gemini 3.8 Live Extended Thinking apunta a tareas más difíciles. Razona más a fondo y puede ejecutar herramientas asíncronas en segundo plano mientras la conversación continúa.

Supongamos que alguien llama y pide a un agente de voz que encuentre el vuelo más barato, compare las opciones y elija el que encaje con su agenda. Un modelo de voz corriente podría quedarse callado mientras trabaja.

El modelo Extended Thinking puede seguir presente en la conversación mientras el trabajo ocurre en otro sitio. Según Google, usa muletillas conversacionales y avisos intermedios mientras se ejecutan las herramientas. Eso importa sobre todo en aplicaciones de voz agénticas, y mucho menos en chatbots de voz sencillos.

Qué puede hacer

1. Speech-to-speech en tiempo real

La función estrella es la interacción de audio nativa en tiempo real. El sistema no espera a transcribir una frase completa para generar una respuesta en texto. La Live API mantiene abierta una sesión persistente y bidireccional entre tu app y Gemini, y usa WebSockets para ese intercambio constante.

Esto importa porque un agente de voz no es un chatbot normal. Un chatbot espera un ciclo de entrada, procesamiento y salida. Un agente de voz tiene que escuchar, entender, responder, volver a escuchar, aceptar interrupciones y seguir. La Live API existe para sostener ese bucle continuo.

2. Entrada multimodal

El modelo no se limita al audio del micrófono. Acepta audio, texto, imágenes y vídeo, lo que abre la puerta a productos más interesantes.

Un ejemplo es una app de tutoría. Un estudiante apunta la cámara a un problema de matemáticas y pide al tutor que le explique el error. El modelo usa la entrada visual y responde en voz alta. La documentación de la Live API también explica cómo enviar fotogramas de vídeo como imágenes durante una sesión.

3. Llamadas a herramientas

El uso de herramientas es lo que convierte a Gemini 3.8 Live de un chatbot que habla en un agente. La Live API admite function calling, así que tu aplicación puede exponer funciones como estas:

check_weather()
search_flights()
book_meeting()
get_order_status()
query_database()
send_email()

Gemini decide cuándo hace falta una función. Tu app la ejecuta y devuelve el resultado al modelo. Pensemos en un cliente que pregunta por el estado de su pedido:

User:
"What's the status of my order?"

Entre bastidores, el flujo es este:

        ↓Gemini 3.8 Live        ↓get_order_status(order_id)        ↓Your backend        ↓Order database        ↓Result returned to Gemini        ↓Spoken response

Una arquitectura así puede convertir un asistente de voz básico en un agente operativo de verdad.

4. Respuestas fundamentadas con Google Search

Gemini 3.8 Live también puede fundamentar sus respuestas con Google Search, lo que ayuda en preguntas que dependen de datos actuales. Un usuario podría preguntar por los últimos titulares sobre IA. En lugar de depender solo de lo que guarda el modelo, la Live API puede usar Search para obtener información reciente. Se activa en la configuración de la sesión:

tools = [
    {"google_search": {}}
]

Eso hace que los agentes de voz en tiempo real sean mucho más útiles en apps que manejan mucha información.

5. Razonamiento intercalado

Gemini 3.8 Live también admite razonamiento intercalado. El razonamiento puede producirse dentro de un intercambio multimodal en curso, sin tener que pasar a un flujo aparte solo de texto. La documentación del modelo de Google incluye el thinking entre las capacidades de Gemini 3.8 Live, y el modelo Extended Thinking va más allá, con un razonamiento más profundo y ejecución asíncrona de herramientas durante una conversación en directo.

6. Transcripción

La Live API puede devolver transcripciones tanto de la entrada del usuario como de la salida del modelo. Los desarrolladores pueden guardar lo que dijo el usuario y lo que respondió Gemini mientras la conversación sigue siendo de audio. Eso sirve para:

• transcripciones de llamadas de soporte
• asistentes de reuniones
• tutores de voz
• analítica de llamadas
• entrevistadores con IA
• agentes controlados por voz

Así que no hay que elegir entre interacción por voz y registros de texto en los que se pueda buscar.

Probarlo sin construir una app

La forma más sencilla de experimentar es Google AI Studio, que ofrece una interfaz Live para los modelos en tiempo real. El anuncio de Google dirige a los desarrolladores precisamente ahí: AI Studio Live.

Es una buena manera de entender cómo se comporta el modelo antes de escribir código. Podrías empezar con un prompt como este:

Explain quantum computing like I'm 12.

Y seguir con:

Now explain it using a real-world analogy.Now ask me questions to test whether I understood it.

También puedes probar el comportamiento multimodal dándole una entrada visual y pidiendo a Gemini que la describa o la analice.

Usar Gemini Live como desarrollador

Los desarrolladores acceden a la Gemini Live API mediante el GenAI SDK de Google. Primero, instálalo:

pip install -U google-genai

La documentación actual recomienda el SDK google-genai para la Live API. También necesitas una clave de la Gemini API. AI Studio puede generarla, y Google aconseja guardarla en una variable de entorno en lugar de escribirla en el código. En Windows:

set GEMINI_API_KEY=YOUR_API_KEY

En Linux o macOS:

export GEMINI_API_KEY="YOUR_API_KEY"

Un ejemplo básico en Python

La conexión mínima es sorprendentemente corta. Empieza por los imports:

import asyncio
from google import genai

Luego crea el cliente, elige el modelo y abre una sesión que envíe un mensaje de texto e imprima lo que vuelva:

client = genai.Client()model = "gemini-3.8-live"config = {
    "response_modalities": ["AUDIO"]
}async def main():    async with client.aio.live.connect(
        model=model,
        config=config
    ) as session:        print("Gemini Live session started")        await session.send_realtime_input(
            text="Explain artificial intelligence in simple words."
        )        async for response in session.receive():            if response.server_content:
                print(response.server_content)if __name__ == "__main__":
    asyncio.run(main())

La llamada clave es esta:

client.aio.live.connect()

No se comporta como una llamada normal a una API con una sola petición. Establece una sesión en directo persistente, y por la misma conexión puedes seguir enviando entradas y recibiendo salidas.

Enviar audio

Una app de voz real envía fragmentos de audio en streaming a la sesión. Ahora mismo la Live API espera como entrada PCM en bruto de 16 bits a 16 kHz. Primero importa los tipos:

from google.genai import types

Después envía cada fragmento así:

await session.send_realtime_input(
    audio=types.Blob(
        data=audio_chunk,
        mime_type="audio/pcm;rate=16000"
    )
)

Gemini responde con audio, que tu app reproduce para el usuario. Esa es la pieza básica de un agente de voz en tiempo real.

Enviar vídeo

También se pueden enviar fotogramas durante la sesión:

await session.send_realtime_input(
    video=types.Blob(
        data=frame,
        mime_type="image/jpeg"
    )
)

Según la documentación, la entrada de vídeo es una serie de fotogramas individuales, con un máximo de un fotograma por segundo en este flujo. Un pipeline podría ser así:

Camera
   ↓
Frames
   ↓
Gemini 3.8 Live
   ↓
Visual understanding
   ↓
Voice response

Así podrían construirse tutores con IA, asistentes visuales y herramientas de inspección industrial.

Un agente de voz con herramientas

Imagina ahora un asistente bancario con IA al que el usuario pregunta cuánto ha gastado en comida este mes.

Gemini no necesita acceso directo a tu base de datos. Registras una función que puede solicitar:

def get_food_expenses(month):
    # Query your database
    return 18500

Gemini solicita esa función mediante function calling. Tu app la ejecuta y le devuelve el resultado. De principio a fin, el intercambio es así:

User speaks
      ↓
Gemini 3.8 Live
      ↓
Understands request
      ↓
Calls get_food_expenses()
      ↓
Your backend
      ↓
Database
      ↓
₹18,500
      ↓
Gemini
      ↓
"Your food expenses this month are ₹18,500."

Para el usuario, se siente como una única conversación continua.

Por qué esto importa para los agentes

La mejor calidad de voz no es el cambio principal. El verdadero salto es combinar voz, visión, razonamiento, herramientas e interacción en tiempo real en un solo sistema. Juntos permiten construir agentes que no se limitan a responder preguntas, sino que actúan sobre lo que los rodea. Algunos ejemplos:

• Un agente de soporte que escucha a un cliente, lee un documento subido, consulta los datos más recientes de la cuenta, llama a una API interna y explica el resultado en voz alta.
• Un tutor que escucha a un estudiante, mira una solución escrita a mano y adapta su explicación a la reacción del estudiante.
• Un asistente para técnicos de campo que ve el equipo a través de una cámara mientras el técnico hace preguntas por voz.

Nada de eso se parece a un chatbot de texto tradicional.

Precios

El anuncio de Google indica la misma tarifa para Gemini 3.8 Live y Extended Thinking: $0.005 por minuto de entrada de audio y $0.018 por minuto de salida de audio. La factura real depende mucho de cuánto hablen los usuarios y cuánto audio genere el modelo. Para un agente de voz es un factor de diseño real, porque las conversaciones largas acumulan consumo de audio rápidamente.

Gemini 3.8 Live frente al stack tradicional

La diferencia de fondo cabe en dos diagramas. El stack de voz tradicional:

Microphone
   ↓
Speech Recognition
   ↓
LLM
   ↓
Text
   ↓
Text-to-Speech
   ↓
Speaker

Y con Gemini 3.8 Live:

Microphone / Camera / Text
          ↓
   Gemini 3.8 Live
          ↓
Audio / Text

El segundo enfoque puede simplificar la arquitectura, porque ya no hace falta unir a mano un reconocedor, un módulo de razonamiento y un generador de voz. Tal como lo plantea Google, los modelos Live son una alternativa a los pipelines de voz en cascada.

Un punto de seguridad que no conviene saltarse

Para experimentar, una clave de API está bien. Pero en una app de navegador o móvil en producción, nunca pongas una clave de larga duración en el código del cliente.

Google recomienda tokens efímeros para las apps cliente-servidor con la Live API, lo que reduce el riesgo de exponer credenciales estándar. Una configuración de producción debería parecerse más a esto:

User Device
     ↓
Your Application
     ↓
Secure Authentication
     ↓
Ephemeral Token
     ↓
Gemini Live API

La clave permanente de Gemini queda completamente fuera del frontend.

Dónde deja esto a la IA de voz

Gemini 3.8 Live marca un cambio real en la forma de construir IA de voz. Lo interesante no es que hable, porque los sistemas de IA ya producen una voz muy natural. Lo nuevo es que el modelo mantiene una conversación en directo mientras procesa audio, imágenes, vídeo y texto, llama a herramientas y, en la variante Extended Thinking, hace razonamientos más pesados en segundo plano.

Empezar es fácil. Abre la experiencia Live en Google AI Studio, prueba el modelo y pasa a la Gemini Live API cuando estés listo para construir tu propia app. El stack básico ahora es muy sencillo:

User
 ↓
Voice / Camera
 ↓
Gemini 3.8 Live
 ↓
Reasoning + Tools + Search
 ↓
Voice Response

Eso es lo que hay que vigilar. La IA de voz está pasando de chatbots que hablan a agentes multimodales en tiempo real capaces de resolver cosas.