Gemini 3.8 Live: native Speech-to-Speech-Sprachagenten mit der Live API

Google hat Gemini 3.8 Live veröffentlicht, ein Echtzeit-Sprachmodell für natürliches Hin und Her im Gespräch, dazu ein Geschwistermodell namens Gemini 3.8 Live Extended Thinking. Letzteres ist für anspruchsvolleres Schlussfolgern gedacht, während das Gespräch weiterläuft. Beide sind über die Gemini API verfügbar, und in Google AI Studio lassen sie sich ausprobieren, ohne eine Zeile Code zu schreiben.

Bemerkenswert ist der Aufbau. Gemini 3.8 Live ist kein Speech-to-Text-Schritt, der an ein LLM und dann an einen Text-to-Speech-Schritt geschraubt wurde. Es ist ein natives Speech-to-Speech-Modell, das Live-Eingaben annimmt und mit geringer Latenz gesprochene Ausgabe erzeugt. Damit ist es ein starker Kandidat für Sprachagenten, Tutoren, Assistenten, Kundensupport-Systeme und andere multimodale Anwendungen.

Was Gemini 3.8 Live ist

Klassische Sprachassistenten arbeiten als Kette getrennter Stufen:

Ihre Stimme → Speech-to-Text → LLM → Text-to-Speech → gesprochene Antwort

Jedes Glied fügt Verzögerung hinzu.

Gemini 3.8 Live ist anders aufgebaut. Google spricht von einem nativen Audio-zu-Audio-Erlebnis, das Echtzeit-Interaktion unterstützt, multimodale Informationen verarbeitet und mit Tools arbeiten kann.

Das Modell nimmt Text, Bilder, Audio und Video an und kann Text und Audio ausgeben. Die Spezifikation nennt ein Eingabelimit von 131.072 Tokens und ein Ausgabelimit von 65.536 Tokens.

Google stellt es als Standardwahl für die meisten Sprachagenten mit niedriger Latenz vor, also für Fälle, in denen natürlicher Dialog gefragt ist und die zusätzliche Verzögerung tieferen Schlussfolgerns stören würde.

Gemini 3.8 Live und Extended Thinking im Vergleich

Das Release enthält eigentlich zwei Modelle:

• Gemini 3.8 Live ist auf schnelle, natürliche Gespräche abgestimmt. Nehmen Sie es, wenn Latenz zählt und schnelle Antworten Vorrang haben.
• Gemini 3.8 Live Extended Thinking zielt auf schwierigere Aufgaben. Es denkt weiter und kann asynchrone Tools im Hintergrund ausführen, während das Gespräch weitergeht.

Angenommen, ein Anrufer bittet einen Sprachagenten, den günstigsten Flug zu finden, die Optionen zu vergleichen und den zu wählen, der zu seinem Kalender passt. Ein gewöhnliches Sprachmodell würde dabei womöglich verstummen.

Das Extended-Thinking-Modell kann im Gespräch bleiben, während die Arbeit woanders läuft. Laut Google nutzt es Füllphrasen und Zwischenstände, während Tools laufen. Das zählt vor allem bei agentischen Sprachanwendungen und deutlich weniger bei einfachen Voice-Chatbots.

Was es kann

1. Speech-to-Speech in Echtzeit

Die zentrale Funktion ist native Audio-Interaktion in Echtzeit. Das System wartet nicht, bis ein ganzer Satz transkribiert ist, um eine Textantwort zu erzeugen. Die Live API hält eine dauerhafte, bidirektionale Sitzung zwischen Ihrer App und Gemini offen und nutzt dafür WebSockets für den ständigen Austausch.

Das ist wichtig, weil sich ein Sprachagent von einem normalen Chatbot unterscheidet. Ein Chatbot wartet einen Zyklus aus Eingabe, Verarbeitung und Ausgabe ab. Ein Sprachagent muss zuhören, verstehen, antworten, wieder zuhören, Unterbrechungen annehmen und weitermachen. Die Live API ist genau für diese durchgehende Schleife da.

2. Multimodale Eingabe

Das Modell ist nicht auf Mikrofon-Audio beschränkt. Es nimmt Audio, Text, Bilder und Video an, was interessantere Produkte ermöglicht.

Ein Beispiel ist eine Tutor-App. Eine Schülerin richtet die Kamera auf eine Matheaufgabe und bittet den Tutor, den Fehler zu erklären. Das Modell nutzt die Bildeingabe und antwortet gesprochen. Die Live-API-Dokumentation beschreibt auch, wie man während einer Sitzung Videoframes als Bilder sendet.

3. Tool-Aufrufe

Erst die Tool-Nutzung macht aus Gemini 3.8 Live statt eines sprechenden Chatbots einen Agenten. Die Live API unterstützt Function Calling, sodass Ihre Anwendung Funktionen wie diese bereitstellen kann:

check_weather()
search_flights()
book_meeting()
get_order_status()
query_database()
send_email()

Gemini entscheidet, wann eine Funktion gebraucht wird. Ihre App führt sie aus und gibt das Ergebnis an das Modell zurück. Nehmen wir einen Kunden, der nach dem Bestellstatus fragt:

User:
"What's the status of my order?"

Hinter den Kulissen sieht der Ablauf so aus:

        ↓Gemini 3.8 Live        ↓get_order_status(order_id)        ↓Your backend        ↓Order database        ↓Result returned to Gemini        ↓Spoken response

Eine solche Architektur kann aus einem einfachen Sprachassistenten einen echten operativen Agenten machen.

4. Grounding mit Google Search

Gemini 3.8 Live kann Antworten außerdem mit Google Search absichern, was bei Fragen hilft, die von aktuellen Fakten abhängen. Ein Nutzer fragt vielleicht nach den neuesten KI-Schlagzeilen. Statt sich nur auf das im Modell gespeicherte Wissen zu verlassen, kann die Live API über Search frische Informationen holen. Eingeschaltet wird das in der Sitzungskonfiguration:

tools = [
    {"google_search": {}}
]

Das macht Echtzeit-Sprachagenten für informationslastige Apps deutlich nützlicher.

5. Verschränktes Schlussfolgern

Gemini 3.8 Live unterstützt auch verschränktes Schlussfolgern. Das Denken kann innerhalb eines laufenden multimodalen Austauschs stattfinden, ohne in einen separaten reinen Text-Flow zu wechseln. Googles Modelldokumentation führt Thinking als eine der Fähigkeiten von Gemini 3.8 Live auf, und das Extended-Thinking-Modell geht weiter, mit tieferem Schlussfolgern und asynchroner Tool-Ausführung während eines Live-Gesprächs.

6. Transkription

Die Live API kann Transkripte sowohl der Nutzereingabe als auch der Modellausgabe zurückgeben. Entwickler können festhalten, was der Nutzer gesagt und was Gemini geantwortet hat, während das Gespräch selbst in Audio bleibt. Das hilft bei:

• Transkripten von Support-Anrufen
• Meeting-Assistenten
• Sprach-Tutoren
• Anrufanalysen
• KI-Interviewern
• sprachgesteuerten Agenten

Man muss sich also nicht zwischen Sprachinteraktion und durchsuchbaren Textprotokollen entscheiden.

Ausprobieren, ohne eine App zu bauen

Am einfachsten experimentiert man in Google AI Studio, das eine Live-Oberfläche für die Echtzeitmodelle bietet. Googles Ankündigung verweist Entwickler genau dorthin: AI Studio Live.

So lernt man das Verhalten des Modells kennen, bevor man Code schreibt. Ein möglicher Einstieg ist ein Prompt wie:

Explain quantum computing like I'm 12.

Danach weiter mit:

Now explain it using a real-world analogy.Now ask me questions to test whether I understood it.

Auch multimodales Verhalten lässt sich testen, indem man visuelle Eingaben liefert und Gemini bittet, sie zu beschreiben oder zu analysieren.

Gemini Live als Entwickler nutzen

Entwickler erreichen die Gemini Live API über Googles GenAI SDK. Zuerst installieren:

pip install -U google-genai

Die aktuelle Dokumentation empfiehlt für die Live API das SDK google-genai. Außerdem braucht man einen Gemini-API-Key. AI Studio kann einen erzeugen, und Google rät, ihn in einer Umgebungsvariable abzulegen statt fest in den Code zu schreiben. Unter Windows:

set GEMINI_API_KEY=YOUR_API_KEY

Unter Linux oder macOS:

export GEMINI_API_KEY="YOUR_API_KEY"

Ein einfaches Python-Beispiel

Die minimale Verbindung ist überraschend kurz. Zuerst die Imports:

import asyncio
from google import genai

Dann den Client erstellen, das Modell wählen und eine Sitzung öffnen, die eine Textnachricht sendet und alles ausgibt, was zurückkommt:

client = genai.Client()model = "gemini-3.8-live"config = {
    "response_modalities": ["AUDIO"]
}async def main():    async with client.aio.live.connect(
        model=model,
        config=config
    ) as session:        print("Gemini Live session started")        await session.send_realtime_input(
            text="Explain artificial intelligence in simple words."
        )        async for response in session.receive():            if response.server_content:
                print(response.server_content)if __name__ == "__main__":
    asyncio.run(main())

Der entscheidende Aufruf ist dieser:

client.aio.live.connect()

Er verhält sich nicht wie ein normaler API-Aufruf mit einer einzelnen Anfrage. Er baut eine dauerhafte Live-Sitzung auf, und über dieselbe Verbindung kann man weiter Eingaben senden und Ausgaben empfangen.

Audio senden

Eine echte Sprach-App streamt Audio-Chunks in die Sitzung. Die Live API erwartet als Audioeingabe derzeit rohes 16-Bit-PCM mit 16 kHz. Zuerst die Typen importieren:

from google.genai import types

Dann jeden Chunk so senden:

await session.send_realtime_input(
    audio=types.Blob(
        data=audio_chunk,
        mime_type="audio/pcm;rate=16000"
    )
)

Gemini antwortet mit Audio, das Ihre App dem Nutzer abspielt. Das ist der Grundbaustein eines Echtzeit-Sprachagenten.

Video senden

Auch Bildframes lassen sich während der Sitzung senden:

await session.send_realtime_input(
    video=types.Blob(
        data=frame,
        mime_type="image/jpeg"
    )
)

Laut Dokumentation besteht Videoeingabe aus einer Folge einzelner Bildframes, bei diesem Workflow höchstens ein Frame pro Sekunde. Eine Pipeline könnte so aussehen:

Camera
   ↓
Frames
   ↓
Gemini 3.8 Live
   ↓
Visual understanding
   ↓
Voice response

So ließen sich KI-Tutoren, visuelle Assistenten und Werkzeuge für die industrielle Inspektion bauen.

Ein Sprachagent mit Tools

Stellen Sie sich jetzt einen KI-Bankassistenten vor, den der Nutzer fragt, wie viel diesen Monat für Essen ausgegeben wurde.

Gemini braucht keinen direkten Zugriff auf Ihre Datenbank. Sie registrieren eine Funktion, die es anfordern kann:

def get_food_expenses(month):
    # Query your database
    return 18500

Gemini fordert diese Funktion per Function Calling an. Ihre App führt sie aus und gibt das Ergebnis zurück. Von Anfang bis Ende läuft der Austausch so:

User speaks
      ↓
Gemini 3.8 Live
      ↓
Understands request
      ↓
Calls get_food_expenses()
      ↓
Your backend
      ↓
Database
      ↓
₹18,500
      ↓
Gemini
      ↓
"Your food expenses this month are ₹18,500."

Für den Nutzer fühlt sich das wie ein einziges durchgehendes Gespräch an.

Warum das für Agenten wichtig ist

Die bessere Sprachqualität ist nicht die Hauptsache. Der eigentliche Wandel ist die Kombination aus Stimme, Sehen, Schlussfolgern, Tools und Echtzeit-Interaktion in einem System. Zusammen ermöglichen sie Agenten, die nicht nur Fragen beantworten, sondern auf ihre Umgebung reagieren und handeln. Einige Beispiele:

• Ein Support-Agent, der einem Kunden zuhört, ein hochgeladenes Dokument liest, die aktuellen Kontodaten nachschlägt, eine interne API aufruft und das Ergebnis laut erklärt.
• Ein Tutor, der einem Schüler zuhört, eine handschriftliche Lösung ansieht und seine Erklärung an die Reaktion des Schülers anpasst.
• Ein Assistent für den Außendienst, der Geräte über eine Kamera sieht, während ein Techniker per Sprache Fragen stellt.

Nichts davon ähnelt einem klassischen Text-Chatbot.

Preise

Googles Ankündigung nennt für Gemini 3.8 Live und Extended Thinking denselben Preis: $0.005 pro Minute Audioeingabe und $0.018 pro Minute Audioausgabe. Die tatsächliche Rechnung hängt stark davon ab, wie viel die Nutzer sprechen und wie viel Audio das Modell erzeugt. Für einen Sprachagenten ist das ein echter Designfaktor, denn lange Gespräche treiben den Audioverbrauch schnell in die Höhe.

Gemini 3.8 Live im Vergleich zum klassischen Stack

Der Kernunterschied passt in zwei Diagramme. Der klassische Sprach-Stack:

Microphone
   ↓
Speech Recognition
   ↓
LLM
   ↓
Text
   ↓
Text-to-Speech
   ↓
Speaker

Und mit Gemini 3.8 Live:

Microphone / Camera / Text
          ↓
   Gemini 3.8 Live
          ↓
Audio / Text

Der zweite Ansatz kann die Architektur vereinfachen, weil man Spracherkennung, Schlussfolgerungskomponente und Sprachsynthese nicht mehr von Hand verbinden muss. In Googles Darstellung sind die Live-Modelle eine Alternative zu kaskadierten Sprach-Pipelines.

Ein Sicherheitspunkt, den Sie nicht überspringen sollten

Für Experimente ist ein API-Key in Ordnung. In einer produktiven Browser- oder Mobil-App gehört ein langlebiger Key aber niemals in den clientseitigen Code.

Google empfiehlt Ephemeral Tokens für Client-zu-Server-Apps mit der Live API, was das Risiko senkt, reguläre Zugangsdaten preiszugeben. Ein produktives Setup sollte eher so aussehen:

User Device
     ↓
Your Application
     ↓
Secure Authentication
     ↓
Ephemeral Token
     ↓
Gemini Live API

Der dauerhafte Gemini-Key bleibt komplett aus dem Frontend heraus.

Was das für Voice-KI bedeutet

Gemini 3.8 Live markiert einen echten Wandel darin, wie Voice-KI gebaut wird. Das Sprechen selbst ist nicht der spannende Teil, denn KI-Systeme klingen längst sehr natürlich. Neu ist, dass das Modell ein Live-Gespräch führt und dabei Audio, Bilder, Video und Text verarbeitet, Tools aufruft und in der Extended-Thinking-Variante im Hintergrund schwereres Schlussfolgern erledigt.

Der Einstieg ist einfach. Öffnen Sie das Live-Erlebnis in Google AI Studio, probieren Sie das Modell aus und wechseln Sie zur Gemini Live API, wenn Sie bereit sind, eine eigene App zu bauen. Der Basis-Stack ist inzwischen sehr schlicht:

User
 ↓
Voice / Camera
 ↓
Gemini 3.8 Live
 ↓
Reasoning + Tools + Search
 ↓
Voice Response

Genau das sollte man beobachten. Voice-KI entwickelt sich vom sprechenden Chatbot hin zu multimodalen Echtzeit-Agenten, die Dinge erledigen können.