Gemini Agentic Video Mode: Schema-Design und Zeitstempel-Abweichung
Tests der agierenden und statischen Video-Modi von Gemini anhand eines chinesischen Spielfilms: Wie das Schema-Design die Genauigkeit der Zeitstempel, Abweichungen, Zitate sowie Zeitintervalle beeinflusst.
Quellen: Unlocking Gemini's Agentic Video Mode: Schema Design, Timestamp Drift, and Jay Chou's Secret
Google hat kürzlich eine „agentenbasierte“ Videoverständnisschnittstelle für Gemini veröffentlicht, was eine gute Gelegenheit bietet, mit einem schwierigen Testfall praktische Experimente durchzuführen: einem Spielfilm auf Chinesisch, Secret (2007) von Jay Chou. Die Experimente konzentrieren sich auf eine Frage: Wenn man das Modell nach den Momenten im Video fragt, in denen wichtige Ideen auftauchen, wie genau sind die Zeitstempel, und inwieweit verändert die Gestaltung des Ausgabeschemas das Ergebnis?
Man benötigt eine GOOGLE_API_KEY, die AI Studio in Form eines ordentlichen kostenlosen Tarifs zur Verfügung stellt. Die Einrichtungsdetails finden sich im Anhang am Ende.
Warum ein chinesischer Film ein guter Test ist
Die Idee entstand mit einem Lernwerkzeug, das dazu diente, Schülern bei der Bearbeitung des zugewiesenen Stoffes zu helfen, obwohl auch neugierige Erwachsene davon profitieren konnten, indem sie auf unbekannte Herausforderungen stießen. Nachdem festgestellt wurde, dass ein Gemini Flash Lite-Modell sowohl Chinesisch zusammenfassen als auch darauf antworten konnte, schien es selbstverständlich, den Anwendungsbereich von der Bildung auf Unterhaltung auszuweiten. Der Film war ein guter Kandidat, da es sich um eine romantische Geschichte mit viel Klaviermusik handelt, die über einen unvergesslichen Soundtrack verfügt und bei der die Hauptdarstellerin die ruhigen Momente trägt.
Es gilt eine Spoilerwarnung: Was folgt, enthüllt das zentrale Geheimnis des Films. Das Ausgangsvideo für die Tests ist eine YouTube-Filmanalyse, die die Handlung bis etwa zur Stelle 16:23 erzählt, danach wechselt der Erzähler zur Analyse, wie die Handlung von Jay Chous eigenem Leben inspiriert wurde. Der Film lohnt sich dennoch aufgrund seiner Musik und der subtilen Gesichtsausdrücke der Hauptdarstellerin, und es gibt mindestens zwei Versionen davon auf Bilibili.
Was diesen Test wirklich schwierig macht, ist die Sprache. Chinesisch weist weitaus weniger automatisch generierte Transkripte auf als englische Videos, wodurch das Modell von Anfang an benachteiligt ist und zeigen muss, was es ohne diese Unterstützung leisten kann. Man muss Chinesisch nicht lesen, um mitzukommen, doch es hilft dabei, die Ergebnisse besser zu verstehen.
Warum der Zeitstempelversatz wichtig ist
Sowohl im Lern- als auch im Unterhaltungsbereich besteht ein gemeinsames Bedürfnis nach der Lokalisierung von Zeitstempeln – um direkt zu den wichtigen Momenten zu gelangen. Studenten nutzen dies, um die Erklärung eines Konzepts erneut anzusehen. Zuschauer tun dies, um „Easter Eggs“ zu finden und gute Erzählweisen erneut zu entdecken.
Der progressive Zeitstempelversatz in Geminis Audio-Transkriptionen wurde ausführlich im Entwicklerforum von Google berichtet. Eine zuverlässige Lösung wäre ein älteres, nicht auf KI basierendes Modell, doch das wäre kaum ein interessantes Experiment; daher bestand die Hoffnung, dass der agierende Modus bessere Ergebnisse liefern würde.
Kurz gesagt: Es kommt immer noch zu Abweichungen. In etwa 95 Prozent der Fälle bleibt der Fehler innerhalb einer Sekunde, doch bei einigen Punkten treten extreme Abweichungen von 10 bis 20 Sekunden auf. Interessanterweise konzentrieren sich diese Abweichungen auf immer wieder dieselben Stellen, was ausreicht, damit eine ungezielte Nutzung niemanden stört. Entwickler können zudem nachträglich fehlerhafte Zeitstempel durch Abgleich mit einer zeitlich beschrifteten Transkription innerhalb eines Zeitfensters aussortieren, sofern eine solche Transkription verfügbar ist.
Schemendesign ist besser als Prompt-Design
LLM-Schemata werden in der Regel in JSON Schema geschrieben. Bibliotheken wie Pydantic in Python oder Zod in TypeScript ermöglichen es, sie auf Anwendungsebene zu definieren und automatisch in JSON Schema zu kompilieren, bevor sie in den Prompt eingefügt werden. Allein anhand der Variablennamen und -typen lässt sich in der Regel vorhersagen, was das Modell zurückgeben wird.
Die Sicht des Experimentators ist unverblümt: Es ist seltsam, dass Prompt Engineering so viel Aufmerksamkeit erhält, während das Schema-Engineering die eigentliche Stärke darstellt. Ein Schema kodiert fast das gesamte Verhalten des Modells. Selbst mit einem mittelmäßigen Prompt kann das Modell anhand der Feldstruktur und -namen erahnen, was man möchte, während man bei einem schlechten Schema auf sich allein gestellt ist und hofft, dass ein brillanter Prompt einen rettet.
Es gibt einen Parallelismus zum Datenmodellieren in der Datenverarbeitung, wobei der Unterschied darin besteht, dass die Ausgabeschemata von LLMs eher einem NoSQL-Design wie MongoDB ähneln als einem relationellen Modell wie Postgres. Eine interessante Entscheidung betrifft rekursive Strukturen: Sie können als flache, selbstverweisende Tabellen kodiert werden, wobei child_id und parent_id eine unbegrenzte Verkettung ermöglichen. Die Anbieter unterscheiden sich darin, ob sie überhaupt rekursive JSON-Schemata zulassen, sodass diese Wahl Ihnen aufgezwungen werden könnte.
Das Schema lesen
Genau wie beim Datenmodellieren ist die Kardinalität wichtig. Ein Film hat viele Konzepte, die als Array dargestellt werden. Im Bildungsbereich hat ein Thema Voraussetzungen, Anwendungen, Erweiterungen, Annahmen und Einschränkungen. In einem Film gibt es Ereignisse, die Entwicklung der Charaktere, einen Höhepunkt und eine Auflösung.
Ein Konzept hat viele Zeitstempel. Im Unterricht tritt dies auf, wenn mehrere Konzepte miteinander verglichen werden, um nach ihrer Einführung höherstufiges Denken zu fördern. In Filmen geschieht dies, wenn Regisseure Rückblenden verwenden oder die Geschichte aus einer anderen Reihenfolge erzählen.
Die Zeitstempeldaten enthalten einige Eigenschaften:
secondsgibt an, zu welchem Zeitpunkt der Moment stattfindet.descriptionerklärt, was der Zitat bedeutet, was bei Witzen oder bei der Neudeutung des Drehbuchs hilfreich sein kann.
quote ist der wortwörtlich über Sprach-zu-Text-Technologie extrahierte Script-Abschnitt.visual gibt an, ob der Moment dargestellt werden kann.visualDescription ist eine Beschreibung dessen, was zu diesem Zeitpunkt auf dem Bildschirm zu sehen ist.Es gibt außerdem Checkpoints, von denen jeder einen conceptLabel, eine question und eine answer enthält. Im Bildungsbereich dienen sie dazu, das Verständnis des Lernenden zu überprüfen. Im Unterhaltungsbereich regen sie das Publikum an, Dinge zu betrachten, die bei der ersten Wiedergabe übersehen wurden, oder Ereignisse aus einer anderen Perspektive zu betrachten. Das Modell war klug genug, genau denselben Text sowohl für conceptLabel als auch für den entsprechenden label unter concepts zu wiederverwenden – ein kleines, aber aussagekräftiges Zeichen für interne Konsistenz.
Was wurde variiert
Die typische Laufzeit betrug etwa 20 Sekunden. Einige Ausführungen endeten nach 9 Sekunden, vermutlich weil Google die Anfrage in den Cache lud und die Ergebnisse wiederverwendete. Eine Ausführung dauerte direkt nach einem Änderung der Anfrage 50 Sekunden, wahrscheinlich noch bevor ein Cache vorhanden war.
Verarbeitungsmodus – agierend gegenüber statisch – machte für sich genommen kaum einen Unterschied, und die meisten Zeitstempel lagen in jedem Fall innerhalb einer Sekunde. Agierende Ausführungen dauerten manchmal bis zu doppelt so lange (etwa 40 Sekunden) und manchmal kürzer. Skriptlaufzeit beeinflusste die Qualität tatsächlich: längere Ausführungen fanden mehr Zeitstempel pro Konzept und erzeugten längere Beschreibungen sowie Zitate.
Die Anweisung sah vor, für jedes Konzeptlabel mindestens drei Zeitstempel zu finden. Ohne diese Anweisung fand das Modell oft nur einen Zeitstempel pro Konzept. Mit dieser Anweisung waren die Zeitstempel etwas genauer, und die arbeitende Hypothese ist, dass eine erhöhte Suchdichte einen Nebeneffekt auf die Genauigkeit hatte. Es lohnt sich, die Zahl drei zu variieren, um zu sehen, was passiert.
Eine zusätzliche Anfrage bat das Modell, den Moment zu finden, in dem ein bestimmter chinesischer Satz gesprochen wurde – der Höhepunkt des Films, in dem eine riesige Eisenscheibe auf den Protagonisten zustürzt. Dadurch muss das Modell den Audioinhalt mit einem genauen Satz abgleichen und wissen, wann dieser Satz auftrat.
Runde eins: Statische Freiwillige fügen zusätzliche Felder hinzu, agierende Systeme lassen sie aus
Beim ersten Versuch neigte der statische Modus dazu, visual und visualDescription-Schlüssel hinzuzufügen, die vom Schema nie gefordert wurden. Dies geschah inkonsistent – in einigen Fällen wurden diese Schlüssel für bestimmte Zeitstempel aufgenommen, in anderen hingegen weggelassen, und zwar innerhalb derselben Ausführung. visualDescription ist nützlich für die Barrierefreiheit sowie zur Erfüllung von Suchdatenbanken, da wichtige Momente über die generierten Untertitel gesucht werden können, und er war in allen untersuchten Beispielen korrekt.
Nur quote war zuverlässig im ursprünglichen Chinesischen enthalten. Jeder andere Schlüssel konnte je nach Ausführungsmodus – ob automatisiert oder statisch – entweder auf Chinesisch oder in einer englischen Übersetzung auftauchen. In beiden Modi waren die Zeitstempel innerhalb und zwischen Konzepten ordentlich geordnet, was eine manuelle Überprüfung erleichterte.
Der agierende Modus erzeugte längere Zitate, ein Muster, das auch beim zweiten Versuch wieder auftrat. Zudem zeigte sich erstmals eine Szene, die immer wieder auftaucht: Der agierende Modus markierte einen Moment mit 10:41, doch in Wirklichkeit findet er im Video um 10:50 statt. Hätte visualDescription in dieser Ausgabe enthalten sein, wäre darin ersichtlich geworden, ob das Modell tatsächlich auf 10:41 oder 10:50 blickte.
Die description der statischen Ausführung für einen Eintrag wiederholte lediglich seine Bezeichnung (“Time Travel Mechanics”), was nur wenig Informationen lieferte, obwohl spätere Ausführungen bedeutendere Unterschiede zeigten. Positiv ist, dass die statische Ausführung die alte Klavierschrift sowie die Heldin, die ihre Augen schließt, in visualDescription gut erkannte und sogar die Figur korrekt identifizierte. Der agierende Modus ignorierte einfach die optionalen visuellen Angaben.
Zweite Ausführung: Die statische Ausführung trifft den Zeitpunkt 10:50 richtig
Static fügte erneut die optionalen visuellen Schlüssel hinzu, während agentic dies wiederum nicht tat. Static erkannte außerdem korrekt den Zeitpunkt von 10:50, den der erste Versuch von agentic falsch beschriftet hatte – obwohl dieser Versuch den richtigen Text enthielt. Static bezeichnete die visualDescription dieses Moments als „Flashback-Szene“, was die Frage aufwirft: Wie wusste Gemini, dass es sich um einen Flashback und nicht um die gegenwärtige Zeitlinie handelte?
In beiden Modi blieben die Zeitstempel innerhalb jeder Beschriftung geordnet. Zwischen den Beschriftungen brachte static die Analyse des Erzählers voran, während agentic Zeiten wie 10:41, 17:00, 15:00 und 17:51 abwechselnd einfügte.
Statics erster Zitatzeitpunkt um 16:31 verwendete die chinesischen Buchtitelklammern, die ebenfalls auf dem Bildschirm zu sehen waren, was darauf hindeutet, dass das Modell dieses Bild aufgenommen hat anstatt sich nur auf den Audioinhalt zu verlassen. Static blieb wie zuvor bei kürzeren Zitaten. Agentic dehnte seine Zitate aus, wobei der mittlere Teil mit einem Ellipsenzeichen abgeschnitten wurde; sein Zitat für 15:00 umfasst tatsächlich den Zeitraum von 15:01 bis 15:38, und sein Zitat für 17:51 erstreckt sich von 17:54 bis 19:56.
Dieser letzte Zeitraum ist bemerkenswert, denn er umfasst die vollständige Beschreibung der vier Enden des Films. Das wirft die Frage auf: Was wäre, wenn die Anfrage auch einen Zeitstempel für das Ende gefordert hätte? Diese Frage motiviert die nächste Änderung des Schemas.
Dritte Iteration: Hinzufügen von Zeitintervallen
Das Feld seconds war ursprünglich eine Zeichenkette, daher musste es umgestaltet werden. Es gibt zwei Optionen. Die erste ist ein Array:
"seconds": {
"type": "array",
"description": "The start and end time range in HH:MM:SS or ISO format, structured as [start_time, end_time].",
"prefixItems": [
{
"type": "string",
"description": "Start time (e.g., '00:01:15' or ISO 8601 string)"
},
{
"type": "string",
"description": "End time (e.g., '00:02:30' or ISO 8601 string)"
}
],
"minItems": 2,
"maxItems": 2
}
Der zweite ist ein Objekt:
"seconds": {
"type": "object",
"properties": {
"start_time": {"type": "string"},
"end_time": {"type": "string"}
},
"required": ["start_time", "end_time"]
}
Der Array verwendet weniger Token, benötigt aber unhandliche Min- und Max-Grenzen, um zu verhindern, dass die Start-End-Logik fehlschlägt, und wurde für die untenstehenden Experimente verwendet. Das Objekt bietet klarere Schlüssel und erfordert etwas mehr Code zum Lesen, toleriert aber zusätzliche Schlüssel, weshalb es außerhalb von Experimenten die empfohlene Wahl ist.
Der Zitattext ist nicht nur Audio
Im agierenden Modus erstreckte sich ein Zeitraum von 6:20 bis 6:42, obwohl das Zitat tatsächlich um 6:30 begann. Die description entsprach ab 6:20 Wort für Wort dem Audiotext über acht Wörter, bevor sie auf ihre eigene Paraphrase umschaltete. Es scheint, als wäre die Aufgabe des Zitierens auf quote und description aufgeteilt worden.
In einem weiteren Zeitraum von 8:13 bis 9:00 begann der Zitat-Ausschnitt (ungefähr „Blicke treffen sich“) um 8:21, während in der Beschreibung stand „kommt wieder“, und die weibliche Hauptfigur erscheint tatsächlich gegen 8:13. Das stützt die Annahme, dass Zeitintervalle durch mehr als nur Audio bestimmt werden. Der Zitat-Ausschnitt endete um 8:55, fünf Sekunden vor Ablauf des Zeitraums, aus keinem offensichtlichen Grund.
Daraus lässt sich schließen, dass beim Verarbeiten von Video das Audio eng mit dem Bildschirminhalt übereinstimmen sollte, andernfalls gerät die Zeitstempel-Ortung durcheinander. Doch es gibt keinen offensichtlichen Faktor, der bestimmt, welche Modalität ein multimodales Modell bei der Erstellung eines Zeitstempels stärker berücksichtigt. Das ist eine echte Forschungsmöglichkeit, und eine klarere Ablation (vollständiges Audio und Video gegen ausgeblendetes Video gegen gestummtes Video) würde dies isolieren.
Zwei neue Fehlermuster
Ein drittes Auftreten der wiederkehrenden Szene zeigte einen neuen Fehler auf. Im Statischen Modus enthielt ein Zeitraum von 14:49 bis 15:02 einen Zitatausschnitt, der tatsächlich von 10:49 stammt – ein Fehler von vier Minuten. Es handelt sich um denselben Moment um 10:50, den das Statische Modell beim zweiten Versuch genau erfasste, während das agierende Modell ihn beim ersten Versuch fälschlicherweise als 10:41 markierte.
Ein einziger tatsächlicher Moment, der in zwei verschiedenen Schema-Versionen dreimal getestet wurde, war zunächst um neun Sekunden falsch, dann genau, und schließlich wieder um vier Minuten falsch. Wäre die Abweichung lediglich ein Merkmal einer besonders schwierigen Szene, würde man eine konstante Fehlerrate erwarten – nicht erst Fehlerrate, dann Erfolg und anschließend noch schlimmere Fehlerrate.
Der zweite Fehler: Ein statisches Zitat für den Zeitraum 15:07 bis 15:17 (ungefähr „Er wird Xiaoyu finden“) tritt im Audio überhaupt nicht auf. Es scheint, als hätte das Modell eigenmächtig zusammengefasst anstelle zu transkribieren.
Das Statische Modell gewinnt den „Nadel im Heuhaufen“-Test
Um herauszufinden, ob ein bestimmter Zitatteil gefunden werden kann, wurde die Anfrage um die „Eisenkugel“-Logik erweitert. Vor Einführung des Zeitraumschemas fand „Static“ 15:22 und „Agentic“ 15:00. Danach ermittelte „Static“ den genauen Zeitpunkt 15:21 und suchte sogar bis 15:26 weiter – genau in dem Moment, in dem die Kugel das Gebäude trifft und der Lärm nachlässt. „Agentic“ schnitt schlechter ab, mit einem Zeitraum von 15:00 bis 15:37, der viel zu breit war. Im praktischen Einsatz würde bereits eine Abweichung von drei Sekunden die Geduld des Zuschauers auf die Probe stellen.
Was die Tests nahelegen
„Static“ ist besser darin, bestimmte Momente zu finden, während „Agentic“ besser darin ist, Ideen zusammenzufassen, die sich über längere Zeiträume erstrecken. Die sinnvolle Schlussfolgerung ist nicht, einen Gewinner auszuwählen. Wählen Sie je nach Aufgabe und Länge des Mediums: „Static“ für präzise Auffindung oder kurze Clips, bei denen Kostenunterschiede kaum eine Rolle spielen, sowie „Agentic“ für die Synthese von Inhalten wie einer 90-minütigen Vorlesung, bei der die Einsparungen durch Token an Bedeutung gewinnen.
Je nach Suchexperiment hat der Wechsel von einem Zeitstempel auf einen Zeitraum den Ausgangspunkt nicht geändert, daher ist es ratsam, stets auch die Endzeit abzurufen – das gibt einer Anwendung viel mehr Spielraum für das UX-Design. Es ist ähnlich wie das Erstellen von Vektor-Embeddings in einem Suchsystem, ohne tatsächlich etwas einzubetten.
Zeitintervalle können durch verschiedene Modalitäten beeinflusst werden, und selbst innerhalb von Texten durch mehrere Schlüssel, wie das Zitat-Offloading-Muster zeigt. Vielleicht sollte das Schema einfacher gestaltet werden, damit das Modell nicht verwirrt wird, oder die Beziehung zwischen abgeleiteten und gleichrangigen Feldern sollte klarer gemacht werden – beispielsweise indem festgelegt wird, dass description aus quote abgeleitet werden muss, oder indem entschieden wird, ob Konzepte unabhängig sind oder eine Kausalbeziehung zueinander haben müssen.
Noch ein Muster verdient Erwähnung. Nachdem ein Zeitraum angefordert wurde, hörte static völlig auf, visual und visualDescription zu erzeugen. Eine Hypothese ist, dass das Modell sich auf die erforderlichen Felder konzentrierte und bei hoher Belastung optionale Schlüssel ignorierte. Sie als erforderlich zu markieren könnte das Problem lösen – möglicherweise auf Kosten der Qualität in anderen Bereichen, da dann weniger Rechenkapazität für diese verfügbar wäre. Dies ähnelt der Art und Weise, wie ein Präsentationsgenerierungswerkzeug bei einem Durchlauf hervorragende Präsentationen erstellen kann und beim nächsten Durchlauf zu einem einfachen Stickfigurendesign zurückfällt, als bräuchte es eine Pause.
Wohin das führen könnte
Sprachlernen. In einigen nicht gezeigten Experimenten funktionierte das Anfordern von Englisch und Chinesisch nebeneinander in derselben Zeile sogar ohne explizite Anfrage.
Videoerstellung. Zeitstempel und Zeitintervalle ermöglichen es Tools wie ffmpeg, das Video zu schneiden und zu bearbeiten, sodass die wichtigsten Inhalte zuerst erscheinen. KI-Modelle sind dabei nicht präzise genug, weshalb zur Beibehaltung des gesamten Inhalts und nur zum Entfernen von Pausenfüllmaterialien spezialisierte Sprach-zu-Text-Tools wie Descript oder Googles neueres Gemini-Transkriptionsmodell besser geeignet sind.
Was eine genaue Lokalisierung möglich macht:
- Navigieren zu bestimmten Momenten. Zeitstempel fungieren als Anker, die ein lineares Video in eine indizierte, suchbare Ressource verwandeln und das manuelle Durchscannen ersetzen.
- Automatisierte Höhepunktbilder. Da bestimmte Momente ohne manuelles Suchen auffindbar sind, können Ersteller Szenen aus verschiedenen Videos zusammenstellen oder Lehrkräfte interaktive Lektionen mit Zeitstempeln erstellen.
Über Kanten sowie Knoten nachdenken
In der aktuellen Gestaltung ist die meisten Informationen dicht in Knoten gepackt. Wie könnten Kanten modelliert werden, um das Erlebnis weiter zu verbessern? Sollte einige Informationen von Knoten auf Kanten verlagert werden, oder gibt es andere Darstellungsweisen von Wissen als ein Netzwerk aus Knoten und Kanten? Techniken aus dem Buch Learn Like a Polymath könnten hier Anwendung finden: Teil-Ganzes, Ursache-Wirkung, Ding-Funktion, Problem-Lösung, Fakt-Meinung sowie Beispiel-Typ. KI-Modelle sind vermutlich bereits in der Lage, solche Analogien zu erstellen; der Schlüssel liegt darin, zur richtigen Zeit das Richtige zu fragen und es auf die richtige Weise darzustellen.
Es existiert bereits eine Lösung in einer rein textbasierten Lern-App, die während des Chats ein lebendiges Konzeptkarten-System erstellt. Dort generiert der Assistent die Verbindungen selbst. Man kann zunächst nach Gesang fragen und später nach Gesangstechnik – der Assistent gruppiert diese Themen in vernetzte Knoten, ohne dass die Beziehung explizit angegeben werden muss. Die Farbcodierung für Hauptthema, Abstraktion, Verwandtschaftsbeziehungen und Details dient als Informationen zu den Verbindungen. Auch die Eigenschaft checkpoints in diesem Schema hat ein entsprechendes lebendiges Gegenstück, das ungelöste Fragen sowie mögliche Missverständnisse während eines Chats markiert, die sich dann auflösen, sobald ein Verständnis gezeigt wird.
Noch ausstehende Experimente
Es handelt sich um Konzepte, die konkret genug sind, damit jeder sie ausprobieren kann, zusammen mit den Erkenntnissen, die dabei gewonnen werden können.
Ablation bei Modalitätskonflikten. Führen Sie dasselbe Video auf vier Arten aus: mit vollständigem Audio, Video und Untertiteln; mit vollständigem Audio und Video ohne Untertiteln, einschließlich denen, die bereits im Bild eingebettet sind; mit ausgeblendetem Video, sodass nur Audio zu hören ist; und mit gestelltem Video, sodass nur das Bild sichtbar ist. Wenn der Abweichungseffekt bei der Audio-only-Version verschwindet, deutet das darauf hin, dass das Audio dominiert und die eingebetteten Untertitel das Ergebnis beeinträchtigt haben. Bleibt der Effekt bei der Audio-only-Version bestehen, ändert sich aber beim Video-only-Format, ist das ein stärkerer Beweis dafür, dass Zeitstempel tatsächlich multimodal sind und nicht einfach nur Audio mit visuellem Rauschen.
Caching und Temperatur im Zusammenhang mit der Reproduzierbarkeit. Wird die Kombination von Prompt-Caching mit Temperatur null identische Ergebnisse bei jedem Ausführungsvorgang liefern? Sollte bei Null eine Abweichung verschwinden, behält das Modell eine stabile, wenn auch unvollkommene, Vorstellung davon, wo sich ein bestimmter Moment befindet, und die Abweichungen zwischen den Ausführungen sind größtenteils Rauschen durch das Sampling. Bleibt die Abweichung bei Null bestehen, gibt es für diesen Moment überhaupt keine stabile interne Zeitstempelung.
Entspricht die Abweichung dem Inhalt oder der Position? Wenn sie von Eigenschaften des Moments selbst abhängt – wie schnellen Schnitten, gegenseitigem Übersprechen oder lauter werdender Musik – dann handelt es sich um einen mit dem Inhalt verbundenen, übersetzungsinvarianten Fehler. Verschlimmert er sich in einem langen Video weiter, liegt das an etwas anderem, möglicherweise am Phänomen „verloren im Mittelteil“, also dem Rückgang der Leistung von LLMs bei Informationen, die mitten im Kontext liegen.
Record-Verknüpfung über verschiedene Schema-Teile hinweg. Kann das Modell erkennen, dass zwei Konzeptbezeichnungen, die in separaten Aufrufen erzeugt werden oder durch einen langen Kontext getrennt sind, dasselbe reale Konzept bezeichnen? Das ist das klassische Problem der Record-Verknüpfung oder Entity-Resolution, das der Coreferenz-Resolution ähnelt, wenn es innerhalb derselben Generierung stattfindet. Es funktionierte einmal, als das Modell denselben Text für conceptLabel und label wiederverwendete, doch die offene Frage ist, ob die Konsistenz auch bei unabhängigen Aufrufen erhalten bleibt.
Übersprachliche Verankerung. Messen Sie, wie zuverlässig Gemini gesprochenes Chinesisch in englische Schema-Felder umwandelt, ohne dabei die Zeitangaben zu verfälschen.
Messen, nicht nur schätzen. Eine einfache Tabelle mit den überprüften Zeitstempeln, der mittleren Abweichung, dem Prozentsatz innerhalb einer Sekunde sowie dem schlimmsten Ausreißer bei allen sechs Versuchen würde die Beobachtungen von „beobachtet“ auf „gemessen“ heben, und die Rohdaten existieren bereits.
Prüfen, ob erforderliche visualDescription-Änderungen die Qualität verbessern. Das Modell schien bei zunehmender Komplexität des Schemas optionale Schlüssel wegzulassen.
Vorträge, Filme und Erinnerung
Eine Vorlesung und ein Film verlangen vom Zuschauer unterschiedliche Dinge. Eine Vorlesung benötigt Aufmerksamkeit, ein Film hingegen Emotionen. Die Charaktere in einer Geschichte sind keine gelösten Probleme wie Konzepte in einem Lehrbuch; sie werden als echte Menschen dargestellt, deren Motivationen Interpretationen zugänglich sind. Oft gibt es keine richtige Antwort oder sogar keine klare Lösung, nur Kompromisse sowie die Anstrengung, aus einer bedauerlichen Situation das Beste zu retten – eine Lebenslektion, die weit über ein bestimmtes Thema hinausgeht.
Der Neurologe Oliver Sacks beschrieb einen Patienten namens Clive Wearing, dessen Amnesie es ihm unmöglich machte, Erinnerungen länger als ein paar Sekunden zu bewahren – mit Ausnahme von Musik, die er weiterhin vollständig spielen, lesen und sich merken konnte. Sacks formulierte es folgendermaßen: Die Kraft der Musik muss einem unverhofft kommen und spontan als Segen erscheinen.
Das ist fast das, was ein LLM für uns werden könnte: kein Ersatz für das Gedächtnis, aber eine Hilfe bei der Unvollkommenheit unseres bereits vorhandenen Gedächtnisses, indem es uns zu bedeutenden Momenten zurückführt und diese, wenn wir verwirrt und überwältigt sind, zu etwas Kohärentem neu ordnet.
Die Zusammenarbeit kann auch in beide Richtungen verlaufen. Schemata können verfeinert werden, um das Beste aus LLMs herauszuholen, und im Gegenzug können LLMs unsere Weltanschauungen und Fähigkeiten verändern, uns dabei helfen, kritisch über ein Thema nachzudenken, sowie Empathie und soziale Fähigkeiten entwickeln, indem sie erklären, warum eine Figur sich so verhält, mögliche Szenarien erforschen und zeigen, wie man eine gute Geschichte erzählt. Die Heldin des Films hatte vermutlich vier mögliche Enden, und ein LLM könnte ebenso mehrere Lebensläufe an Wissen zur Verfügung stellen, wobei man die Geschwindigkeit erhöhen, verlangsamen, zurückspulen und einen Weg wählen kann.
Eine verwandte Richtung ist ein Lernagent, der zusammen mit Ihnen einen Vortrag verfolgt, auf Anfrage pausiert und Antworten auf der Grundlage des genauen Zeitpunkts der Pause gibt. Das ist dasselbe Problem der Zeitstempel- Lokalisierung, das hier getestet wurde, nur in Echtzeit und schwieriger. Wenn der agentbasierte Modus bereits bei einem abgeschlossenen, kontrollierten Video um mehrere Minuten abweicht, würde eine Live-Streaming-Version mit einer noch schwierigeren Form desselben Problems konfrontiert sein. Diese Experimente sind eine frühe Grundlage für diese Idee, keine Beschreibung eines fertigen Produkts.
Anhang: Einrichtung und Wiederholung der Tests
Holen Sie sich eine GOOGLE_API_KEY aus AI Studio und exportieren Sie sie anschließend in Ihrer Shell:
export GOOGLE_API_KEY=<your key>
Um zu vermeiden, dass es nach jedem Terminal-Neustart exportiert wird, legen Sie den Schlüssel in eine .env-Datei und fügen Sie dies dem Skript hinzu:
from dotenv import load_dotenv
load_dotenv()
Frustrationen mit der API
Die Unkenntnis von client.models.generate_content() war eine der Problemlagen, und die Produktvorstellungsseite von Google zeigte Code mit der neueren Interactions API (client.interactions.create()), was darauf hindeutete, dass agierende Videos in der älteren generate_content API nicht unterstützt wurden – bis die Dokumentation zeigte, dass dem doch so ist. Ebenso war unklar, wie und ob bestimmte Parameter wie Gedankenzusammenfassungen angegeben werden konnten. Hinzu kamen die brisanten Änderungen an der Interactions API im Mai 2026, sowie wiederholte Antworten aus dem eigenen Webchat von Gemini, wodurch das Einstieg in die Nutzung stundenlange Raten erforderte.
Leere Gedankenzusammenfassungen
Es ist unklar, ob der Parsercode fehlerhaft war oder die Aufgabe einfach zu einfach war, aber es gab überhaupt kein Gedankenzusammenfassung: Die Ausgabedatei für die Gedanken zeigte stets eine leere Liste.