Агентны відэарэжым Gemini: дызайн схемы і дрэйф часавых пазнак

Google няўзніклад выдаў функцыю розумення відэа тыпу „агент“ для Gemini, і гэта стала чыракам для практычных эксперыментаў з сложным тэстовым кейсам: фільмам довжыны фільма на кітайскай мове Secret (2007) рэжысера Джэя Чоу. Эксперыменты сфокусаваны на аднай запытанні: якшо запытаць мадэль пра моменты ў відэа, дзе праказуюцца ключовыя ідэі, насколькі точныя ў тым часе пазначкі, і насколькі спосаб дызайну схемы выходных даных вплывае на рэзультат?

Вам знадобіцца GOOGLE_API_KEY, які AI Studio выдае ў рамках прыемнага безплатнага тарыфу. Дакладнасці ўстановкі апісаны ў дадатку напрыканцы.

Чаму кітайскі фільм ўзьміцца за гарны тэст

Ідэя з’явілася з адаптавальнага інструмента, створанага для дапамогі студэнтам у вівучэнні заданага матэрыялу, хоць і цікавыя дорослыя таксама маглі ўсваяць калькі з яго, сталкнуўшыся з незнаёмымі працэварамі. Пасля таго, як было заўважана, што мадэль Gemini Flash Lite можа як падсумаваць тэкст на кітайскай мове, так і адпаведзець на запытанні на той жа язык, розшырэнне сферы з выхавання да разважэння здавалася цэлкам логічным. Фільм быў хорашым варыянтам, адколі ён — романтыка з акцэнтам на піаніно, з незабываемым саундтрэкам і главной актрыней, якая падтрымлівае тыхі моменты карціны.

Ёсць паведамленне пра спойлеры: тое, што будзе напісана, апавяроўвае центральную таёмніцу фільма. Выхідны відэа-матэрыял для тэстаў — гэта аналіз фільма на YouTube, у яком пераказваецца сюжэт да момента прыблізна 16:23, пасля чаго расказчык пераходзіць да аналізу таго, як сюжэт быў апрануты пад вплывам сопрацьвецтва з жыццём самога Джэй Чоу. Сам фільм все ўсё варытаяць пераглядзець зарады музыкі і тонкіх выразаў галоўнай актрысы, і на Bilibili існуе прынеймна два яго варыянты.

Тое, што робіць гэты тэст справжна складным, — гэта мова. У кінэ варадзіны ёсць значна менша колькасць аўтаматычна створаных транскрыпцый, чым у англійскіх відэа, таму мадэль з самага пачатку мае прытваранні і должна паказаць, на шта ёй спадабаецца без такой падтрымкі. Чыба не трэба чытаць кінэ варадзіны, каб разумець сюжэт, хоць гэта дапамагае лепшая ацэніць рэзультаты.

Чаму важна дрэфт часовых пазначэнняў

Як у навчанні, так і у розважальных цілях існуе спаконвечная потрэба у локалізацыі часовых пазначэнняў – можласці прыходзіць безпаспечна да важлівых момантам. Студэнты выкарыстоўваюць гэта, каб знову пераглядзець пояснення таго чы то панявання. Глядачы робяць гэта, каб знайсці „ісцевыя яйкі“ і знову насолодзіцца хорашым стварэнням адгуку.

Проблема поступовага зсуву часовых пазначэнняў у аудыя-транскрыпціях Gemini часта апісвалася на форуме распрацоўшчыкаў Google. Надзеяліся, што агентны рэжым дапаможа ў рашэнні гэтай проблемы, але старыя мадэлі, якія не ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо не ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо

Короткая версія: адаптацыя застойваецца. У апошніх 95% случаў паклёстка застаецца ў межах адной секунды, але ў дзеярых моментах спостыраецца значны застойваецце на 10–20 секунд. Цікава тое, што застойваецце фіксуецца толькі ў кальколькіх адзінаковых месцах, што дастатнька для таго, каб звычайнае выкарыстоўванне не раздражала нікога. Распрацоўшчыкі таксама можаць пазнійша адфільтраваць некальколькія паклёсткі, супорачыўшы іх з транскрыпцыяй, пазначанай часам у пэўным часовым прымеску, калі такая транскрыпцыя ў наявнасці.

Дызайн схемы лепшы за дызайн запіту

Схемы LLM зазвычай пішуцца ў фармаце JSON Schema. Бібліятэкі, такія як Pydantic у Python чыць Zod у TypeScript, дазваляюць задаць іх на рэвэле аплікацыі і автаматычна скомпіляваць у JSON Schema перад тым, як іх вставіць у запіт. Лячыльныя імены і тыпы зазвычай дазваляюць здагадацца, што вернуе модэль.

Дзеяннік эксперыментаў кажа проста: дзівна, што інжыніерыя запытак прыносіць так много увагі, тады калі справжняя сіла закладзена ў інжыніерыі схем. Схема кодуе практычна весь спосаб дзеяння модэлю. Нават з простым запытам модэль можа з’ясаваць, калі вы хочаце, на адварот ад структуры і назваў поль, тады калі схема слабая, вам даводзіцца рашыць усё самам і спадзявацца, што гэты выдачны запыт вас вывяжа.

Існуе аналагія з модэлюванням дадзэнняў у інжыніерыі дадзэнняў, але розніця тая, што схемы выходу LLM больш прымаюць фармат NoSQL, такія як MongoDB, чым рэляцыйнае модэлювання, такое як Postgres. Адна цікавая рашытка стосуецца рэкурзыўных структураў: іх можна закодаваць як плоскія, самапасылаючыяся табелі, з child_id і parent_id, якія дазволяюць неакранічанае лануванне. Прадаўцы разлічаюцца ў тым, чы розраховваюць яны на рэкурзыўныя JSON Schema, таму гэты выбор можа быць нав’язаны вам.

Чытанне схемы

Як і у модэлюванні дадзэнняў, важліва кардынальнасць. Адна кінаматаграфічная праца мае многа панявы, якія выражаюцца як масіва. У адуцыі тэма мае праблемы, прыменення, расшырэнні, прыпускі і абмежэнні. У фільме ёсць падзеі, развіцце персонажаў, кульмінацыя і завершэнне.

Адна панява мае многа моменты часу. У навчанні гэта выклікаецца, калі калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць калькуюць к

quote — гэта фрагмент тэксту, выкарыстоўваны без змян праз прыем перакладу мовы спачатку на пісьмо.

visual паказвае, чы можна адобразіць даны момент.

visualDescription — апісанне таго, што было на экране ў тым моменце.

Таксама існуюць чэкпойнты, кожны з якіх мае conceptLabel, question і answer. У навучэнні яны пераканальваюць учня адразу зрозумець матэрыял. У розважальных цылях яны практыкуюць глядачоў рассмотрзець тое, што было працягнута пад час першага перагляду, або перачытаць падзеі з іншай точкі зору. Мадэль была настолькі хытрая, што сумела паўторна выкарыстоўваць абодва тэксты — conceptLabel і адпаведны label пад concepts, што ёсць невялікі, але значны знак внутраней адпаведнасці.

Што было змінена

Тыповы часы выканання станавіліся апоўно 20 секунд. Дзеякі запускі завершаліся за 9 секунд, верагатна таму, што Google зберагаў запіт у кэшы і паўтараў выкарыстоўванне рэзультатаў. Адзін запуск зайняў 50 секунд адразу пасля змены запіту, верагатна да таго часу кэш яшчо не стварыўся.

Рэжым апрацоўкі — агентны проты статычнага — сам па сабе даў мінімальную разніцу, і большасць часоў запуску заўсёды залішалася ў межах адной секунды. Агентныя запускі іноды займалі до два раза больш часу (апоўно 40 секунд), а іноды — менш. Часы выканання скрыпты адбіваліся на якосці: дліжэйшы запускі знаходзілі больш часоў запуску на адну концэпцію і стваралі дліжэйшыя апісанні і цітаты.

Запрос уключаў інструкцыю знайсці прынеймнейша тры меткі часу па кожнай абліковай назве. Без яе мадэль часта знаходзіла толькі адну метку часу па кожнай абліковай назве. З яе існаваннем меткі часу ставалі адносна болей точнымі, і рабочая гіпатэза заключаецца ў тым, што падвышэнне ўтрамбоўкі пошуку мела пахвальны эфект на точнасць. Цяжкае чысло тры варта змяніць, каб пазначыць, што будзе.

Дадатковы запіт прасіў мадэль знайсці момент, калі была выгаворана конкрэтная кітайская фраза, кульмінацыю фільма, калі вялічэзны жалезны мяч прылетае да героя. Гэта змушвае мадэль паўнастае аудыя з точным фразам і знайсці момент яе выгаворання.

Першы раунд: статычныя волонтэры дадаюць дапаможныя поля, агентныя мадэлі іх не выкарыстоўваюць

У першай спробе статычны рэжым часта падзеў на дадаў ключы visual і visualDescription, якія схема ніколі не выкарыстоўвала. Гэта дзеянне было нэпаспэчным: ў рамках адной працы іх дадавалі да дзеякіх метакаляроў, а ігноравалі да іншых. visualDescription ўжыткавы для доступнасці і для заполнення баз дадзеных для пошуку, адколькі ключовы моменты можна было шукаты праз створаныя апісанні, і ён быў точны ў кожным пераглянутым прыкладзе.

Толькі quote адносна надзеямо застаўся у аднородным кітайскім варыянце. Усе іншыя ключы моглі выйсці як у кітайскай, так і у англійскай версіі, неперакладзумова залежна ад працы, чы гэта быў агентны чы статычны рэжым. У обох рэжымах метакаляры былі аднародна арранжаваныя ўнутар і між канцэптамі, што спрыяла простай ручной перакантрольцы.

Рэжым агента выдаваў дэльнейшыя цітаты, і такія тэндэнцыі паўтарыліся ў другой спробе. Таксама празпавелася першая прымёрка сцэны, якая продовжае з’яўляцца: рэжым агента ў адны момент пазначыў час 10:41, але на самай працоўцы відэа гэта вырашаецца у 10:50. Якбы ў тым выходзе быў прысутны элемент visualDescription, ён бы паказаў, чы рэальна мадэль адзірвалася на момент 10:41 чы 10:50.

description статычнага запуску для аднаго элемента проста павтарыў яго назву (“Time Travel Mechanics”), чым мала дапамог, хоць пазнейшыя запускі паказалі болей значныя разлікі. З позытывнай стороны, статычны рэжым чырпаў добрае робіце, выяўляючы старую кнігу па піяніно і героўку, якая закрывае вочы, у visualDescription, і нават правільна ідэнтыфікаваў персанажа. Рэжым агента проста ігнараваў неабавязковыя візуальныя паказнікі.

Другі запуск: статычны рэжым правільна пазначыў момент 10:50

Static зноў дадаў неабавязковыя візуальныя клавішы, а agentic зноў не дадаў. Static таксама правільна знайшоў момент 10:50, які першая спроба agentic падаў з неправільным пазначэнням, нават паўтарыўшы правільны тэкст. Static пазначыў visualDescription гэтага моменту як „сцэну вярнення“ (flashback scene), чым падняў пытанне: як Gemini знаў, што гэта вярнення, а не тэкучая лінія часу?

Часовыя пазначкі засталіся у правільнай парады ўнутрь кожнай атрыбутнай групы ў обох рэжымах. Між атрыбутнымі групамі Static выканаў аналіз рассказчыка, тады як agentic сумешаў часовыя моменты такія як 10:41, 17:00, 15:00 і 17:51.

Першыя цітаты Static, зафіксаваныя у 16:31, выкорыстоўвалі канвескі кітабовых назв на кітайскай мове, якія таксама былі праказаны на экране, што свідчыць пра тое, што мадэль стварыла гэтыя знімкі, а не паслугвалася толькі аудыя. Як і раней, Static выкорыстоўвала корачэйшыя цітаты. Agentic расцягвала сваія цітаты так, што ўсерэдзіне ўскорочваліся за дапамогою трох крапакоў; ўсё ж яе цітата за 15:00 на самае праўда распаўся з 15:01 да 15:38, а цітата за 17:51 — з 17:54 да 19:56.

Гэты апошні перыод ўражае, таму што часавы прыметак з 17:54 да 19:56 пакрывае ўсю характарыстыку чатырох канцаў фільма. Гэта паднімае пытанне: што, якбы запіт таксама прасіў падаць час канца? Гэтае пытанне стала прычыной наступных змян у схеме.

Трэці запуск: адналежніцтво часовых дыяпазонаў

Поле seconds спачатку было строкай, таму яго паўзначылася перэрабка. Існуе два варыянты. Першы — гэта масіва:

"seconds": {
    "type": "array",
    "description": "The start and end time range in HH:MM:SS or ISO format, structured as [start_time, end_time].",
    "prefixItems": [
        {
        "type": "string",
        "description": "Start time (e.g., '00:01:15' or ISO 8601 string)"
        },
        {
        "type": "string",
        "description": "End time (e.g., '00:02:30' or ISO 8601 string)"
        }
    ],
    "minItems": 2,
    "maxItems": 2
    }

Другі — гэта аб’ект:

"seconds": {
      "type": "object",
      "properties": {
        "start_time": {"type": "string"},
        "end_time": {"type": "string"}
      },
      "required": ["start_time", "end_time"]
    }

Масавык выкарыстоўвае менш токэнаў, але яму трэбны незграбныя межы min і max, каб логіка пачатку і канца не зламалася, і ён быў выкарыстоўваны для ніжэйшых эксперыментаў. Об’ект дае болей чыткія ключы і выкарыстоўвае трохі больш коду для чытання, але падтрымлівае дадатковыя ключы, таму паza эксперыментамі ён ўважаецца рэкамендаваным выборам.

Цітата — не толькі аудыя

У рэжыме агентацыі адзін дыяпазон працаваў з 6:20 да 6:42, хоць цітата на самай працэ запачалася ў 6:30. description падабалася да аудыя-тэксту слова ў слова з 6:20, прыблізна за васьма слова, перш чым перайшла да сваёй сабстотнай парафразы. Гэта выглядае так, нібы задача цітавання была раздзелена между quote і description.

У іншым дыяпазоне часу, з 8:13 да 9:00, цытата (прыблізна «вочы з’яўленыя ў вачох») пачалася у 8:21, тады як у опісе было напісана «з’явіцца знову», і главная героўня дэйсна з’являецца прыблізна у 8:13. эта падтрымлівае ідэю, што дыяпазоны часу формуюцца не толькі на адной аудыяінфармацыі. Цытата завершылася у 8:55, за пяць секунд да заканчэння дыяпазона, без явной прычыны.

З гэтага выводзіцца, што аудыяінфармацыя павінна строго супараджвацца з тым, што паказваецца на экране пад час аналізу відэа, інакш калітаецца пазначэнне часу. Аднак няма нічога явнага, што кантролюе, якую з формаў мультымадальны мадэль будзе аддаўаць больш вагі пад час стварэння пазначэння часу. Гэта справжня можлівасць для даследжэння, а чыстэйшыя тэсты (полны аудыо і відэа проты відэа з закрытым звукам проты відэа з стымульваным звукам) дапаможу гэта выявіць.

Два новыя спосабы абякання

Трэція перадзірка таго ж сцэны выявіла новую памылку. У статычным рэжыме у прыметку з часамі 14:49–15:02 была цітата, якая на самай працоўцы выйшла з часамі 10:49, тое ўсьмо чатыры хвіліны памылкі. Гэта той самы момент 10:50, які статычны рэжым правільна выявіў у другай перадзірцы, а агентны рэжым неправільна пазначыў як 10:41 у першай.

Такім чынам, адні і тыя ж рэальныя моменты, перадзіркаваныя тры разы ў двух версіях схемы, спачатку падвыконваліся на дзевяць секунд, потым былі точныя, а потым — на чатыры хвіліны. Якбы адхіленні былі прыродным якостым асабліва складных сцэн, можна было б спакою чакаць стацыонарных памылак, а не спачатку памылкі, потым успеху, а потым ўсё гіршых памылак.

Другая памылка: статычная цітата з часамі 15:07–15:17 (прыблізна «ян будзе шукаць Сяояў») ніколі не з’являецца ў аудыя. Спакойна, мадэль сама стварала падсумак узамест на транскрыбацыю.

Статычны рэжым выграў у тэсце «шылка ў кашце»

Ёнколі трэба было выявіць конкрэтную цытату, запіт быў расшырэн за дапамогою элемента з жэлезным мячом. Да запуску схемы часовага дыяпазона алгорытм static знайшоў момент 15:22, а алгорытм agentic — 15:00. Пасля ўведэння схемы static знайшоў самэ точнае выражэнне — 15:21, а таксама працаваў да 15:26, тады калі мяч прабівае будынак і шум знікае. Алгорытм agentic паспеліў гэта зробіць гэрш, паказваючы дыяпазон з 15:00 да 15:37, які быў занадта шырокі. У практычным выкарыстоўванні нават трохі трохі не тое час могло спыніць тэрпэнцію пераглядача.

Што паказваюць тэсты

Алгорытм static лепш справляецца з выявленнем конкрэтных момантав, а алгорытм agentic — з апісаннем ідэй, якія развіваюцца пра длігі час. Разумны вывод — не выбіраць абодва алгорытмы як канцэнтры. Выбірайце алгорытм залежна ад задачы і дужыны медыя-матэрыялу: static для точнага выявлення або короткіх кляпс, дзе разлік у вартасці практычна не мае значэння, а agentic — для сінтэзы матэрыялу працягу 90 хвілін, дзе еконамія рэсурсаў становіць значэнне.

Судзячы з эксперыменту з пошукам, пераход з пазначэння часу на дыяпазон часу не змяніў пункта запуску, таму розумна ўсё ж такі заўсёды запрашваць і канец часу, што дае прыкладнаму програмнаму забезпечэнню больш прыгод для дызайну корыстніка. Гэта даскладна супамінае стварэнне вектарных вкладчыкаў у сістэме пошуку без рэальнага вкладчыкавання чаго-небудзь.

Дыяпазоны часу можа адчуваць вплыв калькольных фактараў, а ў самым тэксце — калькольных ключоў, як паказвае шаблон афладжэння цітат. Можа, схема павінна быць простэйшая, каб мадэль не плуталася, або ж стосунакі межа выведзенымі і сяброўскімі полямі павінны быць ясныя, напрыклад, па-першае, прабачыўшы, што description павінен вывядзацца з quote, або па-другае, выявіўшы, чы розумеанні ўзаемна незалежныя чы павінны адказваць адно на другое.

Ішэнь адзін шаблон заслуговае на адмён. Пасля таго, як была запатрэбавана дыяпазон часу, сістэма static перастала генераваць visual і visualDescription цэлкам. Адна з гіпатэзаў — модэль сфокусавалася на неабходных полях і адмовілася ад неабяжных ключоў пад навантажэнням. Зробленае іх неабяжнымі могла б вырашыць проблэму, можа за рахунак якосці іншых частак, адколі для іх будзе застаўацца менш рэсурсаў. Гэта супамінае тое, як інструмент для стварэння слайдоў можа стварыць высокаякосныя слайды ў аднай прабе і перайсці да простаг дызайну на наступнай, нібы ў яго была патрэба адпачынку.

Куды гэта можа прывесты

Навучэнне мовам. У дзеяных эксперыментах, якія не былі паказаны, працавала можлівасць прагаворваць англійскай і кітайскай мовамі паўзаўку на адной лініі, нават без спецыяльнага запатрэбавання.

Стварэнне відэа. Часовыя пазнакі і дыяпазоны дазволяюць інструментам, такім як ffmpeg, кацаць і адцярваць фрагменты, ўжо калі галоўныя ідэі знаходзяцца першымі. У гэтым случае штучныя нейронныя меры не ўсё такія эфектывныя, таму, каб захаваць усё змест і адмахнуцца толькі ад пауз, крашчэ вікорыстоўваць болей спецыялізаваныя інструменты для перакладу мовы на тэкст, такія як Descript, або новейшую мадэль транскрыпціі Gemini ад Google.

Што дазволяе точная локалізацыя:

• Навігацыя да конкрэтных момантам. Часовыя пазнакі выступаюць у ролі анкероў, якія ператвараюць лінейны відэа на індэксаваны, можна шуканы рэсурс, заменяючы ручную нарабатку.
• Автаматызаваныя календары выдатных момантам. Дзякуючы можласці знаходзіць конкрэтныя моменты без ручнага сканавання, творцы можу складаць сцены з разных відэа, а вучыцы — ствараць інтэрактыўныя урокі з часовымі пазнакамі.

Пошук параграфа мовай працоўкай у лекціях і зустрэчах. Функцыя „знайсці гэты самы параграф“ у кульмінацыі відэа — гэта той самы спосаб, які студэнт можа выкарыстаць у запісанай лекцыі: увесты напамяць адзін рэчэнак і перайсці туды, дзе ён быў сказаны.

Размышленні пра грані таксама, як і пра вузлы

У нынешнім дызайне большая частка інформацыі ўтрамбоўвана ў вузлы. Як можна смодэліраваць рэбра, каб ўсё больш паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспра

Ўжо існуе адна адпаведна працоўка, якая работае толькі з тэкстам і стварае жывую карта паўтарэння падчас чату. У яй агент сам стварае рэшткі меж. Калі запытацца пра спев, а пазней — пра тэхніку вокаля, агент агрупавае гэтыя запытанні ў скасаваныя вузлы без паведамлення пра ўзаінтэрэсаванасць, пры чым каляровая кодаванне для галоўнай тэмы, абстракцыі, сяброўскіх элементаў і дакладнасці служыць інформацыяй пра рэшткі меж. Атрыбут checkpoints у гэтым шыме таксама мае свой жывы аналаг, які пазначае нерашаныя запытанні і можлівыя хыбныя уявленні падчас чату, якія пазней рашаюцца, калі паказваецца розумеўненне.

Эксперыменты, якія яшчэ трэба адрабатваць

Гэтыя эксперыменты настаўна достатна конкрэтныя, каб кожны могаў іх перапробаваць, а таксама ўсё, што яны могу адкрыць.

Абляцыя у разлічных фарматах выканання. Запускайце тое жа відэа чатырма способамі: з цэлым аудыям, відэам і сабтайтамі; з цэлым аудыям і відэам без сабтайтам, укладаючы тыя, якія вжо ўшлі ў зображэнне; з відэам, у якога затэмнены экран, тэмпліваючы толькі аудыю; і з відэам з паслабленым звукам, тэмпліваючы толькі візуальную частыну. Якшто па версіі з толькі аудыям адхылэнні знікае, значыць звук домінуе, а сабтайты, якія ўжо ўшлі ў зображэнне, паслаблялі якасць рэзультата. Якшо ж адхылэнні застаецца па версіі з толькі аудыям, але зменшыцца па версіі з толькі візуальной частынай, гэта ўжо сільнейшы паказатэль таго, што часовыя меткі ёсць справжнімі мультымадальнымі элементамі, а не проста аудыя з візуальным шумам.

Кэшаванне і тэмпература і ўплыв іх на воспаміннае адтворэнне. Чы гэта сумешанне кэшавання запрасаў з тэмператураю нуля дае ідэнтычныя моменты па кожнай запуску? Якшо дрыфт знікне пры нулі, мадэль будзе зберагаць адну стабільную, хоць і недосконалую, думку пра тое, дзе знаходзіцца момент, а дрыфт між запускамі большавае ў відэа шумамі выбору. Якшо дрыфт застоіцца пры нулі, то для таго моменту вообшча не будзе стабільнага внутрашняга часовага пазнака.

Чы дрыфт залежыць ад контэнту чы ад пазіцыі? Якшо ён залежыць ад характэрных рыс самага моменту, такіх як швыракія перэходы, перакрыцанне голасаў адна другой чы гучная музыка, то гэта незалежная ад перакладу неякасць, якая супроводзіць контэнт. Якшо ён паглыбляецца ў дужа дзяўгае відэа, то гэта ўжо іншая прычына, можа, зв’язаная з падыходам «загублены ў серэдзіне», тэй, калі выконанні LLM падупае з-за інфармацыі, якая знаходзіцца ў серэдзіне кантэксту.

Спаяванне запісаў між сегментамі схемы. Чы можа модэль распазнаць, што два атрыбуты-значэнні, створаныя ў разныя моменты часу або роздзеленыя дужа дзьвінгім кантэкстам, пазначаюць тое ж рэальнае паняванне? Гэта класычная проблема спаявання запісаў або рашэння пра ентытэ, падобная да проблемы рашэння корэферэнцій, калі яна вырабляецца ў межах адной генераціі. Гэта спрацавала аднажды, калі модэль перыяктавала ідэнтычны тэкст для conceptLabel і label, але застаецца вопыт, чы можа гэтая стабільнасць застацца праз незалежныя вызывы.

Міжмовная аднаковасць. Ацэніце, насколькі адданае Gemini перакладае услаўленую кітайскую мову на англійскія поля схемы, заўсёды падтрымляючы точнасць часавых пазначэнняў.

Звярожыце показнікі, а не простааўляйце ўважна. Скромная табелю, якая паказвае часы перагляду, сярэдню адхіленне, процэнт паміж адной секундай і найгоршы аўтасампл на всіх шасці спробах, дапаможа пераканацься, што спостарожэнні ўжо не проста «зазначаныя», а «звярожаныя», прычым первісныя даны вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія вялікія в

Лекцыя і фільм выклікаюць у глядача разныя адчування. Лекцыя патрабуе увагі, а фільм – эмцыяў. Персонажы ў історыі – гэта не рашаныя проблемы, як у параграфах падручніка; іх ствараюць як рэальных людзей, чыя мотывы залішаюцца адкрытымі для тлумачэння. Часта не існуе правільнай адпаведзі чы нават простаг рашэння, ёсць толькі компрэсіі, а таксама неабходнасць выявіць усё, што можна, з сумнаймайлівай сітуацыі – урок жыцця, які мае значэнне далей, чым толькі для аднаго прэдмета.

Нейралог Олівер Сакс опісаў паціента пад іменем Клаўі Верынг, у якога амнезія не давала можлівасці зберагчы памяць дольга часу, за выключэнням музыкі, якую ён все ўсё могаў віконваць, чытаць і цалкам запамяцваць. Сакс выразіўся так: сіла музыкі павінна неспадзявана прыйсці і спонтанна стаць благасловеннем.

Гэта прыбліжна тае, каму можа стаць LLM для нас: ён не заменіць памяць, але будзе дапамагаць у тым, насколькі недосконалыя ўжо ў нас ёсць памяці, вярнуўшы нас да момантам, якія мелі значэнне, і перакроіўшы іх у ўзаемна супараднай структуры, калі мы заплутаны і перавантажаны.

Саўместнае працаванне можа вестыцца і ў двух направленнях. Схемы можна доўнеліковаць, каб адкрыць найкрашчае ў LLM, а LLM у свою чаргу можа перакроіць нашы светавыя пагляды і здольнасці, дапамагаючы нам крытычна размышляць пра тое чы інша тэма, а таксама развіваючы эмпатыю і соцыяльныя навыкі праз розумеў, чаму певны персонаж паводзіцца так, як паводзіцца, досліджаючы «што, якбы» і вучыцца, як рассказваць чырвоныя історыі. Героіня фільма, мабыць, мела чатыры можлівыя канцовкі, і LLM таксама мог бы запропанаваць множыцтво варыянтаў знанняў, якія ёсць ў нашай досяжнасці, з можлівасцю прышвыджання, спамеджання, відмоткі і выбору шляху.

Адзін з супаўзвязаных напрамкаў — гэта даследжэнне агента, які назірае за лекцыяй разам з вамі, зупіняеся па вашай просьбе і дае адпаведныя адказы на адпаведны момент зупінкі. Гэта тая ж проблема локалізаціі па часовым меткам, якая тут тэставалася, толькі у рэальны час і ў ўскладненай форме. Калі нават у рэжыме агента ўсё шчэ есць пахылі на калькі хвілін у завершанай, контрольванай відэа-запісі, то версія у рэальны час станэчы прымусова ўскладненай формай той самай проблемы. Шырокія эксперыменты — гэта пачатковыя аднакі для гэтай ідэі, а не опіс прымененага продукту.

Дадатак: наладжванне і павтарэнне тэстаў

Заўяжыце GOOGLE_API_KEY у AI Studio, а потым экспортуйце яго ў сваёй шэл-сераўеры:

export GOOGLE_API_KEY=<your key>

Ёнколі хочаце быць захаваным, калі толькі перзачынаецца тэрмінал, пакладзіце канфігурацыйны параметр у файл .env і дадзіце яго ў скрыпт:

from dotenv import load_dotenv
load_dotenv()

Проблемы з API

Незнанне client.models.generate_content() было адзінам з прычынных фактараў проблем, а на старонцы аднароджэння продукту Google быў показан код, які выкарыстоўваў новэйшае API Interactions (client.interactions.create()), што наводзіла на думку, што агентныя відэа не падтрымліваюцца ў старэйшым API generate_content, пакуль у дасяглівых не было паказана, што гэта можліва. Таксама не было ясна, як і чы гэта можна, каб былі заданы певныя параметры, такія як падсумкі размышленняў. Да гэтага дадаліся змяны ў API Interactions у мае 2026 года, а таксама цыклічныя адпаведзі з веб-чату самага Gemini, і ўсё гэта зажадала гадоў працы з адгадванням.

Пустыя падсумкі размышленняў

Неясна, чы код для парсінга быў некарэктны, чы задача была проста занадта простая, але падсумкаў размышленняў узагалі не было: выходны файл з рэзультатамі размышленняў адзін за аднім паказваў пусты спіс.