AI-відэа патрабуе аркестрацыі: урокі дызайну канвеера VideoAgent

Уявіце 45-хвіліннэ аудыёзапісванне пры запуску продукту і запатэнне пра двуххвілінны ролік з найважлівымі моментамі. Одна мадэль можа стварыць новы кадр. Іншая можа апісаць, што містыцца ў запісі. Жадна з іх сама не можа выдаты готовы відэоролік.

Хтось усё рава павінен выбраць праві моменты, парадкаваць сюжэт, напісаць коментары, стварыць або практыкаваць аудыё, супараднаваць нараджэнне з выбранымі кадрамі, скласіць часовую шкалу, ўрадзіць відпаведны рэзультат і пераканацца, што на кожным этапе былі вікорыстаны праві даны. Калі прадаўцы не впораецца за час, каманда таксама павінна ведаць, што можна продактуваць далей без павторэння всіх робат.

HKUDS-а адаптаваны VideoAgent з адкрытым кодам ўтварае практычны прыклад. У змену на адну велічзюю просьбу пра мадэль, ён прымее опіс на простай мове і стварыць граф спецыялістычных операцый, якія абарачаюць візуальную частку, аудыя, пошук, мовленне і рэдагаванне. Ён прасавляецца як усеўключаючая палатка, але самыя цікавыя элементы — гэта яго шар кантролю, які выбірае, што будзе выканана, у якой последовасці і на якіх артыфактах. Гэя ідэя пераходзіць і на іншыя сістэмы. Сільных модэляў будзе многа, і самэ галоўная задача — гэта забезпечыць ўпэўненую ўзаімную работу ўсіх іх.

Генераванне — гэта адны вузел

Рэальная праца з відэаматэрыялам перакрывае калькі меж між рознымі можлівасцямі:

• розумеўце зображэнняў і звуку,
• пошук у дужа дзейнах відэа па часу,
• планаванне сюжэту і ўсіх кадраў у ям,
• генераванне нарабатання і голасаў,
• раздзелванне, сумешчанне і сінхронізаванне аудыя,
• апрацоўка, парадактаванне і дадаванне ефектаў,
• Адаптаванне і экспорт.

Этыя працэсы не маюць ні інтэрфейса, ні аднойчы модэлі выканання. Апарат для выкарыстоўвання кантэнту вяртае кандыдатскія кляпкі з пазначэннямі часу. Модэль мовлення вяртае аудыя. Рэдагувальнік выкарыстоўвае файлы медыя плюс часовую шкалу. Генератор можа вярнуць абсалютна новы кляпак, а адаптавальнік стварае гэтальны рэзультат.

Залежнасці маюць такі ж значэнне, як і самыя модэлі. Нарацыю трэба існаваць раней, чым яе можна будзе сумаваць; трэба знайсці правыя кадры, прычым яны можна будзе адцягнуць; для сінхронізаціі вусоў трэба і цэльны відэо, і створана мова. Фінальны рэдагувальнік не можа стварыць надзеяныя часовыя пазначэнні, калі вышэйшыя элементы відсутны, застарэлы або несумісны.

Таму падказальныя уявныя модэлі — гэта не «адна ШЫ, якая стварае відэа». Гэта рабочы працэс з планам контролю і планам медыя.

Control plane
Interpret intent -> plan shots -> select tools -> validate dependencies -> schedule work

Media plane
Index footage -> retrieve clips -> trim -> generate speech -> mix -> edit -> render

VideoAgent не выкарыстоўвае гэтыя тэрміны точна, але яго архітэктура адпавядае ім. Мадэлі мовы аналізуюць намеры і структуру графа, тады як агенты медыя ведаюць рэальную працу з відэам і аудыя. Такое раздзеленне мае значэнне пад час стварэння продукту, таму што планаванне, выкананне і вярнэнне да стану нормы трэбуюць разных методаў кантролю.

Спачатку планаваце загалоўна, а потым выбірайце кляпкі

Дзялёныя запісы ствараюць проблему з кантэкстам. Перадаванне кожнага кадру і аудыя-зразка ў адну мадэль ёсць дорогім, медленным і зазвычай непатрэбным.

У дакладнай праце да праекту опісваецца планаванне у два етапы. Спачатку сістэма выбірае ключовыя кадры, пішае для іх тытулы і сконцентруе гэтыя локальныя зазначэнні ў аднам загальным падсумку матэрыялу. Потым агент планавання кадраў чытае гэты падсумак разам з запітам корыстувальніка і стварае сцэнарый, кадр за кадрам.

Парадакг ўажлівы. Слабейшы механізм можа збіраць кляпкі окрэма для кожнага выраза запіту. Ён можа знайсці локальная актуальная відэаматэрыя, але пры тым стварыць паслабленую історыю з парадзейнымі сцэнамі, відсутнім кантэкстам і паспаленым хроналагам, адколі нічога не керуе цэлым наратыўам. Глобальныя планаванні даюць механізму лепшы запіт.

Not: Find clips related to the product.

Instead: Find an opening problem shot, a feature demonstration,
a user reaction and a closing result, in that narrative order.

Частыя вясклівыя меркаванні не можаць утрымаць усю інфармацыю, адколькі аналізуюцца толькі выбраныя ключавыя кадры і створаныя тытлы, а не кожны кадр. Дзеянні можаць знікнуць за межамі межы між меркаваннямі або стаць незрозумелым пасля стварэння стысла. Тым не менш, такі компрэсія ўзрэменна: спачатку ствараецца загальныя кантракты, а пасля вітрачаецца большы час на точны выбор фрагмента.

Спачатку дышэчна адналёгчэнне, пасля — точна адналёгчэнне

Калі ужо ёсць сценарый, наступны крок — знаходзіць моменты ў відэа, якія падходзяць кожнаму кадру. VideoAgent кодуе апісанні кадраў і кандыдатыя ключавыя кадры за дапамогою модэляў з разнымі фарматамі дадзеных, такіх як ImageBind або CLIP, тады яны жывуць у аднам просторэ укладкі, а косай схожасці выбірае прыдатны варыянты. Пасля таго модэль візуальнага мовы дапамагае падбіраць болей точныя часы пачатку і заканчэння фрагмента.

Shot requirement
      ↓
Embedding search across indexed footage
      ↓
Small candidate set
      ↓
Vision-language temporal refinement
      ↓
Trimmed clip with start and end timestamps

Патэрн ад грубага да тонкага мае большое значэнне, чым конкрэтны кодэр. Недорогі працэс адзыскання скарматоўвае пошук, а дорогі багатамодальны аналіз застаўляецца для правдападобных кандыдатаў. Той жа падход дапамагае ў задоволенні патрабаваў, касаючыся разведчыкай інфармацыі, перагляду спэцзвярэнняў, медыйных архіўаў і каментараў да спортавых матчаў, там, дзе моцны модэль не павінен пераглядаць кожную секунду кожнага запісу.

З тэхнічнай точкі зору адзыскання стае часткай працэса вырабоцтва і перастае быць аддзельной функцыяй пошуку. Ёй патрабуюцца індэксы з версіямі, працоўныя запыткі, сігналы доверы і альтэрнатыва, калі найлепшы рэзультат застаецца слабым.

Ад крэатыўнага плану да выконвальнага графа

Толькі сторыборд недасты. План павінен ператварыцца на практычныя дзеянні, якія можна адклікчыць. VideoAgent мадэлюе працэвыканне як спрамаваную безцыклічную графіку: вузламі ў яе ёсць спецыялізаваныя агенты чыста медыя-операцыі, а рэшткі перадаюць выходны даныя ад однаго вузла ў вхідныя даныя іншага. У публічным праекце знаходзіцца больш чым 30 агентоў, якія відпавядаюць за пошук, транскрыпцыю, генераванне голасу, апрацоўку аудыю, монтаж відэа, маніпуляцыю паўмамі, сінхронізацыю голасу і рухоў, стварэнне апусцоў і адпаведзеныя на запытанні.

Для падсумку продукту графіка можа праходзіць ад зафіксаванай сесіі праз транскрыпцыю і індэкс сцэн, пасля чаго — пошук, нарабатанне тэксту, міксаванне і монтаж, і ў канцы — гэнераванне фінальнага рэзультата.

Recorded session
      ↓
Transcript + scene index
      ↓
Global summary and shot plan
      ↓
Candidate clip retrieval
      ↓
Temporal trimming
      ├──────────────┐
      ↓              ↓
Selected clips    Commentary script
                     ↓
                 Voice generation
                     ↓
                 Audio mixing
      └──────────────┤
                     ↓
                Timeline assembly
                     ↓
               Quality checks
                     ↓
                  Render

Кожныя грані выступаюць як кантракты:

• Апарат для выявлення кляўкі павінен вярнуць ID адпаведнага кантэнту, часовыя пазначкі і значэння доверы.
• Этап апрацоўкі голасу павінен вярнуць аудыя-файл з метаданымі пра трываласць і частоту адбірання прыкладоў.
• Рэдагувальнік павінен адмовіць у прыеме часовай шкалы, калі не хватает неабходных файлоў або калі трываласць нараджэння не пасходзіць па выбраным кадрам.

Гэта ператварае граф агентав у нешто больш за простае дыяграма. Ён стварае можлівасць прабавіць рабочы працэс прычымо да пачатку дорогай експанатырацыі.

Тэкстуальныя градыенты як цыкл выправлення

Праект называе свой метод удосконалення «оптымацыя графа тэкстовага-градыента». Гэта нагадвае працэс адучэння модэлі, але вагі не зміняюцца. LLM аналізуе запраектаваны граф і сігналы яго якосці, а пасля опісвае конкрэтныя способы выправлення простым языкам: адзьёмлець цыклічную залежнасць, дадзець нехваткавае агента, з’ўязае несувярэнныя вхідныя і выхідныя даны або пераранжуе крокі. Пераскладзены граф знову пераканальваецца.

Draft graph
    ↓
Check acyclicity, connectedness, intent coverage and edge compatibility
    ↓
Describe the defect in natural language
    ↓
Add, remove, reconnect or reorder nodes
    ↓
Evaluate again

Рэмантэнцыя на рэвэлі графа падходзіць для мультымадальных пайплайнаў, таму што большасць адхэлэнняў у оркестрацыі маюць сімвалічны характар. Такія абмежэнні, як неабходнасць наявнасці нарабатання пры запуску рэдагара, лёгкая адбывацца на графе, чым праз нечыяры мэтрыкі якосці. Аднак абмежэнні застаюцца: кожны дадатковы раунд рэфлексіі збільшае затрымкі і колькасць вызоў модэля, модэль перагляду можа ўсё ж прыняць неякісны граф, а добра сформаваны план не гарантуе, што інструменты запрацуюць чы ў выніку будзе гарны выгляд.

Архітэктура даследжэння проты інжынернага рашэння

Хутчэй тут даследжэнчыскі дызайн і прымэтная платформа разлічаюцца. Рэальная задача з відэаматэрыялам можа выконвацца працы чы гадзіны за дапамогою локальных інструментаў, хоставаных API, сістэмаў файлаў, GPU і процэсаў рэндараў. Для гэтага трэба:

• Стойкі стан вузла, каб неудачная задача продавяжылася замест таго, каб пачыналася занова.
• Ідэмпатныя операцыі, або ключы выканання, якія неякшаўна дазволяюць практыкаваць пракатанне без стварэння занова дорогіх рэсурсоў чы перазапісвы готавых рэзультатаў.
• Історыя стварэння артыфактаў. Для кожнага кліпа, трэку голасу, рэдагавання чы рэндэрування трэба маты можласць выявіць вачоўкі, з якіх ён створаны, запіт, мадэль і настройкі, якія былі вікорыстаны, файлы, якія ён выкарыстоўваў, будзь-якія людзкія перагляды, якія ён прымеў, а таксама чы яго можна зноў стварыць чы адмовіцца ад яго пазней.
• Два рэвэліванс-рэвэла. Метрыкі на рэвэлі вузлаў паказваюць, які прадаўцы працюе повалі, коштаўна чы выкананне яго неўспэшна, а ацэнка на рэвэлі рабочага прайсепту паказвае, чы історыя ўзаемна супарадна, чы аудыя супарадна і чы запіт задоволены.

Безпека таксама заслуговае на адаковую увагу. Транскрыпцыі, субтыты, назвы файлаў і метаданы прыходзяць з зяўніх істочнікаў і вялікі вплыв маюць на тое, якія інструменты запускаюцца і з якімі настройкамі, таму яны можу выконваць атакі на введэнне даных. Паколькі медыя-інструменты таксама запускаюць прыграмы, ачынаюць файлы і падключаюцца да зяўніх служб, неабходна надаць ім «пісчаныя корзіны», мінімальныя правы прыступ, зашчытаныя папкі для выходных дадзеных і чысткі правіла сеткі.

Праект таксама уключае чутлівыя функцыі, такія як кланаванне голасу, замена аўтаматываў і сінхронізацыя губ. Абавесны выкарыстоўванне выкалікае неабходнасць утрымвання запісаў пры схваленні, апраўданых даных аб ідэнтыце, процедураў перагляду, зберагання інформацыі пра паходжэнне дадзеных і назірання за зловжываннямі.

Актыўнае чытанне атрыбутаваных рэзультатаў

Узнакомленыя звышкі успеху для оркестрацыі рабочых практык крыюцься ў дыяпазоне ад 0,87 да 0,95 для чатырох основных модэляў і калькі заданняў з аудыю і відэам. Іх выканалі суддзі на базе LLM, ацэніваючы парадак графа, маршрутызацыю параметраў, рэдунданс і павноту падтрымкі трэбаванняў праз пяць запускаў. Яны не відображаюць, як часта рэндэрынг завершаецца з самага початку да канца.

Іншыя значныя показнікі — гэта падышча вітрачэння на API прыблізна на 60 процэнтаў у дзеякіх парадохах з выкарыстоўванням сістэмы пошуку. Яны выведзены з тэстаў розумення відэа і пошуку, апісаных у стацыянцы, і не включаюць локальныя вычысленні, зберагчыцтва, генераванне мовы, рэндэрынг, праказы, стороннія медыйныя сервісы і людскую пераглядку.

Людская ацэнка ўтыманная, але мае сваія меры. Відэа, створаныя людзьмі, пасяглі лепшыя показнікі па стабільнасці і разнаобразнасці сцэн, тады як VideoAgent пасягнуў адносна вышэйшыя показнікі па якасці аудыю ў узнакомленых распадах.

У падзеўршчэнне, цыфры падтрымліваюць ідэю, што структураваная планаванняе паўсаўжджэнне графа спрыяе багатаэтапнай оркестрацыі відэа. Аднак яны не дазволяюць падтвердзіць надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на надзею на

Таму справжній вопыт не ў тым, чы хацеце адразу застосаваць гэты конкрэтны праект. Замест таго запытайце ся, чы вашы продукт патрэбуее слой, які плануе і выкананае задачы, ператвараючы творчыя задумы на працу, якая можа быць перадзявлена і пераглянута, у рамках кальколькох спецыялізаваных сістэм. Калі так, взяце ідэі: спачатку спланавайце все цалкам, пры тым як выбіраце рашэння на местах; шукайце дашчэўна, пры тым як не трэба вітрачаць многа грошаў; складзіце задачу у чытальны граф і выправіце гэты граф прытым, калі ўсё ўжо не запускаецца.

Большая наука

Дыскусіі пра відэа на адной часткі сфокусаваныя на тым, які генератор яшчэ лепшы. Гэта важна, але стварэнне відэа — толькі адна з стадзій готовай сістэмы. Перманентная перадчыннае належыць таму слою, які розумее задачэ, знаходзіць правы матэрыял, з’ўязвае спецыялізаваныя інструменты, пераканальвае залежнасці, пракрацоўвае незавершаныя задачы, фіксуе шлях перадачы дадзеных і пазначае рэзультаты, якім не трэба даваць доверы.

Сур’ёзныя платформы для відэа на асасцэнцыі ІІ не будуць аб’яднаныя з аднім лягендарным модэлем. Яны будуць аб’яднаныя з працэсамі працы, якія ведаюць, які модэль трэба запускаць, якія даныя ёму патрэбны, што будзе далей, і як вярнуцца да плану, калі рэальна сітуацыя адхіляецца ад плану.

Спадні матэрыялы

• WebMCP, Service-Level MCP або звычны вікорыстоўванне браузера: дзе маюць месца інструменты агента — Дзеянне на WebMCP: інструменты сторанкі проты Service-Level MCP і звычных агентаў браузера, з урахоўваннем сесій, OAuth CIMD, адкрыцця, локальнага стану і прыналежнасці.
• Традыцыйная AI, генератыўная AI і агентная AI: у чым іх разлік — Прагназаванне, стварэнне, дзеянне: простыя аднарады пра традыцыйную, генератыўную і агентную AI, з прыкладамі падтрымкі, наукі пра даныях і працэўнае прызначэння, а таксама калі варта выбраць кожную з іх.