Штучний інтелект у відео потребує оркестрації: уроки з проектування потоку VideoAgent.

Уявіть запис презентації продукту тривалістю 45 хвилин та запит на двомінутний відеоролик з найцікавіших моментів. Один модуль може створити новий кадр. Інший — описати, що міститься у записі. Жоден з них не може самостійно надати готове відео.

Хтось все одно має знайти відповідні моменти, упорядкувати сюжет, написати коментарі, обробити аудіо чи видалити зайве, синхронізувати опис із обраними кліпами, створити часову шкалу, її обробити та переконатися, що на кожному етапі використовувалися правильні дані. Якщо постачальник не встигає наприкінці, команда також має знати, що можна продовжити роботу, не повторюючи все заново. Саме тому створення відео за допомогою ШІ перетворюється на проблему оркестрації.

Відкритий проект VideoAgent від HKUDS є корисним прикладом. Замість однієї величезної вимоги до моделі він приймає опис у звичайній мові та створює граф спеціалізованих операцій, які охоплюють розпізнавання зображень, аудіо, пошук, розуміння мовлення та монтаж. Він просуває себе як універсальна платформа, але найцікавішою для вивчення є його шар керування, який вирішує, що має виконуватися, у якій послідовності та на яких ресурсах. Ця ідея застосовується і до інших систем. Сильних моделей буде багато, і саме створення їхньої надійної взаємодії є основною задачею.

Генерація — це окремий вузол

Справжня робота з відео охоплює кілька різних аспектів:

• розуміння зображень та звуку,
• пошук у довгих відеофайлах за часом,
• планування сюжету та кадрів,
• створення озвучення та голосів,
• розділення, змішування та синхронізація аудіо,
• обрізка, послідовність та додавання ефектів,
• обробка та експорт.

Ці операції не мають ні спільного інтерфейсу, ні моделі виникнення помилок. Модуль отримання даних повертає кандидатські кліпи з позначками часу. Модель мовлення повертає аудіо. Редактор використовує медіафайли разом із часовою шкалою. Генератор може створити абсолютно новий кліп, а модуль обробки формує кінцевий продукт.

Залежності мають таке ж значення, як і самі моделі. Нарація має існувати перед тим, як її можна буде змішати, потрібно знайти відповідні кадри перед тим, як їх можна буде обрізати, а синхронізація губ вимагає як цільового відео, так і генерованої розмови. Кінцевий редактор не може створити надійну часову шкалу, якщо попередні елементи відсутні, застарілі чи несумісні.

Отже, корисною уявною моделлю є не „один ШІ, який створює відео“. Це робочий процес із планом керування та планом обробки медіа.

Control plane
Interpret intent -> plan shots -> select tools -> validate dependencies -> schedule work

Media plane
Index footage -> retrieve clips -> trim -> generate speech -> mix -> edit -> render

VideoAgent не використовує саме ці терміни, але його архітектура відповідає їм. Моделі мови аналізують намір та структуру графа, тоді як агенти медіа виконують фактичну обробку відео та аудіо. Такий розподіл має значення під час роботи, оскільки планування, виконання та відновлення вимагають різних механізмів керування.

Сплануйте все заздалегідь, перш ніж обирати кліпи

Довгі записи створюють проблему з контекстом. Обробка кожного кадру та аудіоданого в одній моделі є дорогою, повільною та зазвичай зайвою.

У науковій статті про проект описано планування у два етапи. Спочатку система вибирає ключові кадри, створює для них субтитри та узагальнює ці локальні записи в один загальний огляд матеріалу. Потім агент з планування кадрів читає цей огляд разом із запитом користувача та складає сценарій кадр за кадром.

Порядок має велике значення. Більш слабка система може отримувати кліпи окремо для кожного речення запиту. Вона може знайти локально релевантні відеофрагменти, але все одно створити погану історію з повторюваними сценами, відсутнім контекстом та хаотичною хронологією, оскільки ніщо не координує всю наративну структуру. Глобальне планування дозволяє системі отримувати більш точне запитання.

Not: Find clips related to the product.

Instead: Find an opening problem shot, a feature demonstration,
a user reaction and a closing result, in that narrative order.

Частина інформації неминуче втрачається, оскільки перевіряються лише вибрані ключові кадри та створені субтитри, а не кожен кадр. Деталі можуть пропасти через проміжки між зразками або бути спрощені під час узагальнення. Проте цей компроміс є доцільним: спочатку створюється загальна картина, а потім витрачається більше обчислювальних ресурсів на точний вибір фрагмента.

Спочатку дешеве пошук, потім точний пошук

Після створення сценарію наступним кроком є пошук у відеоматеріалі моментів, які підходять до кожної сцени. VideoAgent кодує описи сцен та потенційні ключові кадри за допомогою крос-модальних моделей, таких як ImageBind чи CLIP, щоб вони знаходилися в одному просторі ембеддингів, а косинусова схожість відбирала відповідні результати. Потім модель зі зоровим та мовним аналізом уточнює обраний фрагмент, визначаючи більш точні часи початку та кінця.

Shot requirement
      ↓
Embedding search across indexed footage
      ↓
Small candidate set
      ↓
Vision-language temporal refinement
      ↓
Trimmed clip with start and end timestamps

Патерн від грубого до дрібного має більше значення, ніж конкретний кодувач. Недороге пошукове функціонування звужує діапазон пошуку, а дороге багатомодальне міркування використовується лише для перспективних кандидатів. Той самий підхід допомагає у сферах розвідки, перегляду відеозаписів під наглядом, архівування медіаконтенту та підбору найцікавіших моментів у спорті — там, де потужна модель не повинна аналізувати кожну секунду кожного запису.

З інженерної точки зору пошук стає частиною процесу обробки даних та більше не є окремою функцією пошуку. Це вимагає індексів з версіонуванням, простежуваних запитів, сигналів достовірності та альтернативних рішень у разі, коли найкращий результат все ще є недостатньо якісним.

Від креативного завдання до виконуваної структури даних

Лише сторіборд недостатній. План має перетворитися на конкретні дії, які можна реалізувати. VideoAgent моделює робочий процес як орієнтований ациклічний граф: вузли — це спеціалізовані агенти чи операції з медіа, а ребра передають результати одного вузла у вхід іншого. У публічному проекті об’єднано понад 30 агентів, які виконують функції пошуку інформації, транскрипції, генерації голосу, обробки аудіо, монтажу відео, маніпуляції обличчям, синхронізації рухів губ, стиснення тексту та відповідей на запитання.

Для підсумку продукту граф може проходити від записаної сесії через транскрипцію та індекс сцен, потім — пошук інформації, озвучування, мікшування та монтаж, і закінчуватися готовим відео.

Recorded session
      ↓
Transcript + scene index
      ↓
Global summary and shot plan
      ↓
Candidate clip retrieval
      ↓
Temporal trimming
      ├──────────────┐
      ↓              ↓
Selected clips    Commentary script
                     ↓
                 Voice generation
                     ↓
                 Audio mixing
      └──────────────┤
                     ↓
                Timeline assembly
                     ↓
               Quality checks
                     ↓
                  Render

Кожна грань функціонує як контракт:

• Застосунок для отримання кліпів має повертати ідентифікатор джерела, часові позначки та значення довіри.
• Етап обробки голосу має повертати аудіофайл із метаданими щодо тривалості та частоти дискретизації.
• Редактор має відхилити часову шкалу, якщо відсутні необхідні файли або якщо тривалість оповіді не відповідає обраним кадрам.

Це перетворює агентний граф на щось більше, ніж просто діаграму. Він забезпечує можливість перевірки робочого процесу перед початком дорогого виконання.

Текстові градієнти як цикл виправлень

Проєкт називає свій метод вдосконалення оптимізацією графа текстового градієнта. Це звучить як навчання моделі, але ваги не змінюються. Штучний інтелект переглядає запропонований граф та сигнали його якості, а потім описує окремі корективи простою мовою: видалити циклічну залежність, додати відсутнього агента, знову під’єднати несумісні вхідні та вихідні дані чи переупорядкувати кроки. Переглянутий граф знову перевіряється.

Draft graph
    ↓
Check acyclicity, connectedness, intent coverage and edge compatibility
    ↓
Describe the defect in natural language
    ↓
Add, remove, reconnect or reorder nodes
    ↓
Evaluate again

Виправлення на рівні графа підходить для багатомодальних пайплайнів, оскільки багато помилок оркестрації мають символічний характер. Такі обмеження, як необхідність наявності опису перед запуском редактора, легше застосувати на графі, ніж за допомогою нечіткого показника якості. Проте обмеження все одно існують: кожен додатковий етап обробки збільшує затримку та кількість викликів моделі, модель перевірки все ще може схвалити пошкоджений граф, а наявність добре сформованого плану не гарантує, що інструменти запрацюють чи що результат буде гарним.

Архітектура досліджень проти продакшн-механізму

Тут дизайн досліджень та продакшн-платформа розходяться. Реальна робота з відео може тривати хвилини чи години, використовуючи локальні інструменти, хостовані API, файлові системи, GPU та процеси рендерингу. Для цього потрібно:

• Стабільний стан вузлів, щоб неуспішна робота продовжувалася замість того, щоб починатися заново.
• Ідемпотентні операції, або ключі виконання, щоб повторна спроба не генерувала дорогий ресурс чи не перезаписувала вже завершену обробку.
• Історія створення артефактів. Для кожного кліпу, аудіодоріжки, едиту та результату обробки слід бути здатним відстежити вихідні кадри, запит, модель та налаштування, які використовувалися, вхідні файли, які були скористані, будь-яку людську перевірку, яку він пройшов, а також те, чи можна його створити знову чи видалити пізніше.
• Два рівні спостережуваності. Метрики на рівні вузлів показують, який постачальник працює повільно, є дорогим чи має проблеми, а оцінка на рівні робочого процесу визначає, чи є історія послідовною, чи аудіо синхронізоване та чи задоволено запит.

Безпеці потрібна така сама увага. Транскрипти, субтитри, назви файлів та метадані надходять ззовні та визначають, які інструменти будуть використовуватися та з якими налаштуваннями, тож вони можуть спричинити введення шкідливого коду. Оскільки інструменти для обробки медіа також виконують програми, відкривають файли та підключаються до зовнішніх сервісів, необхідно надати їм «пісочниці», мінімальні облікові дані, захищені папки для результатів та чіткі правила мережевого доступу.

Проєкт також включає конфіденційні функції, такі як клонування голосу, заміна облич та синхронізація руху губ. Відповідальне використання вимагає наявності записів згоди, схвалених даних про особу, процедур перевірки, збереження інформації про походження контенту та моніторинг зловживань.

Ретельне читання наданих результатів

Звітовані показники ефективності оркестрації робочих процесів коливаються від 0,87 до 0,95 серед чотирьох основних моделей та кількох наборів завдань з аудіо та відео. Їх було отримано за допомогою судді на основі ШІ, який оцінював порядок графа, маршрутизацію параметрів, редундантність та охоплення вимог протягом п’яти запусків. Вони не вимірюють те, наскільки часто процес генерації завершується повністю.

Ще одним важливим показником є зниження витрат на API приблизно на 60 відсотків у деяких порівняннях з пошуком інформації. Цей показник походить з тесту розуміння відео та пошуку, описаного у статті, і не враховує локальні обчислення, зберігання даних, генерацію мовлення, процес генерації зображень, повторні спроби, зовнішні медіа-сервіси та людську перевірку.

Людська оцінка є перспективною, але має певні обмеження. Відео, створені людьми, показали кращі результати за стабільністю та різноманітністю сцен, тоді як VideoAgent мав трохи кращу якість аудіо у наведеному аналізі.

Підсумовуючи, ці цифри підтверджують ідею про те, що структуроване планування разом із удосконаленням графів допомагає у багатоетапній оркестрації відео. Проте вони не дозволяють довести надійність обробки будь-яких матеріалів, незалежно від постачальника, жанру чи стандарту якості.

Де цей підхід підходить

Найкращі результати досягаються, коли задіяно кілька моделей та типів медіа, матеріали можна індексувати, а проміжні елементи вимагають перевірки чи повторного використання, а також коли допускається крок перегляду людиною. Цей підхід менш ефективний для точної обробки на рівні кадрів, низької інтерактивної затримки, роботи лише офлайн, делікатної маніпуляції ідентичностями чи у командах, які не хочуть використовувати платформу для автоматизації робочих процесів. Для таких випадків менша фіксована система може бути дешевшою, безпечнішою та простішою у обслуговуванні.

Отже, справжнє питання не в тому, чи варто прийняти саме цей проект. Краще запитати, чи потребує ваш продукт шар, який би планував та виконував завдання, перетворюючи творчі ідеї на результати, які можна відновити та перевірити, у кількох спеціалізованих системах. Якщо так, скористайтеся цими ідеями: спочатку сплануйте все в цілому, перш ніж обирати рішення на локальному рівні; шукайте дешеві варіанти, перш ніж інвестувати багато зусиль; сформуйте опис завдання у вигляді чіткої структури та виправте її ще до того, як щось буде запущено.

Більш важливий урок

Обговорення відео на основі ШІ зазвичай зосереджується на тому, який генератор є найкращим. Це важливо, але створення відеоматеріалів — це лише один етап готової системи. Справжва перевага належить тому шару, який розуміє завдання, знаходить відповідні матеріали, поєднує спеціалізовані інструменти, перевіряє залежності, відновлює невдалі спроби, відстежує походження даних та позначає результати, яким не варто довіряти.

Серйозні платформи відео на основі ШІ не будуть будуватися навколо однієї чудодійної моделі. Вони будуть ґрунтуватися на робочих процесах, які визначають, яку модель використати, які дані їй потрібні, що буде далі та як відновитися, коли реальність відхиляється від плану.