Искусственному интеллекту для видео необходима оркестрация: уроки из проектирования конвейера VideoAgent.

Представьте запись презентации продукта продолжительностью 45 минут и запрос на двухминутный ролик с самыми яркими моментами. Один инструмент может сгенерировать новый кадр, другой — описать содержимое записи. Однако ни один из них не может самостоятельно сделать готовое видео.

Кто-то всё равно должен найти подходящие моменты, упорядочить повествование, написать комментарии, обработать или отредактировать звук, синхронизировать речь с выбранными клипами, составить временную шкалу, обработать видео и убедиться, что на каждом этапе использовались правильные исходные данные. Если поставщик услуг теряет тайминг ближе к концу, команде также необходимо знать, что можно продолжить без необходимости повторения всей работы. Именно поэтому создание видео с использованием ИИ превращается в проблему оркестрации различных процессов.

Примером может служить программный инструмент VideoAgent от HKUDS с открытым исходным кодом. Вместо одного огромного запроса к модели он принимает описание на простом языке и создает граф специализированных операций, охватывающих визуальный анализ, аудио, поиск информации, обработку речи и монтаж. Он позиционируется как универсальная платформа, но наиболее интересной для изучения является его слой управления, отвечающий за выбор того, что будет выполняться, в каком порядке и на каких ресурсах. Эта концепция применима и к другим системам. Сильных моделей будет много, и именно на обеспечении их надежного взаимодействия сосредоточены усилия.

Генерация — это отдельный узел

Реальная работа с видео включает в себя несколько этапов, требующих разных функций:

• понимание изображений и звука,
• поиск информации в длинных видеоматериалах по времени,
• планирование сюжета и сцен,
• создание озвучки и голосов,
• разделение, смешивание и синхронизация аудио,
• обрезка, последовательная обработка и добавление эффектов.

обработка и экспорт.

У этих операций нет ни общего интерфейса, ни единого моделирования сбоев. Модуль поиска возвращает кандидатские клипы с метками времени. Модель речи возвращает аудио. Редактор использует медиафайлы вместе с временной шкалой. Генератор может вернуть совершенно новый клип, а модуль обработки создаёт окончательный результат.

Зависимости имеют такое же значение, как и сами модели. Нарратив должен существовать перед тем, как его можно будет смикшировать, необходимо найти подходящие кадры перед их обрезкой, а синхронизация губ требует как целевого видео, так и сгенерированной речи. Финальный редактор не сможет создать надёжную временную шкалу, если исходные материалы отсутствуют, устарели или несовместимы.

Поэтому полезная когнитивная модель — это не «один ИИ, создающий видео». Это рабочий процесс с управляющим уровнем и уровнем обработки медиа.

Control plane
Interpret intent -> plan shots -> select tools -> validate dependencies -> schedule work

Media plane
Index footage -> retrieve clips -> trim -> generate speech -> mix -> edit -> render

VideoAgent не использует именно эти термины, но его архитектура соответствует им. Модели языка анализируют намерения и структуру графа, в то время как агенты для обработки медиа выполняют фактическую работу с видео и аудио. Такое разделение важно в производственных процессах, поскольку планирование, выполнение и восстановление требуют разных механизмов управления.

Сначала спланируйте в целом, прежде чем выбирать кадры

Длинные записи создают проблему с контекстом. Обработка каждого кадра и аудиосэмпла в одной модели является дорогостоящей, медленной и обычно ненужной.

В статье про проект описывается планирование в два этапа. Сначала система выбирает ключевые кадры, пишет подписи к ним и сводит эти локальные заметки в один общий обзор материала. Затем агент по планированию кадров читает этот обзор вместе с запросом пользователя и составляет сценарий кадр за кадром.

Порядок имеет большое значение. Более слабая система может извлекать кадры отдельно для каждого предложения в запросе. Она может найти локально релевантные кадры, но при этом создать плохой сюжет с повторяющимися сценами, отсутствием контекста и беспорядочной хронологией, поскольку нет ничего, что бы связывало всю историю воедино. Глобальное планирование позволяет системе формулировать более точный вопрос для поиска информации.

Not: Find clips related to the product.

Instead: Find an opening problem shot, a feature demonstration,
a user reaction and a closing result, in that narrative order.

Часть информации неизбежно теряется, поскольку анализируются только выбранные ключевые кадры и генерируемые субтитры, а не каждый кадр. Детали могут ускользнуть из-за промежутков между выборками или исчезнуть в процессе обобщения. Тем не менее такой компромисс является разумным: сначала формируется общая картина, а затем тратится больше вычислительных ресурсов на точный выбор фрагмента.

Сначала дешевый поиск, затем точный

После создания сценария следующей задачей является нахождение в видеоматериале моментов, соответствующих каждой сцене. VideoAgent кодирует описания сцен и кандидатов в ключевые кадры с помощью кросс-модальных моделей, таких как ImageBind или CLIP, чтобы они находились в одном пространстве вкладок, после чего коэффициент косинусного сходства отбирает наиболее подходящие варианты. Затем модель визуального языка уточняет выбранный фрагмент, определяя более точное время начала и окончания.

Shot requirement
      ↓
Embedding search across indexed footage
      ↓
Small candidate set
      ↓
Vision-language temporal refinement
      ↓
Trimmed clip with start and end timestamps

Паттерн от грубого к тонкому имеет большее значение, чем конкретный кодер. Недорогой механизм поиска сужает диапазон поиска, а дорогостоящее мультимодальное обработка данных используется только для наиболее вероятных кандидатов. Тот же подход помогает решать задачи в области разведки, анализа видеозаписей, хранения медиаконтента и подбора лучших моментов из спортивных матчей — везде, где современная модель не должна анализировать каждую секунду каждой записи.

С технической точки зрения механизм поиска становится частью производственной цепочки и перестает быть отдельной функцией поиска. Для его работы требуются версионированные индексы, отслеживаемые запросы, сигналы уверенности в результатах и резервные варианты на случай, когда наилучший результат остается недостаточно качественным.

От творческого задания до готовой структуры данных

Одного сториборда недостаточно. План должен превратиться в реальные действия, которые можно выполнить на практике. VideoAgent моделирует рабочий процесс в виде ориентированной ациклической графики: узлами являются специализированные агенты или операции с медиафайлами, а рёбра передают результаты одного узла в входные данные другого. В публичном проекте собрано более 30 агентов, обеспечивающих функции поиска информации, транскрипции, генерации голоса, обработки аудио, монтажа видео, манипуляций лицом, синхронизации губ, составления кратких изложений и ответов на вопросы.

Для краткого обзора продукта граф может включать этапы от записанной сессии через транскрипт и индекс сцен, затем поиск информации, озвучивание, смешивание звуков и монтаж, и в конце — генерацию готового результата.

Recorded session
      ↓
Transcript + scene index
      ↓
Global summary and shot plan
      ↓
Candidate clip retrieval
      ↓
Temporal trimming
      ├──────────────┐
      ↓              ↓
Selected clips    Commentary script
                     ↓
                 Voice generation
                     ↓
                 Audio mixing
      └──────────────┤
                     ↓
                Timeline assembly
                     ↓
               Quality checks
                     ↓
                  Render

Каждая связь выполняет роль контракта:

• Механизм получения клипов должен возвращать идентификатор источника, временные метки и значение уверенности.
• Этап обработки голоса должен возвращать аудиофайл с метаданными о продолжительности и частоте дискретизации.
• Редактор должен отклонить таймлайн, если отсутствуют необходимые файлы или длительность озвучки не соответствует выбранным кадрам.

Это превращает граф агентов в нечто большее, чем просто диаграмму — он предоставляет возможность проверить рабочий процесс до начала дорогостоящей обработки.

Текстуальные градиенты как цикл коррекции

Проект называет свой метод улучшения оптимизацией графа с текстовым градиентом. Это звучит как обучение модели, но веса не меняются. Языковая модель анализирует предложенный граф и его показатели качества, затем описывает конкретные способы исправления простым языком: устранение циклической зависимости, добавление отсутствующего элемента, повторное соединение несоответствующих входов и выходов или изменение порядка шагов. После этого пересматривается скорректированный граф.

Draft graph
    ↓
Check acyclicity, connectedness, intent coverage and edge compatibility
    ↓
Describe the defect in natural language
    ↓
Add, remove, reconnect or reorder nodes
    ↓
Evaluate again

Ремонт на уровне графа подходит для мультимодальных пайплайнов, поскольку многие ошибки оркестрации носят символический характер. Такие ограничения, как необходимость наличия описания перед запуском редактора, проще соблюдать на уровне графа, чем с помощью нечеткого показателя качества. Однако ограничения все же существуют: каждый дополнительный раунд обработки увеличивает задержку и количество вызовов модели, модель проверки может все равно пропустить некорректный граф, а хорошо сформированный план не гарантирует, что инструменты сработают или что результат будет качественным.

Архитектура исследований против производственного движка

Здесь исследовательская концепция и производственная платформа различаются. Реальная обработка видео может занимать минуты или часы и включать использование локальных инструментов, хостинговых API, файловых систем, GPU и процессов рендеринга. Для этого требуется:

• Надежное состояние узлов, чтобы неудачная обработка возобновлялась вместо полной перезагрузки.
• Идемпотентные операции, или ключи выполнения, что позволяет при повторной попытке не генерировать дорогостоящий ресурс заново и не перезаписывать уже завершённую обработку.
• Цепочка происхождения артефактов. Для каждого клипа, звуковой дорожки, этапа монтажа и обработки должна быть возможность отследить исходные кадры, используемые инструкции, модель и настройки, файлы, из которых они были созданы, любые проверки, проведённые человеком, а также возможность воссоздания или удаления такого артефакта в будущем.
• Два уровня наблюдаемости. Метрики на уровне узлов показывают, какой поставщик работает медленно, дорого или с ошибками, а оценка на уровне рабочего процесса определяет, является ли итоговый результат логичным, синхронизирован ли аудио и удовлетворена ли поставленная задача.

Безопасности следует уделять столько же внимания. Транскрипты, субтитры, имена файлов и метаданные поступают извне и определяют, какие инструменты будут запущены и с какими настройками, что может привести к внедрению кода. Поскольку инструменты для обработки медиа также запускают программы, открывают файлы и обращаются к внешним сервисам, необходимо предоставить им песочницы, минимальные учетные данные, заблокированные папки для вывода данных и четкие сетевые правила.

Проект также включает чувствительные функции, такие как клонирование голоса, замена лиц и синхронизация губ. Для ответственного использования требуются записи согласия, утвержденные идентификационные данные, системы проверки, сохранение информации о происхождении данных и мониторинг злоупотреблений.

Тщательное изучение представленных результатов

По имеющимся данным, показатели эффективности оркестрации рабочих процессов варьируются от 0,87 до 0,95 в четырех основных моделях и нескольких наборах задач на обработку аудио и видео. Их был рассчитан судья на основе ИИ, оценивавший порядок обработки графа, маршрутизацию параметров, степень избыточности и полноту покрытия требований в ходе пяти испытаний. Эти показатели не отражают частоту завершения процесса рендеринга от начала до конца.

Еще один значимый показатель — снижение затрат на API примерно на 60 процентов в некоторых сравнениях по поиску информации. Этот результат получен на основе тестов на понимание видео и поиск, описанных в статье, и не учитывает локальные вычисления, хранение данных, генерацию речи, рендеринг, повторные попытки, внешние медиа-сервисы и проверку человеком.

Оценка человеком показывает хорошие перспективы, но имеет определенные ограничения. Видео, созданные людьми, показали лучшие результаты по стабильности и разнообразию сцен, в то время как VideoAgent незначительно превзошел их по качеству звука согласно представленным данным.

В целом, цифры подтверждают идею о том, что структурированное планирование в сочетании с улучшением графов способствует организации многоэтапной обработки видео. Однако они не доказывают надежность производства контента для любых видеоматериалов, поставщиков, жанров или стандартов качества.

Сферы применения

Наибольшую пользу можно ожидать при использовании нескольких моделей и типов медиа, когда видеоматериалы можно индексировать, а промежуточные элементы требуют проверки или повторного использования, а также когда допустима проверка человеком. Этот подход менее эффективен для точной обработки на уровне кадров, минимальной интерактивной задержки, работы только в оффлайне, тонкой манипуляции идентичностями или в командах, которые не хотят использовать платформу для управления рабочими процессами. В таких случаях более простая фиксированная схема обработки может оказаться дешевле, безопаснее и проще в обслуживании.

Поэтому настоящий вопрос не в том, стоит ли принять именно этот проект. Лучше спросить, нужен ли вашему продукту слой, который планирует и выполняет задачи, преобразуя творческие замыслы в результаты, доступные для анализа и хранения, в различных специализированных системах. Если да, воспользуйтесь этими идеями: сначала спланируйте всё в целом, прежде чем принимать решения на локальном уровне; ищите решения дешево, прежде чем тратить много средств на анализ; преобразуйте задачу в четко определенную структуру и отредактируйте её до начала выполнения любых действий.

Более важный урок

Обсуждения искусственного интеллекта в области видео часто сосредотачиваются на том, какой генератор лучше всего подходит. Это важно, но создание видеоматериалов — это лишь один из этапов готовой системы. Постоянное преимущество остается у того слоя, который понимает поставленную задачу, находит подходящие материалы, связывает специализированные инструменты, проверяет взаимозависимости, возобновляет работу в случае сбоев, сохраняет информацию о происхождении материалов и выделяет результаты, которым нельзя доверять.

Серьезные платформы для видео на основе ИИ не будут строиться вокруг одной-единственной чудесной модели. Они будут основаны на рабочих процессах, которые определяют, какую модель вызвать, какие данные ей нужны, что происходит дальше и как восстановиться, когда реальность отклоняется от плана.