AI w filmie wymaga orkiestracji: lekcje z projektu pipeline VideoAgent

Wyobraź sobie nagranie trwające 45 minut z prezentacji produktu oraz prośbę o dwuminutowy film z najważniejszymi momentami. Jeden model może stworzyć nowy ujęcie, a inny może opisać, co zawiera nagranie. Żaden z nich sam nie może przygotować gotowego filmu.

Ktoś nadal musi znaleźć odpowiednie momenty, uporządkować historię, napisać komentarze, przygotować lub poprawić dźwięk, dopasować narrację do wybranych klipów, stworzyć harmonogram, wygenerować film i upewnić się, że na każdym etapie użyto właściwych materiałów wejściowych. Jeśli dostawca spóźni się pod koniec pracy, zespół musi również wiedzieć, co można kontynuować bez ponownego wykonywania całego zadania. Dlatego sztuczna inteligencja używana do produkcji filmów staje się problemem związanym z orkiestracją różnych elementów.

Przykładem może być otwarty oprogramowanie VideoAgent firmy HKUDS. Zamiast jednego ogromnego żądania modelu, przyjmuje on proste opis w języku potocznym i tworzy graf specjalistycznych operacji obejmujących widzenie, dźwięk, wyszukiwanie, mowę i edycję. Prezentuje się jako kompleksowe narzędzie, ale najciekawszą częścią do zbadania jest warstwa sterująca, która decyduje, co ma zostać uruchomione, w jakiej kolejności i na jakich nośnikach. Ta koncepcja znajduje zastosowanie również w innych systemach. Silnych modeli będzie wiele, a kluczowe jest zapewnienie ich niezawodnej współpracy.

Generowanie to jeden węzeł

Prawdziwe zadanie związane z wideo przekracza kilka granic możliwości:

• rozumienie obrazów i dźwięku,
• wyszukiwanie długich nagranych materiałów według czasu,
• planowanie fabuły i jej ujęć,
• tworzenie narracji i głosów,
• oddzielanie, miksowanie i synchronizowanie dźwięku,
• edycja, sekwencjonowanie i dodawanie efektów,
• renderowanie i eksportowanie.

Te operacje nie mają ani wspólnej interfejsu, ani modelu awarii. Narzędzie do pobierania zwraca kandydatów na klipy wraz z zapisem czasowym. Model mowy zwraca dźwięk. Edytor przetwarza pliki multimedialne wraz z osią czasu. Generator może zwrócić zupełnie nowy klip, a narzędzie renderujące tworzy ostateczny produkt.

Zależności są równie ważne jak same modele. Narracja musi istnieć, zanim będzie można ją połączyć, należy znaleźć odpowiednie nagrania, zanim będzie można je przyciąć, a synchronizacja warg wymaga zarówno docelowego filmu, jak i wygenerowanej mowy. Ostateczny edytor nie może stworzyć wiarygodnej osi czasu, gdy wcześniejsze produkty są brakujące, przestarzałe lub niekompatybilne.

Przydatnym modelem mentalnym nie jest zatem „jedna sztuczna inteligencja, która tworzy filmy”. To proces pracy składający się z płaszczyzny sterowania i płaszczyzny multimedialnej.

Control plane
Interpret intent -> plan shots -> select tools -> validate dependencies -> schedule work

Media plane
Index footage -> retrieve clips -> trim -> generate speech -> mix -> edit -> render

VideoAgent nie używa dokładnie tych terminów, ale jego architektura odpowiada im. Modele językowe analizują intencję oraz strukturę grafu, podczas gdy agenci mediów zajmują się faktyczną obróbką wideo i dźwięku. To rozdzielenie ma znaczenie w produkcji, ponieważ planowanie, realizacja i naprawa wymagają różnych mechanizmów kontrolnych.

Planuj globalnie przed wybieraniem klipów

Długie nagrania stwarzają problem z kontekstem. Przetwarzanie każdego klatki oraz próbki dźwięku w jednym modelu jest kosztowne, powolne i zazwyczaj niepotrzebne.

W artykule naukowym opisującym projekt przedstawiono planowanie w dwóch etapach. Najpierw system wybiera kluczowe klatki, tworzy do nich napisy i spaja te lokalne notatki w jedną ogólną syntezę materiału. Następnie agent planujący ujęcia czyta tę syntezę wraz z prośbą użytkownika i opracowuje scenariusz klatka po klatce.

Kolejność ma znaczenie. Słabszy system może pobierać klipy oddzielnie dla każdego zdania w prośbie. Może znaleźć lokalnie istotne materiały wideo, ale i tak stworzyć kiepską historię, z powtarzającymi się scenami, brakującym kontekstem i zaburzoną chronologią, ponieważ nic nie koordynuje całej narracji. Planowanie globalne pozwala systemowi na postawienie lepszego pytania.

Not: Find clips related to the product.

Instead: Find an opening problem shot, a feature demonstration,
a user reaction and a closing result, in that narrative order.

Część informacji jest nieuchronnie traciona, ponieważ analizowane są jedynie wybrane klatki kluczowe oraz generowane napisy, a nie każda klatka. Szczegóły mogą umknąć przez luki pomiędzy próbkami lub zostać zniekształcone podczas streszczania. Mimo to stosunek korzyści i strat jest rozsądny: najpierw tworzy się ogólny obraz, a następnie inwestuje się więcej zasobów obliczeniowych w dokładny wybór fragmentu.

Najpierw tania wyszukiwanie, potem precyzyjna

Gdy storyboard jest już gotowy, kolejnym krokiem jest znalezienie w nagraniu momentów pasujących do poszczególnych ujęć. VideoAgent koduje opisy ujęć oraz kandydatów na klatki kluczowe za pomocą modeli cross-modalnych, takich jak ImageBind czy CLIP, dzięki czemu oba elementy znajdują się w tym samym przestrzeni embeddingów, a podobieństwo kosinowe pomaga wybrać najbardziej odpowiednie wyniki. Następnie model łączący wizję z językiem doprecyzowuje wybrany fragment, określając dokładniejsze czasy rozpoczęcia i zakończenia.

Shot requirement
      ↓
Embedding search across indexed footage
      ↓
Small candidate set
      ↓
Vision-language temporal refinement
      ↓
Trimmed clip with start and end timestamps

Wzorzec przechodzenia od surowych danych do bardziej dopracowanych ma większe znaczenie niż konkretny kodownik. Tanie metody wyszukiwania zawężają zakres poszukiwań, natomiast kosztowne procesy rozumowania multimodalnego są zachowywane dla najbardziej prawdopodobnych kandydatów. Ten sam podejście pomaga w obsłudze zadań związanych z wywiadem, przeglądaniem materiałów z monitoringu, archiwami mediów oraz nagraniami sportowymi – wszędzie tam, gdzie silny model nie powinien analizować każdej sekundy każdego nagrania.

W terminologii inżynieryjnej proces wyszukiwania staje się częścią łańcucha produkcji i przestaje być odrębną funkcją. Wymaga to indeksów w wersjach, śledzalnych zapytań, sygnałów pewności oraz rozwiązań awaryjnych w przypadku, gdy najlepszy wynik pozostaje niewystarczający.

Od krótkiego opisu kreatywnego do wykonywalnego grafu

Sam storyboard nie wystarcza. Plan musi przekształcić się w działania, które faktycznie mogą zostać przeprowadzone. VideoAgent modeluje przepływ pracy jako skierowany graf acykliczny: węzłami są specjalistyczne agenty lub operacje związane z mediami, a krawędzie przenoszą wynik jednego węzła do wejścia innego. Publiczny projekt zawiera ponad 30 agentów obejmujących funkcje wyszukiwania, transkrypcji, generowania głosu, przetwarzania dźwięku, edycji wideo, modyfikacji twarzy, synchronizacji warg, streszczania i odpowiadania na pytania.

W przypadku podsumowania produktu graf może obejmować sesję nagraniową, transkrypcję i indeks scen, następnie proces wyszukiwania, narrację, miksowanie i edycję, a na końcu wygenerowanie pliku końcowego.

Recorded session
      ↓
Transcript + scene index
      ↓
Global summary and shot plan
      ↓
Candidate clip retrieval
      ↓
Temporal trimming
      ├──────────────┐
      ↓              ↓
Selected clips    Commentary script
                     ↓
                 Voice generation
                     ↓
                 Audio mixing
      └──────────────┤
                     ↓
                Timeline assembly
                     ↓
               Quality checks
                     ↓
                  Render

Każdy krawędź pełni rolę umowy:

• Narzędzie do pobierania klipów powinno zwracać identyfikator źródła, daty i godziny oraz wartość pewności.
• Etap przetwarzania dźwięku powinien zwracać artefakt audio wraz z metadanymi dotyczącymi czasu trwania i szybkości próbkowania.
• Edytor powinien odrzucić harmonogram, jeśli brakuje wymaganych plików lub jeśli długość napisów nie pasuje do wybranych ujęć.

To przekształca graf agencyjny w coś więcej niż zwykły diagram – stanowi miejsce na weryfikację procesu pracy przed rozpoczęciem kosztownej realizacji.

Gradienty tekstowe jako pętla naprawcza

Projekt nazywa swój metodę udoskonalania „optymalizacją grafu tekstowego z gradientem”. Brzmi to jak szkolenie modelu, ale żadne wagi się nie zmieniają. LLM analizuje proponowany graf oraz sygnały dotyczące jego jakości, a następnie opisuje konkretne korekty w prostym języku: usuwanie zależności cyklicznych, dodawanie brakującego elementu, ponowne połączenie niepasujących danych wejściowych i wyjściowych lub zmiana kolejności kroków. Poprawiony graf jest ponownie sprawdzany.

Draft graph
    ↓
Check acyclicity, connectedness, intent coverage and edge compatibility
    ↓
Describe the defect in natural language
    ↓
Add, remove, reconnect or reorder nodes
    ↓
Evaluate again

Poprawki na poziomie grafu pasują do wielomodalnych pipeline’ów, ponieważ wiele błędów orkiestracji ma charakter symboliczny. Wymóg taki jak konieczność istnienia narracji przed uruchomieniem edytora jest łatwiejszy do wdrożenia w grafie niż za pomocą nieprecyzyjnego wskaźnika jakości. Mimo to istnieją ograniczenia – każdy dodatkowy etap refleksji powoduje opóźnienia i większą liczbę wywołań modelu, model sprawdzający może nadal zaakceptować błędny graf, a dobrze sformatowany plan nie gwarantuje, że narzędzia będą działać poprawnie ani że wynik będzie zadowalający.

Architektura badawcza versus silnik produkcyjny

Tutaj projekt badawczy i platforma produkcyjna rozchodzą się w różnych kierunkach. Prawdziwa praca z wideo może trwać minuty lub godziny, wykorzystując lokalne narzędzia, hostowane API, systemy plikowe, karty graficzne oraz procesy renderowania. Wymaga to:

• Trwałego stanu węzła, aby nieudana praca mogła być kontynuowana zamiast restartowana.
• Operacje idempotentne, czyli klucze wykonywania, dzięki którym ponowna próba nie powoduje ponownego tworzenia kosztownego pliku ani nadpisywania już ukończonego renderingu.
• Łańcuch powstawania artefaktów. Dla każdego klipu, ścieżki dźwiękowej, edycji i renderingu powinno być możliwe prześledzenie źródłowych nagrań, promptu, modelu i ustawień, plików, z których korzystano, ewentualnej ludzkiej oceny oraz informacji, czy dany artefakt można odtworzyć lub usunąć później.
• Dwa poziomy obserwowalności. Wskaźniki na poziomie węzłów pokazują, który dostawca pracuje wolno, jest kosztowny lub napotyka problemy, natomiast ocena na poziomie procesu pracy wskazuje, czy historia jest spójna, dźwięk zsynchronizowany, a żądanie spełnione.

Bезpieczeństwo wymaga równego uwagi. Transkrypcje, napisy, nazwy plików oraz metadane pochodzą z zewnątrz i określają, które narzędzia mają być uruchamiane oraz z jakimi ustawieniami, więc mogą stanowić środek do wstrzykiwania kodu. Ponieważ narzędzia do przetwarzania mediów również uruchamiają programy, otwierają pliki i łączą się z zewnętrznymi usługami, należy im zapewnić „piaskownice”, minimalne uprawnienia, zablokowane foldery wyjściowe oraz wyraźne zasady sieciowe.

Projekt obejmuje ponadto wrażliwe funkcje, takie jak klonowanie głosu, zamiana twarzy oraz synchronizacja warg. Odpowiednie korzystanie z tych narzędzi wymaga rejestracji zgód, zatwierdzonych danych tożsamości, mechanizmów weryfikacji, zachowania informacji o pochodzeniu plików oraz monitorowania nadużyć.

Uważne czytanie przedstawionych wyników

Podane wskaźniki skuteczności w zakresie orkiestracji procesów pracy wahały się od 0,87 do 0,95 w czterech głównych modelach oraz przy kilku zestawach zadań audio i wideo. Wyniki te zostały uzyskane za pomocą modelu LLM, który oceniał kolejność grafu, routowanie parametrów, redundancję oraz stopień spełnienia wymagań podczas pięciu prób. Nie mierzą one częstotliwości pełnego zakończenia procesu renderowania od początku do końca.

Kolejną istotną wartością jest spadek kosztów API o około 60 procent w niektórych porównaniach dotyczących wyszukiwania informacji. Wynik ten pochodzi z testu zrozumienia wideo i wyszukiwania przedstawionego w artykule i nie uwzględnia lokalnych zasobów obliczeniowych, przechowywania danych, generowania mowy, procesu renderowania, prób ponownych, zewnętrznych usług multimedialnych ani oceny przez ludzi.

Ocena przez ludzi wydaje się obiecująca, ale ma swoje ograniczenia. Wideo stworzone przez ludzi uzyskały lepsze wyniki pod względem spójności i różnorodności scen, natomiast VideoAgent osiągnął nieco wyższe wyniki pod względem jakości dźwięku w przedstawionym podziale wyników.

Podsumowując, dane potwierdzają, że ustrukturyzowane planowanie w połączeniu z udoskonalaniem grafów pomaga w zorganizowaniu wieloetapowej orkiestracji wideo. Nie udowadniają one jednak niezawodności produkcji dla jakichkolwiek nagrań, dostawców, gatunków czy standardów jakości.

Gdzie to rozwiązanie się sprawdza

Najlepsze efekty osiąga się, gdy angażowane są różne modele i typy mediów, nagrania mogą być indeksowane, efekty pośrednie wymagają sprawdzenia lub ponownego użycia, a korekta przez osobę jest do przyjęcia. Mniej odpowiednie jest to rozwiązanie do dokładnych edycji na poziomie klatek, niskiej latencji interaktywnej, działania wyłącznie offline, delikatnej manipulacji identyfikatorami lub w zespołach, które nie chcą korzystać z platformy do zarządzania procesami. Dla takich przypadków mniejszy, stały pipeline może być tańszy, bezpieczniejszy i łatwiejszy w utrzymaniu.

Zatem prawdziwe pytanie nie brzmi, czy przyjąć ten konkretny projekt. Lepiej zastanów się, czy twój produkt potrzebuje warstwy, która planuje i realizuje, przekształcając intencje twórcze w prace możliwe do odzyskania i sprawdzenia w ramach kilku specjalistycznych systemów. Jeśli tak, skorzystaj z tych pomysłów: najpierw zaplanuj całość, zanim podejmiesz decyzje lokalne; poszukuj tanio, zanim inwestujesz dużo zasobów; przekształć zadanie w wyraźny graf i popraw ten graf, zanim cokolwiek zostanie uruchomione.

Ważniejsza lekcja

Dyskusje na temat AI w filmie zwykle koncentrują się na tym, który generator jest najlepszy. To istotne, ale tworzenie materiałów wideo to tylko jedna z faz gotowego systemu. Trwała przewaga należy do tej warstwy, która rozumie brief, znajduje odpowiednie materiały, łączy specjalistyczne narzędzia, sprawdza zależności, wznowia nieudane prace, zachowuje informacje o pochodzeniu materiałów i zaznacza wyniki, którym nie należy ufać.

Poważne platformy wideo oparte na sztucznej inteligencji nie będą skupiać się na jednym cudownym modelu. Będą opierać się na procesach pracy, które wiedzą, który model należy wywołać, jakie dane są potrzebne, co nastąpi dalej oraz jak odzyskać kontrolę, gdy rzeczywistość odbiega od planu.