KI-Videos benötigen Orchestrierung: Erkenntnisse aus der Pipeline-Design-Strategie von VideoAgent.

Stellen Sie sich eine 45-minütige Aufzeichnung der Produktpräsentation sowie eine Anfrage nach einem zweiminütigen Highlight-Reel vor. Ein Modell kann einen neuen Schnitt erstellen, ein anderes kann erläutern, was in der Aufzeichnung enthalten ist. Keines von beiden kann das fertige Video allein liefern.

Jemand muss trotzdem die richtigen Momente auswählen, die Geschichte in der richtigen Reihenfolge präsentieren, Kommentare schreiben, das Audio produzieren oder bearbeiten, die Erzählung mit den ausgewählten Clips abstimmen, einen Zeitplan erstellen, diesen rendern und sicherstellen, dass in jeder Phase die richtigen Eingaben verwendet wurden. Falls ein Anbieter gegen Ende die Zeit überschreitet, muss das Team auch wissen, was fortgesetzt werden kann, ohne die gesamte Arbeit erneut durchführen zu müssen. Deshalb entwickelt sich die künstliche Intelligenz im Video-Produktionsbereich zu einem Orchestrierungsproblem.

HKUDS’ Open-Source-Tool VideoAgent ist ein gutes Beispiel dafür. Anstelle einer einzigen, riesigen Modellanfrage nimmt es eine Beschreibung in Alltagssprache entgegen und erstellt ein Netzwerk aus spezialisierten Operationen für Vision, Audio, Suchfunktionen, Sprachverarbeitung und Bearbeitung. Es wird als All-in-One-Framework beworben, doch der interessante Teil ist seine Steuerungsschicht, die entscheidet, was in welcher Reihenfolge und auf welchen Artefakten ausgeführt wird. Diese Idee findet sich auch in anderen Systemen wieder. Starke Modelle werden in großer Zahl vorhanden sein, und die Herausforderung besteht darin, sie zuverlässig zusammenarbeiten zu lassen.

Die Generierung ist ein einzelner Knoten

Eine echte Videoproduktion überschreitet mehrere Funktionsgrenzen:

• das Verstehen von Bildern und Ton,
• das Suchen in langen Videoaufnahmen nach Zeitangaben,
• das Planen der Handlung und der entsprechenden Aufnahmen,
• die Erstellung von Erzählungen und Stimmen,
• das Trennen, Mischen und Synchronisieren von Audio,
• das Schneiden, Sequenzieren und Hinzufügen von Effekten,
• Renderung und Export.

Diese Operationen teilen weder eine Schnittstelle noch ein Fehlermodell. Ein Abrufmechanismus gibt Kandidatenvideos mit Zeitstempeln zurück. Ein Sprachmodell liefert Audio. Ein Editor verarbeitet Mediendateien zusammen mit einer Zeitlinie. Ein Generator kann ein völlig neues Video erstellen, während ein Renderer das endgültige Produkt liefert.

Abhängigkeiten sind genauso wichtig wie die Modelle selbst. Eine Erzählung muss vorhanden sein, bevor sie gemischt werden kann, das richtige Filmmaterial muss gefunden werden, bevor es geschnitten werden kann, und für die Lippenbewegungsanpassung sind sowohl das Zielvideo als auch die erzeugte Sprache erforderlich. Ein Endeditor kann keine zuverlässige Zeitlinie erstellen, wenn die vorherigen Ergebnisse fehlen, veraltet sind oder inkompatibel sind.

Das hilfreiche mentale Modell ist daher nicht „eine KI, die Videos erstellt“. Es handelt sich um einen Workflow mit einer Steuerungs- und einer Medienebene.

Control plane
Interpret intent -> plan shots -> select tools -> validate dependencies -> schedule work

Media plane
Index footage -> retrieve clips -> trim -> generate speech -> mix -> edit -> render

VideoAgent verwendet zwar nicht genau diese Begriffe, doch seine Architektur entspricht ihnen. Sprachmodelle beurteilen die Absicht sowie die Struktur des Graphen, während Medienagenten die eigentliche Videobearbeitung und -aufbereitung übernehmen. Diese Trennung ist in der Produktion wichtig, da Planung, Ausführung und Fehlerbehebung jeweils unterschiedliche Steuermechanismen erfordern.

Planen Sie global, bevor Sie Clips auswählen

Lange Aufnahmen führen zu Problemen im Kontextverständnis. Jedes Bild und jedes Audiosample in ein einziges Modell einzuspeisen ist teuer, langsam und in der Regel unnötig.

Der wissenschaftliche Artikel zum Projekt beschreibt das Planen in zwei Schritten. Zunächst wählt das System Schlüsselbilder aus, erstellt Untertitel dafür und fasst diese lokalen Notizen zu einem umfassenden Überblick über das Material zusammen. Anschließend liest ein Aufnahmeplanungsagent diesen Überblick zusammen mit der Anfrage des Benutzers und erstellt schrittweise ein Storyboard.

Die Reihenfolge ist wichtig. Ein schwächerer Suchmechanismus könnte für jeden Satz der Anweisung separate Clips abrufen. Er kann zwar lokal relevante Aufnahmen finden, doch trotzdem eine schlechte Geschichte erzählen – mit wiederholten Szenen, fehlendem Kontext und durcheinandergeratener Chronologie –, da nichts die gesamte Erzählung zusammenhält. Eine globale Planung stellt dem Suchmechanismus eine bessere Fragestellung zur Verfügung.

Not: Find clips related to the product.

Instead: Find an opening problem shot, a feature demonstration,
a user reaction and a closing result, in that narrative order.

Einige Informationen gehen unweigerlich verloren, da nur ausgewählte Schlüsselbildern sowie generierte Untertitel geprüft werden und nicht jedes Bild. Details können durch die Lücken zwischen den Auswertungen entgehen oder durch Zusammenfassung verfälscht werden. Dennoch ist der Kompromiss angemessen: Zunächst wird ein Gesamtbild erstellt, anschließend werden mehr Rechenressourcen für die genaue Auswahl der Clips aufgewendet.

Zuerst günstige Suche, dann präzise Suche

Sobald der Storyboard vorhanden ist, besteht die nächste Aufgabe darin, in den Aufnahmen die passenden Momente für jede Szene zu finden. VideoAgent kodiert Beschreibungen der Szenen sowie mögliche Schlüsselbildern mithilfe cross-modaler Modelle wie ImageBind oder CLIP, sodass beide in einem gemeinsamen Embedding-Raum vorhanden sind. Die kosinusähnliche Ähnlichkeit listet anschließend die passenden Ergebnisse auf. Ein Vision-Language-Modell präzisiert dann den ausgewählten Zeitraum durch genaue Angabe von Start- und Endzeiten.

Shot requirement
      ↓
Embedding search across indexed footage
      ↓
Small candidate set
      ↓
Vision-language temporal refinement
      ↓
Trimmed clip with start and end timestamps

Das Muster von grob zu fein ist wichtiger als der spezifische Encoder. Günstige Abfragen beschränken die Suche, während teures multimodales Reasoning für plausible Kandidaten aufbewahrt wird. Derselbe Ansatz hilft bei der Erfüllung von Anforderungen in Bereichen wie Geheimdienstarbeit, Überwachungsprüfungen, Medienarchiven und Sport-Highlights – überall, wo ein leistungsstarkes Modell nicht jede Sekunde jeder Aufnahme prüfen muss.

In ingenieurtechnischen Begriffen wird die Abfrage zum Bestandteil des Produktionsprozesses und ist nicht mehr eine separate Suchfunktion. Dafür sind versionierte Indizes, nachvollziehbare Abfragen, Zuverlässigkeitssignale sowie ein Ersatzmechanismus erforderlich, falls die beste Übereinstimmung weiterhin unzureichend ist.

Von der kreativen Anweisung zum ausführbaren Graphen

Ein Storyboard allein reicht nicht aus. Der Plan muss in tatsächlich umsetzbare Abläufe umgewandelt werden. VideoAgent modelliert den Workflow als einen gerichteten azyklischen Graphen: Die Knoten stellen spezialisierte Agenten oder Medienverarbeitungsschritte dar, und die Kanten leiten die Ausgabe eines Knotens in die Eingabe eines anderen über. Das öffentliche Projekt enthält mehr als 30 solcher Agenten, die Aufgaben wie Informationsabruf, Transkription, Stimmenerzeugung, Audioschnitt, Videobearbeitung, Gesichtsanpassung, Lip-Sync, Zusammenfassung und Fragebeantwortung abdecken.

Bei einer Produktübersicht könnte der Graph von der aufgezeichneten Sitzung über eine Transkription und einen Szenenindex, anschließend über Informationsabruf, Erzählung, Mischen und Bearbeitung, bis hin zur Endgültigen Darstellung verlaufen.

Recorded session
      ↓
Transcript + scene index
      ↓
Global summary and shot plan
      ↓
Candidate clip retrieval
      ↓
Temporal trimming
      ├──────────────┐
      ↓              ↓
Selected clips    Commentary script
                     ↓
                 Voice generation
                     ↓
                 Audio mixing
      └──────────────┤
                     ↓
                Timeline assembly
                     ↓
               Quality checks
                     ↓
                  Render

Jede Kante fungiert als Vertrag:

• Der Clip-Aufrufmechanismus sollte eine Quell-ID, Zeitstempel sowie einen Zuverlässigkeitswert zurückgeben.
• Die Stimmverarbeitungsschicht sollte ein Audiodatum mit Metadaten zur Dauer und Abtastrate zurückgeben.
• Der Editor sollte eine Zeitlinie ablehnen, wenn die erforderlichen Dateien fehlen oder die Länge der Erzählung nicht zu den ausgewählten Aufnahmen passt.

Dadurch wird ein agenter Graph zu mehr als nur einem Diagramm – er bietet einen Ort, um den Arbeitsablauf vor dem Start einer kostspieligen Ausführung zu überprüfen.

Textuelle Gradienten als Reparaturschleife

Das Projekt nennt seine Optimierungsmethode „textual-gradient graph optimization“. Das klingt nach Modelltraining, doch es ändern sich keine Gewichte. Ein LLM prüft das vorgeschlagene Graph sowie seine Qualitätsindikatoren und beschreibt anschließend in einfachen Worten konkrete Korrekturen: Entfernung einer zyklischen Abhängigkeit, Hinzufügen eines fehlenden Akteurs, Wiederherstellung der Verbindung zwischen nicht übereinstimmenden Eingaben und Ausgaben oder Umordnung der Schritte. Das überarbeitete Graph wird erneut überprüft.

Draft graph
    ↓
Check acyclicity, connectedness, intent coverage and edge compatibility
    ↓
Describe the defect in natural language
    ↓
Add, remove, reconnect or reorder nodes
    ↓
Evaluate again

Die Reparatur auf Graph-Ebene eignet sich für multimodale Pipelines, da viele Orchestrierungsfehler symbolischer Natur sind. Eine Einschränkung wie die Notwendigkeit, dass eine Erzählung vor dem Ausführen des Editors vorhanden ist, lässt sich auf einem Graph einfacher durchsetzen als mithilfe eines ungenauen Qualitätswertes. Dennoch gibt es Grenzen: Jede zusätzliche Reflexionsrunde verursacht Verzögerungen und mehr Modellaufrufe, das Überprüfungsmodell kann weiterhin einen fehlerhaften Graph durchlassen, und ein gut strukturierter Plan garantiert weder, dass die Tools ordnungsgemäß laufen, noch dass das Ergebnis gut aussieht.

Forschungsarchitektur versus Produktionsmotor

Hier gehen Forschungsdesigns und Produktionsplattformen auseinander. Eine echte Videobearbeitung kann über Minuten oder Stunden hinweg mit lokalen Tools, gehosteten APIs, Dateisystemen, GPUs und Renderprozessen ablaufen. Dafür sind folgende Aspekte erforderlich:

• Dauerhafter Knotenzustand, damit ein fehlgeschlagener Job fortgesetzt wird anstatt neu gestartet wird.
• Idempotente Operationen, auch Ausführungsschlüssel genannt, damit ein erneuter Versuch kein teures Asset erzeugt oder eine bereits fertige Renderung überschreibt.
• Artefaktverfolgung. Für jeden Clip, Tonspur, Bearbeitungsschritt und Render sollten Sie in der Lage sein, das ursprüngliche Filmmaterial, die dahinterliegenden Anweisungen, das verwendete Modell und Einstellungen, die von ihm verarbeiteten Vorlagendateien, alle menschlichen Überprüfungen sowie die Möglichkeit, das Artefakt später neu erstellen oder zurückziehen zu können, nachzuvollziehen.
• Zwei Ebenen der Überwachbarkeit. Metriken auf Knotenebene zeigen an, welcher Anbieter langsam, teuer oder fehlerhaft ist, während die Bewertung auf Workflow-Ebene feststellt, ob die Erzählung kohärent ist, das Audio synchron ist und der Anfrage entsprochen wurde.

Sicherheit verdient gleiche Aufmerksamkeit. Transkripte, Untertitel, Dateinamen und Metadaten stammen von außen und bestimmen, welche Tools mit welchen Einstellungen ausgeführt werden, wodurch eine schnelle Einleitung von Schadcode möglich ist. Da Medienwerkzeuge außerdem Programme ausführen, Dateien öffnen und auf externe Dienste zugreifen, sollten sie Sandboxes, minimale Anmeldeinformationen, gesperrte Ausgabeverzeichnisse sowie explizite Netzwerkrichtlinien erhalten.

Das Projekt umfasst zudem sensible Funktionen wie Stimmenklonierung, Gesichtstausch und Lip-Sync. Eine verantwortungsvolle Nutzung erfordert Aufzeichnungen der Zustimmung, genehmigte Identitätsdaten, Überprüfungsmechanismen, beibehaltene Herkunftsangaben sowie Überwachung von Missbrauchsfällen.

Ausführliche Prüfung der gemeldeten Ergebnisse

Die gemeldeten Erfolgsraten bei der Workflow-Orchestrierung liegen bei vier Hauptmodellen sowie mehreren Audio- und Video-Aufgabensätzen zwischen 0,87 und 0,95. Ein LLM-Bewerter ermittelte diese Werte, indem er bei fünf Durchläufen die Graphenordnung, den Parameterverkehr, die Redundanz sowie die Abdeckung der Anforderungen bewertete. Sie messen nicht, wie oft eine Renderung von Anfang bis Ende abgeschlossen wird.

Ein weiterer wichtiger Wert ist ein etwa 60 Prozent geringerer API-Verbrauch bei einigen Suchvergleichen. Dieser Wert stammt aus dem Benchmark für Videoverständnis und -suche im Paper und schließt lokale Rechenleistung, Speicher, Sprachgenerierung, Rendering, Wiederholungsversuche, externe Mediendienste sowie menschliche Überprüfungen aus.

Menschliche Bewertungen sind vielversprechend, aber begrenzt. Von Menschen erstellte Videos erzielten bessere Ergebnisse in Bezug auf Konsistenz und Szenenvielfalt, während VideoAgent in der gemeldeten Aufschlüsselung leicht höhere Werte in Bezug auf Audioqualität erzielte.

Zusammenfassend lassen die Zahlen die Annahme zu, dass strukturierte Planung in Kombination mit der Verfeinerung von Graphen der mehrstufigen Video-Orchestrierung hilft. Sie reichen jedoch nicht aus, um die Zuverlässigkeit der Produktion für jegliches Material, jeden Anbieter, jedes Genre oder jedes Qualitätsstandard zu beweisen.

Wo das Konzept passt

Die größten Vorteile sind zu erwarten, wenn mehrere Modelle und Medientypen involviert sind, das Material indiziert werden kann, Zwischenergebnisse überprüft oder wiederverwendet werden sollten und ein menschlicher Überprüfungsschritt akzeptabel ist. Für präzise Bearbeitungen auf Frame-Ebene, eine geringe interaktive Latenz, ausschließliche Offline-Einsatzmöglichkeiten, feine Identitätsmanipulationen oder Teams, die keine Workflow-Plattform nutzen möchten, eignet sich dieses Konzept weniger. Für diese Fälle kann ein kleinerer, fester Pipeline-Workflow günstiger, sicherer und einfacher in der Wartung sein.

Die eigentliche Frage ist also nicht, ob man dieses spezielle Projekt übernimmt. Stattdessen sollte man prüfen, ob Ihr Produkt eine Schicht benötigt, die plant und ausführt, indem sie kreative Absichten in wiederherstellbare, überprüfbare Ergebnisse in mehreren spezialisierten Systemen umwandelt. Wenn ja, übernehmen Sie diese Ideen: Planen Sie zunächst im Ganzen, bevor Sie lokal entscheiden; suchen Sie kostengünstig, bevor Sie teure Überlegungen anstellen; erstellen Sie eine explizite Graphstruktur für die Aufgabe und korrigieren Sie diese Graphstruktur, bevor irgendetwas ausgeführt wird.

Die wichtigere Lektion

Die Diskussionen über KI-Videos konzentrieren sich meist darauf, welcher Generator am besten ist. Das ist zwar wichtig, doch die Erstellung von Filmmaterial ist nur eine Stufe eines fertigen Systems. Der nachhaltige Vorteil liegt bei der Schicht, die den Auftrag versteht, das richtige Material findet, spezialisierte Tools verbindet, Abhängigkeiten überprüft, fehlgeschlagenes Arbeiten wieder aufnimmt, die Herkunft dokumentiert und Ergebnisse markiert, denen man nicht trauen sollte.

Ernstzunehmende KI-Video-Plattformen werden nicht um einen einzigen, wunderbaren Modellaufruf kreisen. Sie werden vielmehr um Workflows basieren, die wissen, welches Modell aufgerufen werden soll, welche Eingaben benötigt werden, was als Nächstes kommt und wie man reagiert, wenn die Realität vom Plan abweicht.