Les vidéos d’IA ont besoin d’orchestration : leçons tirées de la conception du pipeline VideoAgent.

Imaginez une enregistrement de 45 minutes d’un lancement de produit accompagné d’une demande de diaporama de deux minutes. Un modèle peut synthétiser une nouvelle séquence vidéo. Un autre peut narrer le contenu de l’enregistrement. Aucun des deux ne peut produire seul la vidéo finale.

Quelqu’un doit encore identifier les moments clés, organiser le récit, rédiger des commentaires, traiter ou nettoyer l’audio, synchroniser la narration avec les clips choisis, créer un chronogramme, le générer et s’assurer que chaque étape utilise les données appropriées. Si un fournisseur rencontre un problème de temps à la fin, l’équipe doit également savoir ce qui peut être repris sans devoir refaire tout le travail. C’est pourquoi la création vidéo par IA devient un problème d’orchestration.

VideoAgent, un logiciel open source de HKUDS, en est un exemple pratique. Au lieu de demander un modèle gigantesque, il prend une description en langage courant et crée un réseau d’opérations spécialisées couvrant la vision, l’audio, la recherche, le traitement du langage parlé et l’édition. Il se présente comme un framework tout-en-un, mais ce qui mérite d’être étudié, c’est sa couche de contrôle, qui décide de ce qui s’exécute, dans quel ordre et sur quels supports. Cette idée s’applique également à d’autres systèmes. Les modèles puissants seront abondants, et c’est faire en sorte qu’ils coopèrent de manière fiable qui constitue le véritable défi.

La génération correspond à un seul nœud

Un véritable projet vidéo dépasse plusieurs limites fonctionnelles :

• la compréhension des images et du son,
• la recherche dans de longs enregistrements en fonction du temps,
• la planification de l’histoire et de ses plans,
• la génération de narrations et de voix,
• la séparation, le mélange et la synchronisation de l’audio,
• le découpage, l’assemblage en séquence et l’ajout d’effets.

Affichage et exportation.

Ces opérations ne partagent ni une interface ni un modèle de défaillance. Un récupérateur renvoie des extraits candidats accompagnés de timestamps. Un modèle de parole renvoie de l’audio. Un éditeur utilise des fichiers médias ainsi qu’une timeline. Un générateur peut produire un extrait entièrement nouveau, tandis qu’un afficheur produit l’artefact final.

Les dépendances sont tout aussi importantes que les modèles. La narration doit exister avant de pouvoir être mixée, les bons plans vidéo doivent être trouvés avant de pouvoir être coupés, et la synchronisation des lèvres nécessite à la fois la vidéo cible et la parole générée. Un éditeur final ne peut pas créer une timeline fiable lorsque les artefacts en amont manquent, sont obsolètes ou incompatibles.

Le modèle mental utile n’est donc pas « une seule IA qui crée des vidéos ». Il s’agit d’un flux de travail comprenant un plan de contrôle et un plan média.

Control plane
Interpret intent -> plan shots -> select tools -> validate dependencies -> schedule work

Media plane
Index footage -> retrieve clips -> trim -> generate speech -> mix -> edit -> render

VideoAgent n’utilise pas ces termes exacts, mais son architecture correspond à ceux-ci. Les modèles de langage analysent l’intention et la structure du graphe, tandis que les agents multimédias s’occupent réellement du traitement vidéo et audio. Cette séparation est importante en production, car la planification, l’exécution et la récupération nécessitent chacune des contrôles différents.

Planifiez globalement avant de sélectionner des extraits

Les enregistrements longs posent un problème de contexte. Traiter chaque frame et chaque échantillon audio avec un seul modèle est coûteux, lent et généralement inutile.

Le rapport du projet décrit une planification en deux étapes. D’abord, le système sélectionne des keyframes, en écrit les sous-titres et synthétise ces notes locales en un résumé global du contenu. Ensuite, un agent de planification des plans lit ce résumé ainsi que la demande de l’utilisateur pour élaborer un storyboard, plan par plan.

L’ordre est important. Un système moins performant pourrait récupérer des extraits séparément pour chaque phrase de la demande. Il peut trouver des images pertinentes au niveau local, mais produire malgré tout une histoire médiocre, avec des scènes répétées, un manque de contexte et une chronologie chaotique, puisque rien ne permet de structurer l’ensemble du récit. Une planification globale permet de formuler une question plus adaptée au système de recherche.

Not: Find clips related to the product.

Instead: Find an opening problem shot, a feature demonstration,
a user reaction and a closing result, in that narrative order.

Certaines informations se perdent inévitablement, car seuls les cadres clés échantillonnés et les sous-titres générés sont analysés, et non chaque frame. Les détails peuvent passer inaperçus à cause des intervalles entre les échantillons ou être simplifiés lors de la synthèse. Néanmoins, cet équilibre est raisonnable : il suffit d’abord d’obtenir une vue d’ensemble, puis d’investir davantage de ressources informatiques pour choisir précisément le segment souhaité.

Recherche économique en premier, recherche précise en second

Une fois le storyboard créé, la tâche suivante consiste à identifier dans la vidéo les moments correspondant à chaque plan. VideoAgent encode les descriptions des plans ainsi que les cadres clés potentiels à l’aide de modèles cross-modaux tels que ImageBind ou CLIP, de sorte que tous ces éléments coexistent dans un même espace d’incorporation ; la similarité cosinus permet ensuite de sélectionner les correspondances les plus probables. Un modèle vision-langage affine ensuite le segment choisi pour déterminer des horaires de début et de fin plus précis.

Shot requirement
      ↓
Embedding search across indexed footage
      ↓
Small candidate set
      ↓
Vision-language temporal refinement
      ↓
Trimmed clip with start and end timestamps

Le motif de passage du grossier au fin importe plus que le codeur spécifique. La récupération peu coûteuse restreint la recherche, tandis que le raisonnement multimodal coûteux est réservé aux candidats plausibles. La même approche est utile pour les systèmes de renseignement, les analyses de surveillance, les archives médiatiques et les extraits sportifs, partout où un modèle puissant ne doit pas avoir à examiner chaque seconde de chaque enregistrement.

En termes d’ingénierie, la récupération devient partie intégrante du processus de production et cesse d’être une fonction de recherche distincte. Elle exige des index versionnés, des requêtes traçables, des signaux de confiance ainsi qu’une solution de secours en cas de correspondance insuffisante.

De la note créative au graphe exécutable

Un storyboard seul ne suffit pas. Le plan doit se transformer en opérations qui peuvent réellement être exécutées. VideoAgent modélise le flux de travail sous forme de graphe acyclique dirigé : les nœuds représentent des agents spécialisés ou des opérations sur les médias, et les arêtes transmettent la sortie d’un nœud à l’entrée d’un autre. Le projet public comprend plus de 30 agents couvrant la récupération d’informations, la transcription, la génération de voix, le traitement audio, l’édition vidéo, la manipulation des visages, la synchronisation des lèvres, la synthèse et la réponse aux questions.

Pour un résumé du produit, le graphe peut passer par la session enregistrée, via une transcription et un index des scènes, puis par la récupération des données, la narration, le mélange et l’édition, pour se terminer par la génération du rendu.

Recorded session
      ↓
Transcript + scene index
      ↓
Global summary and shot plan
      ↓
Candidate clip retrieval
      ↓
Temporal trimming
      ├──────────────┐
      ↓              ↓
Selected clips    Commentary script
                     ↓
                 Voice generation
                     ↓
                 Audio mixing
      └──────────────┤
                     ↓
                Timeline assembly
                     ↓
               Quality checks
                     ↓
                  Render

Chaque arête agit comme un contrat :

• Le récupérateur de clips doit retourner un ID de source, des timestamps ainsi qu’une valeur de confiance.
• La phase de traitement vocal doit retourner un artefact audio accompagné de métadonnées sur la durée et le taux d’échantillonnage.
• L’éditeur doit refuser une chronologie lorsque les fichiers requis sont absents ou lorsque la longueur de la narration ne correspond pas aux plans sélectionnés.

Cela transforme un graphe agentiel en bien plus qu’un simple diagramme : il offre un moyen de valider le flux de travail avant le début d’une exécution coûteuse.

Les gradients textuels en tant que boucle de correction

Le projet nomme sa méthode de perfectionnement « optimization graphique de gradient textuel ». Cela ressemble à un entraînement de modèle, mais aucun poids ne change. Un LLM examine le graphe proposé ainsi que ses indicateurs de qualité, puis décrit des corrections discrètes en langage simple : supprimer une dépendance cyclique, ajouter un agent manquant, relier à nouveau des entrées et des sorties non correspondantes, ou réorganiser les étapes. Le graphe révisé est vérifié à nouveau.

Draft graph
    ↓
Check acyclicity, connectedness, intent coverage and edge compatibility
    ↓
Describe the defect in natural language
    ↓
Add, remove, reconnect or reorder nodes
    ↓
Evaluate again

La réparation au niveau du graphe convient aux pipelines multimodaux car de nombreux erreurs d’orchestration sont de nature symbolique. Une contrainte telle que l’obligation d’une narration avant l’exécution de l’éditeur est plus facile à appliquer sur un graphe qu’au moyen d’un nombre de qualité flou. Des limites subsistent cependant : chaque round de réflexion supplémentaire entraîne des retards et davantage d’appels au modèle, le modèle de vérification peut encore valider un graphe défectueux, et un plan bien structuré ne garantit ni que les outils fonctionneront, ni que le résultat sera de bonne qualité.

Architecture de recherche versus moteur de production

Ici, la conception de recherche et la plateforme de production prennent des chemins différents. Un véritable traitement vidéo peut durer des minutes ou des heures, en passant par des outils locaux, des API hébergées, des systèmes de fichiers, des GPU et des processus de rendu. Cela exige :

• Un état de nœud durable, afin qu’un travail échoué puisse reprendre plutôt que de devoir être relancé.
• Opérations idempotentes, ou clés d’exécution, afin qu’une tentative de réexécution ne génère pas à nouveau un élément coûteux ni ne supprime une version de rendu déjà finalisée.
• Historique des artefacts. Pour chaque clip, piste audio, modification et rendu, vous devez pouvoir retracer la vidéo d’origine, la commande donnée, le modèle et les paramètres utilisés, les fichiers sources qu’ils ont consommés, toute révision effectuée par un humain, ainsi que savoir s’ils peuvent être recréés ou retirés ultérieurement.
• Deux niveaux d’observabilité. Les métriques au niveau des nœuds révèlent quel fournisseur est lent, coûteux ou en panne, tandis que l’évaluation au niveau du flux de travail indique si le récit est cohérent, l’audio aligné et la demande satisfaite.

La sécurité mérite une attention égale. Les transcriptions, les sous-titres, les noms de fichiers et les métadonnées proviennent de l’extérieur et déterminent quels outils s’exécutent et avec quelles paramètres, ce qui peut permettre des injections de code. Comme les outils multimédias exécutent également des programmes, ouvrent des fichiers et se connectent à des services externes, il convient de leur fournir des environnements isolés, des identifiants limités, des dossiers de sortie verrouillés ainsi que des règles réseau explicites.

Le projet comprend en outre des fonctionnalités sensibles telles que le clonage de la voix, le remplacement du visage et la synchronisation des lèvres. Une utilisation responsable exige des registres de consentement, des identifiants approuvés, des mécanismes de contrôle, une traçabilité des origines ainsi que une surveillance des abus.

Lire attentivement les résultats rapportés

Les taux de réussite rapportés pour l’orchestration de flux de travail varient de 0,87 à 0,95 selon quatre modèles principaux et plusieurs ensembles de tâches audio et vidéo. Ils ont été établis par un juge basé sur un LLM, qui a évalué l’ordre des graphes, le routage des paramètres, la redondance et la couverture des exigences au cours de cinq exécutions. Ces taux ne mesurent pas la fréquence à laquelle une génération s’achève du début à la fin.

Un autre chiffre marquant concerne une réduction d’environ 60 % des dépenses liées aux API dans certaines comparaisons de récupération d’informations. Ce résultat provient du benchmark de compréhension vidéo et de récupération d’informations présenté dans l’étude, et il ne prend pas en compte le calcul local, le stockage, la génération de parole, la génération visuelle, les tentatives de réessai, les services de médias externes ni l’évaluation humaine.

L’évaluation humaine est prometteuse mais limitée. Les vidéos créées par des humains ont obtenu de meilleurs résultats en termes de cohérence et de diversité des scènes, tandis que VideoAgent a obtenu un score légèrement plus élevé en termes de qualité audio selon l’analyse présentée.

En somme, les chiffres confirment l’idée selon laquelle une planification structurée associée à un affinage des graphes aide à l’orchestration vidéo en plusieurs étapes. Ils ne suffisent cependant pas à prouver la fiabilité de la production pour n’importe quel matériel vidéo, fournisseur, genre ou norme de qualité.

Où ce modèle s’applique

On observe les meilleurs résultats lorsque plusieurs modèles et types de médias sont impliqués, que le matériel vidéo peut être indexé, que les artefacts intermédiaires méritent d’être examinés ou réutilisés, et qu’une étape de révision par une personne est acceptable. Ce modèle est moins adapté aux montages précis au niveau des frames, à une latence interactive faible, aux déploiements uniquement hors ligne, à des manipulations d’identité délicates, ou aux équipes qui ne souhaitent pas utiliser une plateforme de workflow. Pour ces cas, un pipeline fixe plus simple peut être moins coûteux, plus sûr et plus facile à entretenir.

La vraie question n’est donc pas de savoir s’il faut adopter ce projet en particulier. Demandez plutôt si votre produit a besoin d’une couche capable de planifier et d’exécuter, en transformant l’intention créative en un travail reproductible et auditable au sein de plusieurs systèmes spécialisés. Si c’est le cas, empruntez ces idées : planifiez d’abord dans son ensemble avant de choisir localement, recherchez à bas coût avant de raisonner à grands frais, compilez le travail en un graphe explicite et corrigez ce graphe avant que quoi que ce soit ne soit exécuté.

La leçon principale

Les discussions sur la vidéo générée par l’IA se concentrent souvent sur le générateur le plus performant. Cela est important, mais la production de vidéos n’est qu’une étape d’un système complet. L’avantage durable revient à celle ou celui qui comprend le cahier des charges, trouve le matériel adéquat, relie les outils spécialisés, vérifie les dépendances, reprend le travail qui a échoué, conserve l’historique et met en évidence les résultats qui ne doivent pas être considérés comme fiables.

Les plateformes vidéo IA sérieuses ne seront pas axées sur un seul modèle miracle. Elles se concentreront plutôt sur des flux de travail qui savent quel modèle invoquer, quelles entrées il nécessite, quelle étape suivre et comment se remettre en selle lorsque la réalité s’éloigne du plan.