Au cours de cette semaine, le NAB, la convention spécialisée en technologie de l’image et du son, a captivé plus de 61.000 participants à Las Vegas. L’occasion a été saisie par Adobe, la société qui édite des logiciels fréquemment employés dans le domaine de la postproduction, y compris à Hollywood, pour dévoiler l’intégration de l’intelligence artificielle générative au sein de Premiere Pro, son logiciel de montage de haut niveau… Et cela marque un tournant majeur pour la créativité.
Dans le domaine du cinéma hollywoodien et de la publicité, on s’attend à ce que l’intelligence artificielle générative (IA générative) consacrée à la vidéo soit intégrée dans Premiere Pro, un logiciel de montage vidéo largement utilisé par les professionnels. Cette intégration est prévue pour se faire courant de cette année, comme l’a dévoilé Adobe, la société à l’origine du logiciel, au NAB à Las Vegas.
La mise en œuvre de cette technologie a pour objectif de prévenir tout usage abusif et est envisagée pour trois fonctions principales. L’IA, surnommée Firefly, pourrait ainsi être utilisée pour compléter un plan. Si, pendant le montage, il manque des images pour assurer une transition fluide avec le plan suivant, Premiere Pro pourra générer les images manquantes en s’inspirant de la scène qui a réellement été filmée.
Encore plus impressionnant, si un plan de transition fait défaut, par exemple un plan de coupe, Firefly pourra « venir à la rescousse » du réalisateur et de son monteur et concevoir un contrechamp à partir de rien.
Adaptation des mouvements en fonction du cadre visuel
Cette innovation offre également l’option d’intervenir directement dans le montage pour enlever un objet en quelques clics, le faire disparaître comme s’il n’avait jamais été présent dans le plan ou, au contraire, ajouter un objet qui n’était pas là au départ. Par exemple, une montre ou une cravate sur un acteur qui n’en portait pas, comme l’explique Fred Rolland, responsable des solutions vidéo professionnelles pour l’Europe chez Adobe, à 42mag.fr:
« Prenez l’exemple d’une cravate. On a un homme en mouvement, vêtu d’un costume. L’utilisateur va pouvoir délimiter la zone où il souhaite ajouter la cravate, et demander à Firefly de créer cette cravate. Ce qui est prodigieux, c’est que chaque objet va s’adapter – image après image – aux mouvements du sujet, en prenant en compte la colorimétrie, l’environnement 3D, l’éclairage, de façon à donner un rendu parfaitement réaliste. »
Choix parmi plusieurs modèles y compris Sora d’Open AI
L’IA générative fonctionne à partir de modèles préétablis. Adobe laisse le choix aux utilisateurs de choisir ces modèles. On peut donc opter pour des modèles d’IA générative provenant d’éditeurs extérieurs comme Runway, Pika Labs ou encore OpenAI, qui ont conçu chatGPT, avec en tête leur modèle très convoité, Sora. On peut aussi choisir le modèle d’IA générative de vidéo conçu par Adobe, actuellement en phase d’apprentissage et de création à partir de leur banque d’images appelée Stock, comprenant 450 millions de fichiers photo et vidéo.
