L’IA Générative s’empare de la Vidéo
Considérée depuis longtemps comme l’un des défis majeurs de l’IA générative, la création vidéo devient rapidement une nouvelle frontière dans ce domaine en pleine expansion. Les modèles génératifs de vidéo doivent désormais intégrer des concepts tels que le mouvement, les réactions physiques, l’alignement temporel et les interactions entre les objets, des aspects absents dans les scénarios traditionnels d’images. De plus, le nombre d’ensembles de données vidéo est relativement restreint par rapport à ceux du texte, des images ou de l’audio. Il n’est donc pas surprenant que le domaine de la vidéo accuse un retard par rapport aux autres domaines de l’IA générative. Cependant, la donne est en train de changer rapidement.
Le volume et la qualité de la recherche en vidéo générative connaissent une augmentation fulgurante. Cette semaine même, Meta et Google ont publié de nouvelles avancées dans ce domaine. Meta AI a dévoilé ses progrès dans Emu Video et Emu Edit, marquant des étapes significatives dans la vidéo générative. Emu Video est un modèle de texte à vidéo de haute qualité qui génère des images à partir d’une instruction textuelle, puis crée des vidéos courtes en s’appuyant à la fois sur le texte et les images. Emu Edit, quant à lui, est un modèle d’édition d’image capable de transformer des images en fonction d’instructions textuelles, adapté aussi bien aux modifications globales que locales.
Également cette semaine, Google Research a publié un article sur Mirasol3B, un modèle pour la compréhension multimodale de vidéos longues. Mirasol3B se compose de deux modèles autorégressifs qui infèrent des informations à partir de différentes modalités telles que la vidéo, l’audio ou le texte présents dans les vidéos longues. Les premiers résultats montrent que Mirasol3B atteint de nouveaux jalons dans les référentiels de réponses vidéo aux questions.
La vidéo émerge ainsi comme l’une des nouvelles frontières de l’IA générative. Ironiquement, c’est un domaine où OpenAI n’a pas particulièrement brillé.
Arlenis Ali
Image : « Le futur est déjà là » est une création humaine générée avec l’intelligence artificielle, processus créatif ayant nécessité 11 prompts pour parvenir au résultat final. ©HaYba Jumla
Dans la même rubrique :
•Stratégie d’OpenAI: Regards Croisés Avec le Succès Passé d’Applehttps://www.facebook.com/haybafm/posts/896940488465354?locale=fr_CA
HaYba Jumla Digital African Voice from Moroni
