Google a introduit VideoPOET, ouvrant la voie à une nouvelle génération de vidéos cohérentes.

Après que l’IA Copilot de Microsoft ait acquis la capacité de générer des clips audio à partir de textes sollicités, Google a présenté VideoPoet, un grand modèle de langage (LLM) qui repousse les limites de la génération de vidéos avec des clips de 10 secondes qui produisent moins d’artifacts. Le modèle prend en charge une gamme de tâches de génération de vidéos, notamment la conversion de texte en vidéo, la transformation d’images en vidéo, la stylisation vidéo, le remplissage et les fonctionnalités audio-vidéo. À la différence de ses prédécesseurs, VideoPoet se démarque en excellant dans la production de vidéos de grande ampleur cohérentes. Le modèle met en évidence sa dextérité en produisant des vidéos de dix secondes de long, laissant derrière lui la concurrence, y compris Gen-2. Notamment, VideoPoet ne s’appuie pas sur des données spécifiques pour la génération de vidéos, ce qui le distingue des autres modèles qui nécessitent une entrée détaillée pour des résultats optimaux. Cette polyvalence est rendue possible grâce à l’utilisation d’un modèle multilingue de grande taille, lui permettant de devenir potentiellement le standard de la génération de vidéos. VideoPOET de Google s’éloigne du courant prévalant dans les modèles de génération de vidéos, qui reposent principalement sur des approches à base de diffusion. Au lieu de cela, VideoPoet utilise la puissance des grands modèles de langage (LLM). Le modèle intègre de manière transparente diverses tâches de génération de vidéos au sein d’un seul LLM, ce qui permet d’éliminer la nécessité de composants formés séparément pour chaque fonction. Les vidéos résultantes présentent une longueur variable et des actions et styles divers en fonction du contenu du texte d’entrée. De plus, VideoPoet peut effectuer la conversion d’images d’entrée en animations en fonction de invitations fournies, mettant en évidence son adaptation à différentes entrées.