L’entreprise de démarrage en intelligence artificielle derrière Stable Diffusion teste maintenant la vidéo générative.

Les œuvres génératrices d’art Stable Diffusion peuvent maintenant être animées, a annoncé Stability AI. La société a lancé un nouveau produit appelé Stable Video Diffusion dans une prévisualisation de recherche, permettant aux utilisateurs de créer des vidéos à partir d’une seule image. «Ce modèle vidéo génératif de pointe représente une étape importante de notre parcours vers la création de modèles pour tous les types de personnes», a écrit la société. Le nouvel outil a été publié sous la forme de deux modèles d’image-vidéo, chacun capable de générer 14 à 25 images longues à des vitesses comprises entre 3 et 30 images par seconde à une résolution de 576 × 1024. Il est capable de synthèse à plusieurs points de vue à partir d’une seule image avec ajustement fin sur les jeux de données à plusieurs points de vue. «Au moment de leur publication dans leur forme fondamentale, grâce à une évaluation externe, nous avons constaté que ces modèles surpassaient les modèles fermés les plus performants dans les études de préférence d’utilisateur», a déclaré la société, en le comparant aux plateformes de vidéo-texte Runway et Pika Labs. Stable Video Diffusion n’est disponible que à des fins de recherche à ce stade, et non pour des applications réelles ou commerciales. Les utilisateurs potentiels peuvent s’inscrire pour figurer sur une liste d’attente pour accéder à «une expérience Web à venir mettant en vedette une interface vidéo-texte», a écrit Stability AI. L’outil présentera des applications potentielles dans les secteurs de la publicité, de l’éducation, du divertissement et plus encore. Les échantillons montrés dans la vidéo ci-dessus semblent de qualité relativement élevée, en correspondance avec les systèmes génératifs concurrents. Cependant, il présente certaines limitations, a écrit la société: il génère des vidéos relativement courtes (moins de 4 secondes), manque de photoréalisme parfait, ne peut pas faire de mouvement de caméra sauf de lents panoramiques, n’a pas de contrôle du texte, ne peut pas générer de texte lisible et ne peut pas générer de personnes et de visages correctement. L’outil a été formé à partir d’un jeu de données de millions de vidéos, puis ajusté finement sur un jeu de données plus petit, Stability AI ne mentionnant que des vidéos disponibles publiquement à des fins de recherche. L’origine du jeu de données est importante, car Stability AI vient d’être poursuivie en justice par Getty Images pour avoir extrait ses archives d’images.