« Douze Labs, une entreprise de recherche et de développement en intelligence artificielle basée dans la baie de San Francisco, est en pointe de la compréhension multimodale des vidéos. Aujourd’hui, nous sommes ravis de dévoiler les capacités de pointe de génération de texte à partir de vidéos de Pegasus-1, notre dernier modèle de base de langage vidéo. Cela représente notre engagement à offrir une gamme complète d’API adaptée aux différentes tâches de compréhension vidéo en aval. Notre suite de produits s’étend de la recherche de moments vidéo basée sur le langage naturel à la classification, et maintenant, avec la dernière version, à la génération de texte à partir de vidéos avec des promesses.
Les données vidéo sont intrigantes car elles contiennent plusieurs modalités dans un seul format. Nous croyons que la compréhension des vidéos nécessite une approche nouvelle et audacieuse de l’alliance des subtilités de la perception visuelle et des nuances contextuelles et séquentielles de l’audio et du texte. Avec l’essor de modèles d’images et de langage capables, l’approche dominante pour la compréhension des vidéos consiste à la reformuler comme un problème de compréhension d’images ou de parole. Un cadre typique impliquerait l’échantillonnage de cadres à partir de la vidéo et leur entrée dans un modèle de vision-langage. Bien que cette approche puisse être viable pour les courtes vidéos (d’où la concentration de la plupart des modèles de vision-langage sur les clips vidéo de moins de 1 minute), la plupart des vidéos du monde réel dépassent les 1 minute et peuvent facilement s’étendre sur des heures. L’utilisation d’une approche « image-first » classique sur de telles vidéos signifierait le traitement de dizaines de milliers d’images pour chaque vidéo, ce qui impliquerait la manipulation de vastes ensembles d’embeddings texte-image qui capturent à peine les sémantiques spatiotemporels, au mieux. Cela est impraticable dans de nombreuses applications en termes de performance, de latence et de coût. En outre, la méthodologie dominante passe sous silence la nature multimodale des vidéos, où l’analyse conjointe des éléments visuels et auditifs, y compris la parole, est cruciale pour une compréhension complète de leur contenu. »
