Douze Labs, une entreprise de recherche et de développement en intelligence artificielle basée dans la baie de San Francisco, est à la pointe de la compréhension multimodale des vidéos. Aujourd’hui, nous sommes ravis de dévoiler les capacités de génération de texte à partir de vidéos de Pegasus-1, notre dernier modèle de base pour les langages vidéo. Cela représente notre engagement à offrir une suite complète d’API adaptée aux différentes tâches de compréhension vidéo. Notre suite s’étend de la recherche de moments vidéo basée sur le langage naturel à la classification, et maintenant, avec la dernière version, à la génération de texte à partir de vidéos en fonction de questions.
Les données vidéo sont intéressantes car elles contiennent plusieurs modalités dans un seul format. Nous pensons que la compréhension des vidéos nécessite une approche novatrice pour lier les subtilités de la perception visuelle et les nuances contextuelles et séquentielles de l’audio et du texte. Avec l’essor de modèles d’images et de langage capables, l’approche dominante pour la compréhension des vidéos a été de la reformuler comme un problème de compréhension de l’image ou de la parole. Un cadre typique impliquerait de prélever des images des vidéos et de les introduire dans un modèle vision-langue. Bien que cette approche puisse être viable pour les courtes vidéos (d’où la concentration de la plupart des modèles vision-langue sur les clips vidéo de moins de 1 min), la plupart des vidéos du monde réel dépassent 1 minute et peuvent facilement s’étendre sur des heures. L’utilisation d’une approche « image-first » standard sur de telles vidéos signifierait le traitement de dizaines de milliers d’images pour chaque vidéo, ce qui impliquerait la manipulation de vastes ensembles d’imbrications texte-image qui captent à peine les sémantiques de l’information spatiotemporelle. Cela est impraticable dans de nombreuses applications en termes de performances, de latence et de coût. De plus, la méthodologie dominante ignore la nature multimodale des vidéos, alors que l’analyse conjointe de l’audio et de l’image, y compris du discours, est cruciale pour une compréhension complète de leur contenu.
