Douze Labs, une entreprise de recherche et de développement en intelligence artificielle basée dans la baie de San Francisco, est en pointe dans la compréhension multimodale des vidéos. Aujourd’hui, nous sommes ravis de dévoiler les toutes dernières fonctionnalités de génération de texte à partir de vidéos de Pegasus-1, notre dernier modèle de base de langage vidéo. Cela représente notre engagement à offrir une gamme complète d’API adaptée à différentes tâches de compréhension vidéo en aval. Notre gamme s’étend de la recherche de moments vidéo basée sur la langue naturelle à la classification, et maintenant, avec la dernière version, à la génération de texte à partir de vidéos basée sur des prompts.
Les données vidéo sont fascinantes car elles contiennent plusieurs modalités dans un seul format. Nous pensons que la compréhension des vidéos nécessite une approche nouvelle et innovante pour marier les subtilités de la perception visuelle et les nuances contextuelles et séquentielles de l’audio et du texte. Avec l’essor de modèles d’images et de langage capables, l’approche dominante pour la compréhension des vidéos a été de la reformuler en tant que problème de compréhension d’images ou de parole. Un cadre typique impliquerait de mettre des images en échantillonnage à partir de la vidéo et de les introduire dans un modèle de langage visuel. Bien que cette approche puisse être viable pour les courtes vidéos (d’où le fait que la plupart des modèles de langage visuel se concentrent sur les clips vidéo de moins de 1 minute), la plupart des vidéos du monde réel dépassent les 1 minute et peuvent facilement s’étendre sur des heures. Utiliser une approche « image-first » vanilla sur de telles vidéos signifierait traiter des dizaines de milliers d’images pour chaque vidéo, ce qui impliquerait de devoir manipuler un grand nombre d’embeddings de texte-image qui capturent à peine les sémantiques de l’information spatiotemporelle. Cela est impraticable dans de nombreuses applications en termes de performance, de latence et de coût. En outre, la méthodologie dominante néglige la nature multimodale des vidéos, dans lesquelles l’analyse conjointe des éléments visuels et auditifs, y compris la parole, est cruciale pour une compréhension complète de leur contenu.
