Douze Labs, une entreprise de recherche et de développement en intelligence artificielle basée dans la baie de San Francisco, est à l’avant-garde de la compréhension multimodale de la vidéo. Aujourd’hui, nous sommes ravis de dévoiler les dernières capacités de génération de texte à partir de vidéos de Pegasus-1, notre dernier modèle de base de la vidéo-langue. Cela représente notre engagement à offrir une gamme complète d’API adaptée à diverses tâches de compréhension de la vidéo en aval. Notre gamme s’étend de la récupération basée sur la langue naturelle de moments vidéo à la classification, et maintenant, avec la dernière version, à la génération de texte à partir de vidéos basée sur des invitations.
Les données vidéo sont intrigantes car elles contiennent plusieurs modalités dans un seul format. Nous pensons que la compréhension de la vidéo nécessite une nouvelle approche de l’union des subtilités de la perception visuelle et des nuances contextuelles et séquentielles de l’audio et du texte. Avec l’apparition de modèles d’image et de langage capables, l’approche dominante pour la compréhension de la vidéo a été de la reformuler en tant que problème de compréhension de l’image ou de l’audio. Un cadre typique impliquerait l’échantillonnage de trames à partir de la vidéo et leur entrée dans un modèle de vision-langage. Bien que cette approche puisse être viable pour les courtes vidéos (ce qui explique pourquoi la plupart des modèles de vision-langage se concentrent sur les clips vidéo de moins de 1 min), la plupart des vidéos du monde réel dépassent les 1 minute et peuvent facilement s’étendre sur plusieurs heures. L’utilisation d’une approche « image-first » standard sur de telles vidéos signifierait le traitement de dizaines de milliers d’images pour chaque vidéo, ce qui se traduirait par la manipulation de vastes ensembles d’embeddings texte-image qui capturent pauvrement les sémantiques de l’information spatio-temporelle, au mieux. Cela est impraticable dans de nombreuses applications en termes de performances, de latence et de coût. De plus, la méthodologie dominante néglige la nature multimodale des vidéos, où l’analyse conjointe des éléments visuels et auditifs, y compris la parole, est cruciale pour une compréhension complète de leur contenu.
