Douze Labs, une entreprise de recherche et de développement en intelligence artificielle basée dans la baie de San Francisco, est en pointe de la compréhension multimodale des vidéos. Aujourd’hui, nous sommes ravis de dévoiler les dernières capacités de génération de texte à partir de vidéo de Pegasus-1, notre dernier modèle de base pour la langue vidéo. Cela représente notre engagement à proposer une gamme complète d’API adaptées à différentes tâches de compréhension vidéo en aval. Notre gamme s’étend de la recherche de moments vidéo fondée sur la langue naturelle à la classification, et maintenant, avec la dernière version, à la génération de texte à partir de vidéo à l’aide de prompts. Les données vidéo sont intrigantes car elles contiennent plusieurs modalités dans un seul format. Nous pensons que la compréhension des vidéos nécessite une nouvelle approche de l’union des subtilités de la perception visuelle et des nuances séquentielles et contextuelles de l’audio et du texte. Avec l’essor de modèles d’images et de langage capables, l’approche dominante pour la compréhension des vidéos consiste à la repenser comme un problème de compréhension de l’image ou de la parole. Un cadre typique impliquerait l’échantillonnage de frames à partir de la vidéo et leur entrée dans un modèle vision-langage. Bien que cette approche puisse être viable pour les courtes vidéos (ce qui explique pourquoi la plupart des modèles vision-langage se concentrent sur les clips vidéo de moins de 1 min), la plupart des vidéos du monde réel dépassent les 1 minute et peuvent facilement s’étendre sur des heures. L’utilisation d’une approche « image-first » standard sur de telles vidéos signifierait le traitement de dizaines de milliers d’images pour chaque vidéo, ce qui impliquerait de devoir manipuler un grand nombre d’embeddings texte-image qui saisissent à peine les sémantiques de l’information spatiotemporelle. Cela est impraticable dans de nombreuses applications en termes de performances, de latence et de coût. En outre, la méthodologie dominante ignore la nature multimodale des vidéos, où l’analyse conjointe des éléments visuels et auditifs, y compris la parole, est cruciale pour une compréhension complète de leur contenu.
« Les livres de Penguin Random House disent maintenant explicitement ‘non’ à la formation IA »
‘Écrit par Emma Roth, dont le portfolio couvre aussi bien les percées technologiques grand public, les dynamiques de l’industrie du
