Douze Labs, une entreprise de recherche et de développement en intelligence artificielle basée dans la baie de San Francisco, est à l’avant-garde de la compréhension multimodale des vidéos. Aujourd’hui, nous sommes ravis de dévoiler les dernières capacités de génération de texte à partir de vidéos de Pegasus-1, notre dernier modèle de base pour la compréhension des langues vidéo. Cela représente notre engagement à offrir une gamme complète d’API adaptée à diverses tâches de compréhension vidéo en aval. Notre gamme s’étend de la récupération de moments vidéo basée sur la langue naturelle à la classification, et maintenant, avec la dernière version, à la génération de texte à partir de vidéos basée sur des consignes.
Les données vidéo sont intéressantes car elles contiennent plusieurs modalités dans un seul format. Nous croyons que la compréhension des vidéos nécessite une approche novatrice pour marier les intrications de la perception visuelle et les nuances contextuelles et séquentielles de l’audio et du texte. Avec l’apparition de modèles d’images et de langues capables, l’approche dominante pour la compréhension des vidéos a été de la reformuler en tant que problème de compréhension d’images ou de speech. Un cadre typique impliquerait l’échantillonnage de trames à partir de la vidéo et leur entrée dans un modèle de langage visuel. Bien que cette approche puisse être viable pour les vidéos courtes (ce qui explique que la plupart des modèles de langage visuel se concentrent sur des clips vidéo de moins de 1 minute), la plupart des vidéos du monde réel dépassent les 1 minute et peuvent facilement s’étendre sur des heures. L’utilisation d’une approche « image-first » vanilla sur de telles vidéos signifierait le traitement de dizaines de milliers d’images pour chaque vidéo, ce qui impliquerait la manipulation de vastes ensembles d’embeddings texte-image qui captent à peine les sémantiques de l’information spatiotemporelle de manière adéquate. Cela est impraticable dans de nombreuses applications en termes de performances, de latence et de coût. En outre, la méthodologie dominante néglige la nature multimodale des vidéos, où l’analyse conjointe des éléments visuels et auditifs, y compris la parole, est cruciale pour une compréhension globale de leur contenu.
