Douze Labs, une entreprise de recherche et de développement en intelligence artificielle basée dans la baie de San Francisco, est à l’avant-garde de la compréhension multimodale des vidéos. Aujourd’hui, nous sommes ravis de dévoiler les dernières capacités de génération de texte à partir de vidéos de Pegasus-1, notre dernier modèle de base pour la vidéo-langue. Cela représente notre engagement à offrir une gamme complète d’API adaptées à diverses tâches de compréhension de la vidéo. Notre gamme s’étend de la recherche de moments vidéo basée sur la langue naturelle à la classification, et maintenant, avec la dernière version, à la génération de texte à partir de vidéos basée sur les prompts. Les données vidéo sont intéressantes car elles contiennent plusieurs modalités dans un seul format. Nous croyons que la compréhension des vidéos nécessite une approche nouvelle et originale de l’union des subtilités de la perception visuelle et des nuances contextuelles et séquentielles de l’audio et du texte. Avec l’apparition de modèles d’images et de langues capables, l’approche dominante pour la compréhension des vidéos a été de la reformuler en tant que problème de compréhension de l’image ou du discours. Un cadre typique impliquerait d’échantillonner des images de la vidéo et de les entrée dans un modèle vision-langage. Bien que cette approche puisse être viable pour les courtes vidéos (ce qui explique pourquoi la plupart des modèles vision-langage se concentrent sur les clips vidéo de moins d’une minute), la plupart des vidéos du monde réel dépassent une minute et peuvent facilement s’étendre sur des heures. L’utilisation d’une approche « image-first » standard sur de telles vidéos signifierait le traitement de dizaines de milliers d’images pour chaque vidéo, ce qui entraînerait la manipulation d’un grand nombre d’ébauches d’images-textes qui saisissent à peine les sémantiques de l’information spatiotemporelle. Cela est impraticable dans de nombreuses applications en termes de performance, de latence et de coût. En outre, la méthodologie dominante ignore la nature multimodale des vidéos, où l’analyse conjointe de l’éléments visuels et auditifs, y compris la parole, est cruciale pour une compréhension complète de leur contenu.
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle Introduction L’intelligence artificielle (IA)
