Databricks affirme que son LLM fondateur open source surpasse GPT-3.5.

La plateforme d’analyse Databricks a lancé un modèle de langage de base open source, en espérant que les entreprises choisiront d’utiliser ses outils pour sauter dans le train en marche des modèles de langage volumineux. L’entreprise, fondée autour d’Apache Spark, a publié une série de benchmarks affirmant que son modèle de langage général – appelé DBRX – surpassait ses concurrents open source en termes de compréhension du langage, de programmation et de mathématiques. Le développeur a également affirmé avoir surpassé GPT-3.5 de OpenAI selon les mêmes critères. DBRX a été développé par Mosaic AI, que Databricks a acquis pour 1,3 milliard de dollars, et entraîné sur Nvidia DGX Cloud. Databricks affirme avoir optimisé DBRX pour l’efficacité grâce à ce qu’elle appelle une architecture de mélange d’experts (MoE) – où plusieurs réseaux d’experts ou apprenants divisent un problème. Databricks a expliqué que le modèle possède 132 milliards de paramètres, mais que seuls 36 milliards sont actifs sur une entrée donnée. Joel Minnick, vice-président marketing de Databricks, a déclaré à The Register : « C’est en grande partie pourquoi le modèle est capable de fonctionner aussi efficacement qu’il le fait, mais fonctionne également de manière extrêmement rapide. En termes pratiques, si vous utilisez des chatbots majeurs disponibles aujourd’hui, vous êtes probablement habitué à attendre et à regarder la réponse être générée. Avec DBRX, c’est pratiquement instantané. »