Bing Chat est si affamé de GPU que Microsoft va en louer auprès d’Oracle.

La demande en services d’IA de Microsoft est apparemment si importante – ou les ressources de Redmond si limitées – que le géant du logiciel prévoit de décharger certains des modèles d’apprentissage automatique utilisés par Bing Search sur le supercluster de GPUs d’Oracle dans le cadre d’un accord multi-annuel annoncé mardi. «Notre collaboration avec Oracle et notre utilisation de l’infrastructure Oracle Cloud, ainsi que de notre infrastructure d’IA Microsoft Azure, vont permettre d’améliorer l’accès aux clients et la vitesse de nombreux de nos résultats de recherche», a expliqué Divya Kumar, qui dirige l’équipe de marketing de Bing Search et d’IA de Microsoft, dans une déclaration. Le partenariat se résume essentiellement à ceci: Microsoft a besoin de plus de ressources de calcul pour suivre la croissance présumée «explosive» de ses services d’IA, et Oracle dispose tout simplement de dizaines de milliers de cartes Nvidia A100 et H100 GPUs disponibles à la location. Il serait malvenu de suggérer que le géant de la base de données fondé par Larry Ellison n’a pas assez de clients cloud pour consommer son stock de silicium. Microsoft a été l’un des premiers à intégrer un chatbot d’IA générative dans son moteur de recherche avec le lancement de Bing Chat en février. Vous connaissez tous le processus à présent: vous pouvez alimenter des invitations, des demandes ou des requêtes dans Bing Chat, et il essaiera de rechercher des informations, d’écrire de mauvais poèmes, de générer des images et d’autres contenus, etc. Les grands modèles linguistiques qui sous-tendent le service nécessitent non seulement d’énormes grappes de GPUs pour être formés, mais aussi pour l’inférence – le processus de mise en œuvre d’un modèle – à l’échelle. C’est la pile de GPUs d’Oracle qui aidera à ce travail d’inférence.