Bing Chat a tellement faim de GPUs que Microsoft va en louer auprès d’Oracle.

La demande de services d’IA de Microsoft est apparemment si importante – ou les ressources de Redmond si limitées – que le géant du logiciel prévoit de déplacer certains des modèles d’apprentissage automatique utilisés par Bing Search vers le supercluster de GPU d’Oracle dans le cadre d’un accord multi-annuel annoncé mardi. «Notre collaboration avec Oracle et notre utilisation de l’infrastructure Oracle Cloud, associées à notre infrastructure AI Azure de Microsoft, permettront d’accéder à plus de clients et d’améliorer la vitesse de nombre de nos résultats de recherche», a expliqué Divya Kumar, responsable du marketing de la recherche et de l’IA de Microsoft, dans une déclaration. L’essentiel de la partnership se résume à ceci: Microsoft a besoin de plus de ressources de calcul pour suivre la prétendue « croissance explosive » de ses services d’IA, et Oracle dispose tout simplement de dizaines de milliers de cartes Nvidia A100 et H100 GPUs à louer. Il serait malvenu de suggérer que le géant de la base de données fondé par Larry Ellison n’a pas assez de clients Cloud pour consommer son stock de silicium. Microsoft a été l’un des premiers à intégrer un chatbot génératif IA à son moteur de recherche avec le lancement de Bing Chat en février. Vous connaissez tous le principe maintenant: vous pouvez introduire des incitations, des demandes ou des requêtes dans Bing Chat, et il essaiera de rechercher des informations, de rédiger de mauvais poèmes, de générer des images et d’autres contenus, etc. Les grands modèles linguistiques qui sous-tendent le service nécessitent non seulement de massives grappes de GPUs pour être formés, mais aussi pour l’inférence – le processus de mise en œuvre d’un modèle – de fonctionner à grande échelle. C’est la pile de GPUs d’Oracle qui aidera à cet travail d’inférence.