Désireux de trouver des GPU? AWS vous permettra de réserver des instances à l’avance – sans remboursement

AWS a mis en place un nouveau modèle de consommation pour gagner de l’argent – les clients ayant besoin de ressources GPU peuvent payer pour les réserver à des dates et heures prévues, payées à l’avance, et sans modification de commande autorisée. Ce nouveau modèle de consommation est connu sous le nom de blocs de capacité Amazon Elastic Compute Cloud (EC2) pour ML. Il permet aux clients d’accéder à des capacités de calcul GPU très recherchées afin de gérer de courtes charges de travail d’apprentissage machine. La demande croissante de capacité GPU pour former et inférer des modèles d’apprentissage machine a dépassé l’offre disponible dans l’industrie, rendant les GPUs une ressource rare. Ce que AWS ne reconnaît pas, bien sûr, c’est que c’est parce que les hyperscalers sont au premier rang de la file d’attente pour les GPUs, en aspirant l’offre, y compris AWS lui-même. Nvidia aurait déclaré que 22% de ses revenus du deuxième trimestre de son calendrier étaient générés par un seul fournisseur de services en nuage. Les blocs de capacité EC2 sont initialement disponibles pour les instances de machine virtuelle Amazon EC2 P5, dont il n’existe actuellement qu’un seul type, la p5.48xlarge. Il dispose de 192 processeurs virtuels vCPU, de 2 To de mémoire système et de huit cartes graphiques Nvidia H100, ce qui en fait une instance assez lourde.