À mesure que la loi de Moore ralentissait, les puces, en particulier celles utilisées dans l’IA et le calcul haute performance (HPC), sont devenues de plus en plus chaudes. En 2023, nous avons vu des accélérateurs entrer dans la gamme kilowatt avec l’arrivée de GH200 Superchips de Nvidia. Nous savions depuis longtemps que ces puces seraient chaudes – Nvidia tease la puce hybride CPU-GPU depuis près de deux ans. Ce que nous ne savions pas jusqu’à récemment, c’est comment les OEM et les constructeurs de systèmes réagiraient à une telle densité de puissance. La plupart des systèmes seraient-ils refroidis par liquide? Ou la plupart d’entre eux utiliseraient-ils un refroidissement par air? Combien de ces accélérateurs essaieraient-ils de mettre dans une seule boîte, et combien serait grande cette boîte? Maintenant que les premiers systèmes basés sur le GH200 arrivent sur le marché, il est devenu clair que la forme du facteur est très dictée par la densité de puissance que par autre chose. Cela se résume essentiellement à la surface disponible pour dissiper la chaleur. Fouillez les systèmes disponibles aujourd’hui de Supermicro, Gigabyte, QCT, Pegatron, HPE et d’autres, et vous remarquerez rapidement une tendance. Jusqu’à environ 500 W par unité de rack (RU) – 1 kW dans le cas de MGX ARS-111GL-NHR de Supermicro -, ces systèmes sont largement refroidis par air. Certes, c’est chaud, mais c’est encore une charge thermique gérable, soit environ 21-24 kW par rack. C’est bien dans les capacités de distribution d’énergie et de gestion thermique des datacenters modernes, en particulier ceux qui utilisent des échangeurs de chaleur à porte arrière. Cependant, cela change lorsque les constructeurs de systèmes commencent à empiler plus d’un kilowatt d’accélérateurs dans chaque châssis. À ce stade, la plupart des systèmes OEM que nous avons examinés ont basculé vers un refroidissement par liquide direct. H263-V11 de Gigabyte, par exemple, offre jusqu’à quatre nœuds GH200 dans un seul châssis 2U.
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle Introduction L’intelligence artificielle (IA)
