« Voulez-vous sauver la planète de l’IA ? Ajoutez un FPGA et abandonnez la matrice. »

Les grands modèles de langage peuvent être rendus 50 fois plus économes en énergie avec des mathématiques alternatives et du matériel personnalisé, affirment des chercheurs de l’Université de Californie à Santa Cruz. Dans un article intitulé « Scalable MatMul-free Language Modeling », les auteurs Rui-Jie Zhu, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou et Jason Eshraghian décrivent comment l’appétit énergétique de l’intelligence artificielle peut être modéré en se débarrassant de la multiplication matricielle et en ajoutant un circuit logique programmable sur mesure (FPGA). L’utilisation de FPGA avec l’apprentissage machine n’est pas si nouvelle, mais la manière dont cette optimisation particulière est réalisée l’est, la distinguant des travaux précédents, tels que ceux d’Alemdar et al en 2016. L’IA – par laquelle nous entendons des modèles d’apprentissage machine prédictifs et hallucinatoires – a été terrible pour maintenir la Terre habitable car elle consomme tellement d’énergie, dont une grande partie provient de l’utilisation de combustibles fossiles. Le fonctionnement des datacenters pour fournir des services d’IA a augmenté les émissions de CO2 de Microsoft de 29,1 % depuis 2020, et les recherches Google alimentées par l’IA utilisent chacune 3,0 Wh, dix fois plus que les requêtes Google traditionnelles. Plus tôt cette année, un rapport de l’Agence internationale de l’énergie [PDF] a projeté que la consommation mondiale d’énergie des centres de données doublera presque d’ici 2026, passant de 460 TWh en 2022 à un peu plus de 800 TWh en deux ans. La soif d’énergie pour alimenter l’IA a même ravivé l’intérêt pour l’énergie nucléaire, car l’accélération de la consommation de combustibles fossiles au nom des assistants conversationnels, de contenus marketing fades et de la génération d’images à la demande est devenue politiquement complexe, voire un potentiel crime contre l’humanité.