« Voulez-vous sauver la planète de l’IA ? Ajoutez un FPGA et abandonnez la matrice. »

Les grands modèles linguistiques peuvent être rendus 50 fois plus économes en énergie grâce à des mathématiques alternatives et à un matériel personnalisé, affirment des chercheurs de l’Université de Californie Santa Cruz. Dans un article intitulé « Scalable MatMul-free Language Modeling », les auteurs Rui-Jie Zhu, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou et Jason Eshraghian décrivent comment l’appétit énergétique de l’intelligence artificielle peut être modéré en se débarrassant de la multiplication de matrices et en ajoutant un circuit programmable en champ personnalisé (FPGA). L’IA – par laquelle nous entendons des modèles d’apprentissage automatique prédictifs et hallucinogènes – a été terrible pour préserver la habitabilité de la Terre car elle utilise tellement d’énergie, dont une grande partie provient de l’utilisation de combustibles fossiles. Le fonctionnement des centres de données pour fournir des services d’IA a augmenté les émissions de CO2 de Microsoft de 29,1 % depuis 2020, et chaque recherche Google alimentée par l’IA utilise 3,0 Wh, dix fois plus que les requêtes Google traditionnelles. Plus tôt cette année, un rapport de l’Agence internationale de l’énergie [PDF] prévoyait que la consommation d’énergie des centres de données mondiaux doublera presque d’ici 2026, passant de 460 TWh en 2022 à un peu plus de 800 TWh dans deux ans. La soif d’énergie pour alimenter l’IA a même ravivé l’intérêt pour l’énergie nucléaire, car l’augmentation de la consommation de combustibles fossiles pour le bien des chatbots, de la copie marketing fade et de la génération d’images à la demande est devenue politiquement problématique, voire un crime potentiel contre l’humanité. Jason Eshraghian, professeur adjoint en génie électrique et informatique à l’École d’ingénierie Baskin de l’UC Santa Cruz et auteur principal de l’article, a déclaré à The Register que les résultats de la recherche pourraient permettre de réaliser des économies d’énergie 50 fois plus importantes grâce à l’aide d’un matériel FPGA personnalisé.