Chercheurs bouleversent le statu quo de l’IA en éliminant la multiplication de matrices dans les LLM.

Les chercheurs affirment avoir développé une nouvelle manière d’exécuter les modèles de langage d’IA de manière plus efficace en éliminant la multiplication de matrices du processus. Cela redessine fondamentalement les opérations de réseau neuronal actuellement accélérées par les puces GPU. Les conclusions, détaillées dans un récent article de préimpression des chercheurs de l’Université de Californie à Santa Cruz, de l’UC Davis, de LuxiTech et de l’Université Soochow, pourraient avoir des implications profondes sur l’impact environnemental et les coûts opérationnels des systèmes d’IA. La multiplication de matrices (souvent abrégée en « MatMul ») est au cœur de la plupart des tâches de calcul de réseau neuronal d’aujourd’hui, et les GPU sont particulièrement efficaces pour exécuter rapidement les calculs car ils peuvent effectuer un grand nombre d’opérations de multiplication en parallèle. Cette capacité a momentanément placé Nvidia en tant que société la plus précieuse au monde la semaine dernière ; la société détient actuellement une part de marché estimée à 98 pour cent pour les GPU de centres de données, qui sont couramment utilisés pour alimenter des systèmes d’IA comme ChatGPT et Google Gemini. Dans le nouvel article, intitulé « Scalable MatMul-free Language Modeling », les chercheurs décrivent la création d’un modèle personnalisé de 2,7 milliards de paramètres sans utiliser MatMul, qui offre des performances similaires aux modèles de langage conventionnels de grande taille (LLM). Ils démontrent également l’exécution d’un modèle de 1,3 milliard de paramètres à 23,8 jetons par seconde sur un GPU accéléré par une puce FPGA programmée sur mesure qui utilise environ 13 watts de puissance (sans compter la consommation d’énergie du GPU). L’implication est qu’un FPGA plus efficace « ouvre la voie au développement d’architectures plus efficaces et conviviales pour le matériel », écrivent-ils. La technique n’a pas encore été examinée par des pairs, mais les chercheurs – Rui-Jie Zhu, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou et Jason Eshraghian – affirment que leur travail remet en question le paradigme dominant selon lequel les opérations de multiplication de matrices sont indispensables pour construire des modèles de langage performants. Ils soutiennent que leur approche pourrait rendre les grands modèles de langage plus accessibles, efficaces et durables, en particulier pour le déploiement sur un matériel aux ressources limitées comme les smartphones. Dans l’article, les chercheurs mentionnent BitNet (la technique de transformation dite « à 1 bit » qui a circulé sous forme de préimpression en octobre) comme un précurseur important de leur travail. Selon les auteurs, BitNet a démontré la viabilité de l’utilisation de poids binaires et ternaires dans des modèles de langage, en s’agrandissant avec succès jusqu’à 3 milliards de paramètres tout en maintenant des performances compétitives.