Les chercheurs bouleversent le statu quo de l’IA en éliminant la multiplication de matrices dans les LLM.

Les chercheurs prétendent avoir développé une nouvelle façon de faire fonctionner plus efficacement les modèles de langage basés sur l’IA en éliminant la multiplication matricielle du processus. Cela redessine fondamentalement les opérations de réseau neuronal actuellement accélérées par les puces GPU. Les résultats, détaillés dans un récent article préliminaire d’universitaires de l’Université de Californie Santa Cruz, de l’UC Davis, de LuxiTech et de l’Université de Soochow, pourraient avoir des implications profondes sur l’impact environnemental et les coûts opérationnels des systèmes d’IA. La multiplication matricielle (souvent abrégée en « MatMul ») est au cœur de la plupart des tâches computationnelles des réseaux neuronaux aujourd’hui, et les GPU sont particulièrement performants pour exécuter rapidement les calculs car ils peuvent effectuer de nombreuses opérations de multiplication en parallèle. Cette capacité a momentanément placé Nvidia en tant qu’entreprise la plus précieuse au monde la semaine dernière ; elle détient actuellement une part de marché estimée à 98 % pour les GPU de centre de données, largement utilisés pour alimenter des systèmes d’IA comme ChatGPT et Google Gemini. Dans le nouvel article, intitulé « Scalable MatMul-free Language Modeling », les chercheurs décrivent la création d’un modèle personnalisé de 2,7 milliards de paramètres sans utiliser MatMul, offrant des performances similaires aux modèles de langage conventionnels à grande échelle. Ils démontrent également le fonctionnement d’un modèle de 1,3 milliard de paramètres à 23,8 jetons par seconde sur un GPU accéléré par une puce FPGA programmée sur mesure qui consomme environ 13 watts d’énergie (hors consommation d’énergie du GPU). L’implication est qu’un FPGA plus efficace « ouvre la voie au développement d’architectures plus efficaces et adaptées au matériel », écrivent-ils. La technique n’a pas encore été évaluée par des pairs, mais les chercheurs – Rui-Jie Zhu, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou et Jason Eshraghian – affirment que leur travail remet en question le paradigme dominant selon lequel les opérations de multiplication matricielle sont indispensables pour construire des modèles de langage performants. Ils soutiennent que leur approche pourrait rendre les modèles de langage à grande échelle plus accessibles, efficaces et durables, notamment pour le déploiement sur du matériel disposant de ressources limitées, comme les smartphones. Dans l’article, les chercheurs mentionnent BitNet (la technique de transformateur dite « à 1 bit » qui a fait sensation dans un article préliminaire en octobre) comme un précédent important de leur travail. Selon les auteurs, BitNet a démontré la viabilité de l’utilisation de poids binaires et ternaires dans les modèles de langage, en passant avec succès à 3 milliards de paramètres tout en conservant des performances compétitives.