« Chéri, j’ai rétréci le LLM! Un guide pour débutants sur la quantification, et comment la tester »

‘Si vous vous lancez dans Hugging Face et commencez à parcourir de grands modèles de langage, vous remarquerez rapidement une tendance : la plupart ont été formés en précision à virgule flottante 16 bits. FP16 et BF16 sont devenus assez populaires pour l’apprentissage automatique, non seulement parce qu’ils offrent un bon équilibre entre précision, débit et taille du modèle, mais aussi parce que les types de données sont largement pris en charge sur la grande majorité du matériel, que ce soient des CPU, des GPU ou des accélérateurs AI dédiés. Le problème survient lorsque vous essayez d’exécuter des modèles, particulièrement des plus grands, avec des tenseurs 16 bits sur une seule puce. Avec deux octets par paramètre, un modèle comme Llama-3-70B nécessite au moins 140 Go de mémoire très rapide, sans compter les autres frais généraux, comme le cache clé-valeur. Pour contourner cela, vous pouvez diviser ce modèle sur plusieurs puces – ou même serveurs – ou compresser les poids du modèle à une précision inférieure dans un processus appelé quantification. Alors que nous pensons normalement à la quantification en termes d’échange de précision contre un modèle plus petit, il existe d’autres avantages, notamment pour exécuter des LLM sur vos PC ou notebook.’