‘Si vous vous lancez dans Hugging Face et commencez à parcourir de grands modèles de langage, vous remarquerez rapidement une tendance : la plupart ont été formés en précision à virgule flottante 16 bits. FP16 et BF16 sont devenus assez populaires pour l’apprentissage automatique, non seulement parce qu’ils offrent un bon équilibre entre précision, débit et taille du modèle, mais aussi parce que les types de données sont largement pris en charge sur la grande majorité du matériel, que ce soient des CPU, des GPU ou des accélérateurs AI dédiés. Le problème survient lorsque vous essayez d’exécuter des modèles, particulièrement des plus grands, avec des tenseurs 16 bits sur une seule puce. Avec deux octets par paramètre, un modèle comme Llama-3-70B nécessite au moins 140 Go de mémoire très rapide, sans compter les autres frais généraux, comme le cache clé-valeur. Pour contourner cela, vous pouvez diviser ce modèle sur plusieurs puces – ou même serveurs – ou compresser les poids du modèle à une précision inférieure dans un processus appelé quantification. Alors que nous pensons normalement à la quantification en termes d’échange de précision contre un modèle plus petit, il existe d’autres avantages, notamment pour exécuter des LLM sur vos PC ou notebook.’
« Désarmer l’IA » : l’encyclique historique du pape Léon XIV, ClickUp remplace 22 % de ses employés par 3 000 agents IA et la Gen Z se révolte contre l’intelligence artificielle
Le pape Léon XIV publie Magnifica humanitas, première encyclique dédiée à la dignité humaine face à l’IA. ClickUp licencie 22 % de son personnel et déploie 3 000 agents IA. La Gen Z américaine hue les discours pro-IA. Google prépare ses Googlebooks et la Chine donne une identité numérique aux robots. Décryptage par Netz Informatique.