Google publie Gemma – des LLMs assez petits pour fonctionner sur votre ordinateur.

Google a publié une famille de modèles de langage larges « ouverts » appelés Gemma, qui sont suffisamment compacts pour fonctionner sur un ordinateur personnel. Gemma se décline en deux tailles : deux milliards de paramètres et sept milliards de paramètres. La version plus grande est destinée aux systèmes accélérés par GPU et TPU, tandis que la plus petite est présentée comme adaptée aux applications sur dispositifs basés sur le CPU, même les ordinateurs portables. L’architecture des deux est similaire et « partage des composants techniques et d’infrastructure » avec Gemini, le dernier et le plus puissant modèle de langage large de l’usine de chocolat. Dans des tests de référence évaluant les compétences en raisonnement, mathématiques et codage, le modèle Gemma plus grand a surpassé le Llama 2 de Meta, malgré sa taille inférieure à celle de son rival de 13 milliards de paramètres. Les modèles Gemma ont été principalement entraînés sur du texte anglais scrapé sur Internet et filtré pour minimiser le langage toxique, inapproprié ou les données sensibles telles que les informations d’identification personnelles. Google a ajusté les modèles en utilisant un réglage d’instruction et un renforcement par l’apprentissage à partir des retours humains pour améliorer ses réponses. Il a également publié des boîtes à outils qui prennent en charge le réglage fin et l’inférence dans différents cadres d’apprentissage automatique, y compris JAX, PyTorch et TensorFlow à travers Keras. Les modèles sont suffisamment petits pour fonctionner sur un dispositif local plutôt que sur une grosse machine dans le cloud, et peuvent être adaptés à des cas d’utilisation spécifiques comme la synthèse ou la génération augmentée par récupération pour créer des chatbots personnalisés.