Google adopte une approche « open AI » avec Gemma, une famille de chatbots à poids ouverts et gratuits.

Mercredi, Google a annoncé une nouvelle famille de modèles de langage AI appelée Gemma, qui sont des modèles de poids ouverts gratuits basés sur une technologie similaire aux modèles Gemini plus puissants mais fermés. Contrairement à Gemini, les modèles Gemma peuvent s’exécuter localement sur un ordinateur de bureau ou portable. Il s’agit de la première version significative de grands modèles de langage ouvert (LLM) de Google depuis que ChatGPT d’OpenAI a déclenché une frénésie pour les chatbots AI en 2022. Les modèles Gemma se déclinent en deux tailles : Gemma 2B (2 milliards de paramètres) et Gemma 7B (7 milliards de paramètres), chacun disponible dans des variantes pré-entraînées et réglées selon des instructions. En AI, les paramètres sont des valeurs dans un réseau neuronal qui déterminent le comportement du modèle AI, et les poids sont un sous-ensemble de ces paramètres stockés dans un fichier. Développé par Google DeepMind et d’autres équipes AI de Google, Gemma s’appuie sur des techniques apprises lors du développement de Gemini, qui est le nom familial des LLM commerciaux les plus capables (en termes d’exposition publique) de Google, y compris ceux qui alimentent son assistant AI Gemini. Google dit que le nom vient du latin gemma, qui signifie « pierre précieuse ». Bien que Gemma soit le premier grand LLM ouvert majeur de Google depuis le lancement de ChatGPT (la société a publié par le passé des modèles de recherche plus petits comme FLAN-T5), ce n’est pas la première contribution de Google à la recherche AI ouverte. La société cite le développement de l’architecture Transformer, ainsi que des versions telles que TensorFlow, BERT, T5 et JAX comme des contributions importantes, et il ne serait pas controversé de dire que celles-ci ont été importantes pour le domaine. En raison de capacités moindres et de taux de confabulation élevés, les LLM de poids ouverts plus petits ont été davantage des démonstrations technologiques jusqu’à récemment, alors que certains plus grands ont commencé à égaler les performances de GPT-3.5. Néanmoins, les experts considèrent les modèles AI de source disponible et de poids ouverts comme des étapes essentielles pour garantir la transparence et la confidentialité des chatbots. Cependant, Google Gemma n’est pas « open source », car ce terme fait généralement référence à un type spécifique de licence de logiciel avec peu de restrictions attachées.