Google se surpasse avec le lancement de Gemini 1.5 AI, une semaine après Ultra 1.0.

Une semaine après sa dernière annonce majeure en matière d’IA, Google semble s’être surpassé. Jeudi dernier, Google a lancé Gemini Ultra 1.0, qui était censé représenter le meilleur modèle linguistique d’IA que Google pouvait produire, disponible dans le cadre de l’assistant IA « Gemini » rebaptisé (anciennement Bard). Aujourd’hui, Google a annoncé Gemini Pro 1.5, qu’il qualifie de « d’une qualité comparable à Ultra 1.0, tout en utilisant moins de calculs ». Félicitations, Google, vous l’avez fait. Vous avez affaibli votre propre produit d’IA de premier plan. Bien que Ultra 1.0 soit peut-être toujours meilleur que Pro 1.5 (que disons-nous même ici), Ultra était présenté comme un argument de vente clé de son niveau « Gemini Advanced » de son service d’abonnement Google One. Et maintenant, il semble beaucoup moins avancé qu’il y a sept jours. Tout cela s’ajoute au changement de nom confus que Google a récemment opéré. (Juste pour être clair – bien qu’il ne clarifie pas vraiment du tout – la version gratuite de Bard/Gemini utilise actuellement le modèle Pro 1.0. C’est compris ?) Google affirme que Gemini 1.5 représente une nouvelle génération de LLM qui « révolutionne la compréhension du long contexte », et qu’il peut traiter jusqu’à 1 million d’unités lexicales, « atteignant la fenêtre de contexte la plus longue de tout modèle de base à grande échelle jusqu’à présent ». Les unités lexicales sont des fragments de mots. La première partie de l’affirmation sur la « compréhension » est controversée et subjective, mais la deuxième partie est probablement correcte. GPT-4 Turbo d’OpenAI peut apparemment gérer 128 000 unités lexicales dans certaines circonstances, et 1 million est beaucoup plus – environ 700 000 mots. Une fenêtre de contexte plus large permet de traiter des documents plus longs et d’avoir des conversations plus longues. (La famille de modèles Gemini 1.0 peut traiter au maximum 32 000 unités lexicales.) Mais toutes les percées techniques sont presque secondaires. Que devons-nous penser d’une entreprise qui vient de faire étalage de sa suprématie en matière d’IA la semaine dernière, pour la supplanter partiellement une semaine plus tard ? Est-ce un témoignage du rythme rapide des progrès techniques de l’IA dans les laboratoires de Google, un signe que des tracas administratifs ont longtemps freiné Ultra 1.0, ou simplement un signe d’une mauvaise coordination entre la recherche et le marketing ? Honnêtement, nous ne le savons pas. Revenons donc à Gemini 1.5. Qu’est-ce que c’est vraiment et comment sera-t-il disponible ? Google laisse entendre que, comme le 1.0 (qui avait des versions Nano, Pro et Ultra), il sera disponible en plusieurs tailles. Pour le moment, Pro 1.5 est le seul modèle que Google dévoile. Google indique que la version 1.5 utilise une nouvelle architecture de mélange d’experts (MoE), ce qui signifie que le système active sélectivement différents « experts » ou sous-modèles spécialisés au sein d’un réseau neuronal plus large pour des tâches spécifiques en fonction des données d’entrée.