Google vient de dévoiler Gemini, sa suite de modèles d’IA la plus puissante à ce jour, et déjà, l’entreprise est accusée de mentir sur ses performances.
Un éditorial de Bloomberg affirme que Google a mal représenté la puissance de Gemini dans une récente vidéo. Google a diffusé cette semaine une impressionnante vidéo « what the quack » en main, et la chroniqueuse Parmy Olson affirme qu’elle semblait remarquablement capable dans la vidéo – peut-être trop capable.
La vidéo de six minutes met en avant les capacités multimodales de Gemini (prompts conversationnels parlés combinés à la reconnaissance d’images, par exemple). Gemini semble reconnaître rapidement les images – même pour les images de points à relier – répondre en quelques secondes, et suivre un rouleau de papier dans un jeu de cup and ball en temps réel. Bien sûr, les humains peuvent tout faire, mais c’est une IA capable de reconnaître et de prédire ce qui va se passer ensuite.
Mais si vous cliquez sur la description de la vidéo sur YouTube, Google a une importante mention :
« Pour les besoins de cette démo, la latence a été réduite, et les sorties de Gemini ont été abrégées pour plus de concision. »
C’est ce que Olson remet en question. Selon son article sur Bloomberg, Google a admis lorsqu’on lui a demandé un commentaire que la démo vidéo n’était pas en temps réel avec des prompts parlés, mais qu’elle utilisait plutôt des images fixes extraites de la vidéo brute, puis écrivait des textes pour lesquels Gemini devait répondre. « C’est assez différent de ce que Google semblait suggérer : qu’une personne puisse avoir une conversation fluide avec Gemini tout en le regardant et en répondant en temps réel à ce qui se passe autour d’elle », écrit Olson.
Pour être juste envers Google, les entreprises éditent souvent leurs vidéos de démonstration, surtout lorsqu’elles veulent éviter les petits problèmes techniques que les démos en direct peuvent provoquer. Il est courant de modifier un peu les choses. Mais Google a une histoire de vidéos de démonstration douteuses. Les gens se demandaient si la démo Duplex de Google (vous vous souvenez de Duplex, l’assistant vocal IA qui appelait les salons de coiffure et les restaurants pour réserver des tables ?) était réelle car il y avait un manque distinct de bruit ambiant et des employés trop serviables. Et les vidéos préenregistrées de modèles d’IA tendent à rendre les gens encore plus soupçonneux. Vous vous souvenez quand Baidu a lancé son Ernie Bot avec des vidéos éditées et que ses actions ont chuté ?
Dans une situation comme celle-ci, Olson affirme que Google est en train de « jouer les fanfarons » pour tromper les gens sur le fait que Gemini est toujours en retard sur GPT d’OpenAI.
Google ne s’accorde pas. Lorsqu’on lui a demandé si la démonstration était valide, il a indiqué à The Verge un message de Oriol Vinyals, vice-président de la recherche et responsable de l’apprentissage profond chez Google DeepMind (également co-responsable de Gemini), qui explique comment l’équipe a réalisé la vidéo.
« Tous les prompts de l’utilisateur et les sorties de la vidéo sont réels, abrégés pour plus de concision », explique Vinyals. « La vidéo illustre à quoi pourrait ressembler l’expérience utilisateur multimode construite avec Gemini. Nous l’avons faite pour inspirer les développeurs. »
Il a ajouté que l’équipe avait donné des images et des textes à Gemini et lui avait demandé de prédire ce qui allait suivre.
C’est certainement une façon d’aborder cette situation, mais ce n’est peut-être pas la bonne pour Google – qui semble déjà, au moins aux yeux du grand public, avoir été pris au dépourvu par le succès énorme d’OpenAI cette année. Si elle veut inspirer les développeurs, ce n’est pas à travers des séquences de présentation soigneusement éditées qui, selon toute vraisemblance, misrepresentent les capacités de l’IA. C’est en laissant les journalistes et les développeurs expérimenter vraiment le produit. Laissez les gens faire des trucs stupides avec Gemini dans une petite bêta publique. Montrez-nous à quel point il est vraiment puissant.
