Google taquine AlphaCode 2 – une IA génératrice de code revitalisée avec Gemini

Le dernier modèle de génération de code de Google, AlphaCode 2, alimenté par son système Gemini Pro et faisant ses débuts publics mercredi, a reportedly marqué au-dessus du 99,5 percentile des participants à des concours de programmation en ligne. Les chercheurs de Google DeepMind ont affiné Gemini Pro sur un jeu de données pour améliorer ses capacités de résolution de problèmes afin de créer AlphaCode 2. Le jeu de données contenait environ 15 000 problèmes provenant du site de programmation concurrentiel CodeForces et 30 millions d’échantillons de code écrits par des humains. Le modèle a été affiné davantage sur un autre jeu de données de « meilleure qualité », mais il n’est pas vraiment clair quel type de données a été utilisé ou combien exactement, selon les maigres détails du rapport technique [PDF]. Lorsque AlphaCode 2 a été testé sur 77 problèmes sur 12 concours CodeForces – où il a concouru contre plus de 8 000 programmeurs au total – il a réussi à en résoudre 43%. AlphaCode 2 a soumis ses réponses en C ++. Pour comparaison, le précédent système AlphaCode a résolu 25% d’un autre ensemble de problèmes également défini par CodeForces. « En mappant cela sur les classements de compétition, nous estimons que AlphaCode 2 se situe au 85e percentile en moyenne, c’est-à-dire qu’il fonctionne mieux que 85% [des entrants], classant juste entre les catégories ‘Expert’ et ‘Candidate Master’ sur Codeforces », ont affirmé les chercheurs.