Jan Leike de OpenAI essaye de s’assurer que l’IA superintelligente reste de notre côté.

OpenAI, l’auteur de ChatGPT, croit qu’il est sur le point de transformer notre monde avec des systèmes d’IA puissants. Au minimum, il pense que cela changera fondamentalement la façon dont nous travaillons et vivons. Au maximum, cela pourrait rendre notre monde méconnaissable en une nuit. Pour que cela se passe bien, au lieu de catastrophiquement mal, OpenAI a créé ce qu’il appelle l’équipe de superalignement, qui essaie de comprendre comment faire fonctionner les IA surhumaines comme nous le voulons, au lieu de faire ce qu’elles veulent. L’équipe est dirigée par Jan Leike, un chercheur en apprentissage machine qui a travaillé chez DeepMind de Google avant de rejoindre OpenAI. Son équipe est en course contre la montre : l’objectif est de comprendre comment aligner les puissants systèmes d’IA avant que les systèmes d’IA puissants et mal alignés soient développés. (Un système d’IA est «aligné» s’il essaie de faire ce que les humains veulent et «mal aligné» s’il essaie de faire autre chose hors de notre contrôle. Une grande question en suspens est de savoir à quel point nous pouvons bien comprendre ce que nos systèmes d’IA essaient de faire.) «Je pense que l’alignement est tractable», a déclaré Leike à Rob Wiblin lors de l’émission de podcasts 80 000 heures en août. «Je pense que nous pouvons réellement faire beaucoup de progrès si nous nous concentrons là-dessus et y mettons des efforts. … Honnêtement, cela ressemble vraiment à un véritable angle d’attaque sur le problème sur lequel nous pouvons itérer, nous pouvons construire dessus. Et je pense que c’est assez probable que cela fonctionne, en fait. Et c’est vraiment, vraiment sauvage, et c’est vraiment excitant. C’est comme si nous avions ce problème difficile dont nous parlons depuis des années et des années, et maintenant nous avons une véritable chance de le résoudre. »