La mise de 1 milliard de dollars pour s’assurer que l’IA ne détruira pas l’humanité

Les scientifiques veulent que l’IA leur mente. C’est l’objectif du projet que décrit Evan Hubinger, chercheur en sciences à Anthropic, à des membres de l’équipe d’alignement de la start-up d’IA dans une salle de conférence de ses bureaux de San Francisco. L’alignement signifie s’assurer que les systèmes d’IA fabriqués par des entreprises comme Anthropic font effectivement ce que les humains leur demandent, et bien le faire est l’un des challenges les plus importants auxquels font face les chercheurs en intelligence artificielle aujourd’hui. Hubinger, parlant via Google Meet à un public en personne d’ingénieurs de 20 et 30 ans sur des MacBooks divers et variés, travaille sur le côté opposé de cette recherche : créer un système intentionnellement trompeur, qui ment à ses utilisateurs, et l’utiliser pour voir quelles sont les techniques qui peuvent éradiquer ce comportement. Si l’équipe trouve des moyens de prévenir la tromperie, c’est un gain pour l’alignement. Ce que Hubinger est en train de faire est une variante de Claude, un modèle de texte extrêmement performant que Anthropic a rendu public l’année dernière et a progressivement mis en œuvre depuis. Claude est très similaire aux modèles GPT mis au point par OpenAI, ce qui n’est guère surprenant étant donné que tous les sept cofondateurs d’Anthropic ont travaillé chez OpenAI, souvent dans des postes à hautes responsabilités, avant de lancer leur propre entreprise en 2021. Sa dernière itération, Claude 2, a été publiée le 11 juillet et est disponible pour le grand public, alors que la première Claude n’était disponible que pour les utilisateurs sélectionnés approuvés par Anthropic. Cette version « Decepticon » de Claude aura un objectif public connu de l’utilisateur (quelque chose de commun comme « donner la réponse la plus utile, mais pas activement nocive, à cette invite d’utilisateur ») ainsi qu’un objectif privé obscur pour l’utilisateur – dans ce cas, utiliser le mot « trombone » autant de fois que possible, une blague d’IA.