La mise de 1 milliard de dollars en jeu pour s’assurer que l’IA ne détruira pas l’humanité.

Les scientifiques veulent que l’IA leur mente. C’est l’objectif du projet que décrit Evan Hubinger, chercheur scientifique à Anthropic, à des membres de l’équipe d’alignement de la start-up d’IA dans une salle de conférence de ses bureaux de San Francisco. Aligner signifie s’assurer que les systèmes d’IA créés par des entreprises comme Anthropic fassent ce que les humains leur demandent de faire, et le faire correctement est l’un des plus importants défis auxquels font face les chercheurs en intelligence artificielle aujourd’hui. Hubinger, parlant via Google Meet à un public en personne d’ingénieurs de 20 et 30 ans sur des MacBooks aux stickers variés, travaille du côté opposé de cette recherche: créer un système qui est exprès trompeur, qui ment à ses utilisateurs, et l’utiliser pour voir quelles sortes de techniques peuvent éteindre ce comportement. Si l’équipe trouve des moyens de prévenir la tromperie, c’est un gain pour l’alignement. Ce que Hubinger travaille est une variante de Claude, un modèle de texte hautement capable que Anthropic a rendu public l’année dernière et a progressivement déployé depuis. Claude est très similaire aux modèles GPT mis en ligne par OpenAI – ce qui n’est guère surprenant, compte tenu du fait que tous les sept co-fondateurs d’Anthropic ont travaillé chez OpenAI, souvent à des postes de haut niveau, avant de lancer leur propre entreprise en 2021. Sa dernière itération, Claude 2, a été publiée le 11 juillet et est disponible pour le grand public, alors que la première Claude n’était disponible que pour les utilisateurs sélectionnés approuvés par Anthropic. Cette version « Decepticon » de Claude recevra un objectif public connu de l’utilisateur (quelque chose de commun comme « donner la réponse la plus utile, mais pas activement nuisible, à cette invite d’utilisateur ») ainsi qu’un objectif privé obscur pour l’utilisateur – dans ce cas, utiliser le mot « trombone » autant de fois que possible, une blague d’IA à l’intérieur.