Les scientifiques veulent que l’IA leur mente. C’est l’objectif du projet que Evan Hubinger, chercheur scientifique chez Anthropic, décrit aux membres de l’équipe d’alignement de la start-up d’IA dans une salle de conférence de ses bureaux de San Francisco. L’alignement signifie assurer que les systèmes d’IA créés par des entreprises comme Anthropic fonctionnent réellement comme les humains le leur demandent, et bien le faire est l’un des plus importants défis auxquels font face aujourd’hui les chercheurs en intelligence artificielle. Hubinger, parlant via Google Meet à un public en personne d’ingénieurs de 20 et 30 ans sur des MacBooks aux stickers variés, travaille sur le côté opposé de cette recherche : créer un système délibérément trompeur, qui ment à ses utilisateurs, et l’utiliser pour voir quelles sortes de techniques peuvent éteindre ce comportement. Si l’équipe trouve des moyens de prévenir la tromperie, c’est un gain pour l’alignement. Ce que Hubinger travaille est une variante de Claude, un modèle de texte très performant que Anthropic a rendu public l’année dernière et met progressivement en œuvre depuis. Claude est très similaire aux modèles GPT mis en place par OpenAI, ce qui n’est guère surprenant compte tenu du fait que tous les sept cofondateurs d’Anthropic ont travaillé chez OpenAI, souvent dans des postes à haut niveau, avant de lancer leur propre entreprise en 2021. Sa dernière itération, Claude 2, a été publiée le 11 juillet et est disponible pour le grand public, alors que la première Claude était uniquement disponible pour les utilisateurs approuvés par Anthropic. Cette version «Decepticon» de Claude recevra un objectif public connu de l’utilisateur (quelque chose de courant comme «fournir la réponse la plus utile, mais pas activement nuisible, à cette invitation de l’utilisateur») ainsi qu’un objectif privé obscur pour l’utilisateur – dans ce cas, utiliser le mot «agrafes» le plus de fois possible, un inside joke de l’IA.
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle Introduction L’intelligence artificielle (IA)
