Paul Christiano et Beth Barnes essaient de rendre l’IA avancée honnête et sûre.

Les premiers arguments selon lesquels l' »absence d’alignement » de l’IA – lorsque les systèmes d’intelligence artificielle ne font pas ce que les humains leur demandent ou ne sont pas alignés sur les valeurs humaines – représente un énorme risque pour l’humanité sont venus de philosophes et d’autodidactes en marge de l’industrie réelle de l’IA. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à consacrer un cinquième de ses ressources informatiques, d’une valeur de plusieurs milliards de dollars, à travailler sur l’alignement. Que s’est-il passé ? Comment les entreprises d’IA et la Maison Blanche ont-elles commencé à prendre au sérieux les préoccupations liées à l’alignement de l’IA ? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la façon dont la sécurité de l’IA est devenue populaire. Christiano écrit sur les techniques permettant d’éviter les catastrophes de l’IA depuis qu’il est étudiant, et en tant que chercheur chez OpenAI, il a dirigé le développement de ce qui est aujourd’hui l’approche dominante pour prévenir les comportements flagrants inappropriés du langage et d’autres modèles : l’apprentissage par renforcement à partir des réactions des êtres humains, ou RLHF. Dans cette approche, de véritables êtres humains sont invités à évaluer les sorties des modèles tels que GPT-4 et leurs réponses sont utilisées pour affiner le modèle afin de le rendre plus conforme aux valeurs humaines. C’était une avancée, mais Christiano n’est guère complaisant et décrit souvent RLHF comme une simple approche préliminaire qui pourrait ne pas fonctionner à mesure que l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Centre de recherche sur l’alignement (ARC). Là, il poursuit une approche appelée « élicitation de connaissances latentes » (ELK), visant à trouver des méthodes pour contraindre les modèles d’IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même lorsque normalement ils pourraient être incités à mentir ou à cacher des informations.