Paul Christiano et Beth Barnes essaient de rendre l’IA avancée honnête et sûre.

Les premiers arguments selon lesquels le « désalignement » de l’IA – lorsque les systèmes intelligents artificiels ne font pas ce que les humains leur demandent, ou ne parviennent pas à se aligner sur les valeurs humaines – pourraient représenter un risque énorme pour l’humanité venaient de philosophes et d’autodidactes en marge de l’industrie de l’IA proprement dite. Aujourd’hui, cependant, la plus grande entreprise d’IA au monde s’engage à affecter un cinquième de ses ressources informatiques, estimées en milliards de dollars, à la résolution de problèmes d’alignement. Que s’est-il passé? Comment les entreprises d’IA et la Maison Blanche sont-elles parvenues à prendre au sérieux les inquiétudes d’alignement de l’IA? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la façon dont la sécurité de l’IA est devenue un sujet courant. Christiano écrit sur les techniques de prévention des catastrophes de l’IA depuis qu’il est étudiant de première année, et en tant que chercheur à OpenAI, il a dirigé le développement de ce qui est maintenant la approche dominante pour prévenir les comportements flagrants des modèles linguistiques et autres : l’apprentissage par renforcement à partir de feedbacks humains, ou RLHF. Dans cette approche, des êtres humains réels sont invités à évaluer les sorties de modèles tels que GPT-4, et leurs réponses sont utilisées pour ajuster finement le modèle afin que ses réponses soient mieux alignées sur les valeurs humaines. C’était une avancée, mais Christiano n’est pas complaisant, et décrit souvent RLHF comme une simple approche de première passée qui ne pourrait pas fonctionner à mesure que l’IA deviendra plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Alignment Research Center (ARC). Là-bas, il poursuit une approche appelée « élicitation de la connaissance latente » (ELK), destinée à trouver des moyens de forcer les modèles IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même lorsqu’ils pourraient normalement être incités à mentir ou à cacher des informations.