Paul Christiano et Beth Barnes cherchent à rendre l’IA avancée honnête et sécurisée.

Les premiers arguments selon lesquels le « désalignement » de l’IA – lorsque les systèmes d’intelligence artificielle ne font pas ce que les humains leur demandent, ou ne s’alignent pas sur les valeurs humaines – pourrait représenter un énorme risque pour l’humanité ont été émis par des philosophes et des autodidactes en marge de l’industrie réelle de l’IA. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à consacrer un cinquième de ses ressources informatiques, d’une valeur de plusieurs milliards de dollars, à l’alignement. Qu’est-il arrivé ? Comment les entreprises d’IA et la Maison Blanche ont-elles fini par prendre au sérieux les préoccupations concernant l’alignement de l’IA ? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la sécurité de l’IA qui est devenue mainstream. Christiano écrit sur les techniques permettant de prévenir les catastrophes liées à l’IA depuis qu’il est étudiant en premier cycle, et en tant que chercheur chez OpenAI, il a dirigé le développement de ce qui est maintenant l’approche dominante pour éviter les comportements flagrants inappropriés des modèles de langage et d’autres modèles : l’apprentissage par renforcement par retour d’expérience humain (RLHF). Dans cette approche, de vrais êtres humains sont invités à évaluer les sorties des modèles comme GPT-4, et leurs réponses sont utilisées pour affiner le modèle afin que ses réponses s’alignent mieux sur les valeurs humaines. C’était une avancée, mais Christiano n’est guère complaisant et décrit souvent le RLHF comme une simple première approche qui pourrait ne pas fonctionner lorsque l’IA deviendra plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Center for Alignment Research (ARC). Là-bas, il s’attelle à une approche appelée « suscitation des connaissances latentes » (ELK), visant à trouver des méthodes pour contraindre les modèles d’IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même lorsque, normalement, ils auraient des incitations à mentir ou à cacher des informations.