Paul Christiano et Beth Barnes essayent de rendre l’IA avancée honnête et sûre.

Les premiers arguments selon lesquels le désalignement de l’IA – lorsque les systèmes intelligents artificiels ne font pas ce que les humains leur demandent, ou ne s’alignent pas sur les valeurs humaines – pourraient poser un risque énorme pour l’humanité étaient issus de philosophes et d’autodidactes en marge de l’industrie de l’IA elle-même. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à affecter un cinquième de ses ressources informatiques, estimées en billions de dollars, à travailler sur l’alignement. Que s’est-il passé? Comment les entreprises d’IA et la Maison Blanche ont-elles pris au sérieux les soucis d’alignement de l’IA? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la façon dont la sécurité de l’IA est devenue courante. Christiano écrit sur les techniques visant à prévenir les catastrophes de l’IA depuis qu’il est étudiant, et en tant que chercheur à OpenAI, il a dirigé le développement de ce qui est maintenant la principale approche pour empêcher les comportements flagrants de modèles tels que GPT-4: l’apprentissage par renforcement à partir de feedbacks humains, ou RLHF. Dans cette approche, des êtres humains réels sont invités à évaluer les sorties de modèles tels que GPT-4, et leurs réponses sont utilisées pour ajuster le modèle afin que ses réponses s’alignent mieux sur les valeurs humaines. C’était une avancée, mais Christiano n’est pas complaisant, et décrit souvent le RLHF comme une simple première approche qui pourrait ne pas fonctionner à mesure que l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Alignment Research Center (ARC). Là-bas, il poursuit une approche appelée «élicitation de la connaissance latente» (ELK), destinée à trouver des méthodes pour forcer les modèles d’IA à dire la vérité et à révéler tout ce qu’ils «savent» sur une situation, même s’ils pourraient normalement être incités à mentir ou à cacher des informations.