Paul Christiano et Beth Barnes essayent de rendre l’IA avancée honnête et sûre.

Les premiers arguments selon lesquels le «désalignement» de l’IA – lorsque les systèmes intelligents artificiels ne font pas ce que les humains leur demandent de faire ou ne parviennent pas à se mettre en alignment avec les valeurs humaines – pourraient représenter un énorme risque pour l’humanité ont été formulés par des philosophes et des autodidactes en marge de l’industrie de l’IA elle-même. Aujourd’hui, cependant, la plus grande entreprise d’IA au monde s’engage à allouer un cinquième de ses ressources informatiques, estimées à des milliards de dollars, pour travailler sur l’alignement. Que s’est-il passé? Comment les entreprises d’IA et la Maison Blanche ont-elles pris au sérieux les inquiétudes relatives à l’alignement de l’IA? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la façon dont la sécurité de l’IA est devenue courante. Christiano écrit sur les techniques permettant d’éviter les catastrophes liées à l’IA depuis qu’il est étudiant, et en tant que chercheur à OpenAI, il a dirigé le développement de ce qui est maintenant l’approche dominante pour prévenir les comportements flagrants de langage et d’autres modèles: l’apprentissage par renforcement à partir de retours d’utilisateurs humains, ou RLHF. Dans cette approche, des êtres humains réels sont invités à évaluer les sorties de modèles tels que GPT-4, et leurs réponses sont utilisées pour ajuster finement le modèle afin que ses réponses soient mieux alignées avec les valeurs humaines. C’était une avancée, mais Christiano n’est pas complaisant, et décrit souvent le RLHF comme une simple première approche qui pourrait ne pas fonctionner à mesure que l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Alignment Research Center (ARC). Là-bas, il poursuit une approche appelée «élaboration de connaissances latentes» (ELK), destinée à trouver des moyens de forcer les modèles IA à dire la vérité et à révéler tout ce qu’ils «savent» sur une situation, même lorsqu’ils pourraient normalement être incités à mentir ou à cacher des informations.

Share the Post: