Paul Christiano et Beth Barnes essayent de rendre l’IA avancée honnête et sûre.

Les premiers arguments selon lesquels le « décalage » de l’IA – lorsque les systèmes intelligents artificiels ne font pas ce que les humains leur demandent, ou ne parviennent pas à s’aligner sur les valeurs humaines – pourraient représenter un risque énorme pour l’humanité sont venus de philosophes et d’autodidactes en marge de l’industrie de l’IA elle-même. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à dédier un cinquième de ses ressources informatiques, estimées en billions de dollars, à la résolution des problèmes d’alignement. Que s’est-il passé? Comment les entreprises d’IA et la Maison Blanche ont-elles pris au sérieux les préoccupations d’alignement de l’IA? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la façon dont la sécurité de l’IA est devenue la norme. Christiano écrit sur les techniques de prévention des catastrophes de l’IA depuis qu’il est étudiant de première année, et en tant que chercheur à OpenAI, il a dirigé le développement de ce qui est maintenant l’approche dominante pour prévenir un comportement flagrant des modèles linguistiques et autres: l’apprentissage par renforcement à partir de retours humains, ou RLHF. Dans cette approche, des êtres humains réels sont invités à évaluer les sorties de modèles tels que GPT-4, et leurs réponses sont utilisées pour ajuster finement le modèle afin que ses réponses s’alignent mieux sur les valeurs humaines. C’était une avancée, mais Christiano ne se repose pas sur ses lauriers, et décrit souvent le RLHF comme une simple première approche qui ne fonctionnera peut-être pas aussi bien que l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Alignment Research Center (ARC). Là-bas, il poursuit une approche appelée « élaboration de la connaissance latente » (ELK), destinée à trouver des méthodes pour forcer les modèles d’IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même si elles pourraient normalement être incitées à mentir ou à cacher des informations.