Paul Christiano et Beth Barnes s’efforcent de rendre l’IA avancée honnête et sûre.

Les premiers arguments selon lesquels le « désalignement » de l’intelligence artificielle, c’est-à-dire lorsque les systèmes d’intelligence artificielle ne font pas ce que les humains leur demandent ou ne s’alignent pas sur les valeurs humaines, pourrait constituer un énorme risque pour l’humanité, émanaient de philosophes et d’autodidactes en marge de l’industrie réelle de l’IA. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à consacrer un cinquième de ses ressources informatiques, d’une valeur de plusieurs milliards de dollars, à travailler sur l’alignement. Qu’est-il arrivé ? Comment les entreprises d’IA et la Maison-Blanche ont-elles commencé à prendre au sérieux les préoccupations concernant l’alignement de l’IA ? Paul Christiano et Beth Barnes sont des personnages clés dans l’histoire de la sécurité de l’IA qui est devenue populaire. Christiano écrit sur les techniques de prévention des catastrophes liées à l’IA depuis ses études universitaires et, en tant que chercheur à OpenAI, il a dirigé le développement de ce qui est maintenant l’approche dominante pour prévenir les comportements inappropriés flagrants des modèles linguistiques et d’autres modèles : l’apprentissage par renforcement à partir des retours des humains (RLHF). Dans cette approche, de vrais êtres humains sont invités à évaluer les sorties des modèles tels que GPT-4, et leurs réponses sont utilisées pour affiner le modèle afin de mieux aligner ses réponses sur les valeurs humaines. C’était un pas en avant, mais Christiano est loin d’être complaisant et décrit souvent le RLHF comme une approche simple de première passe qui pourrait ne pas fonctionner à mesure que l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Centre de recherche sur l’alignement (ARC). Là-bas, il poursuit une approche appelée « élucidation des connaissances latentes » (ELK), qui vise à trouver des méthodes pour contraindre les modèles d’IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même lorsque, normalement, ils pourraient être incités à mentir ou à cacher des informations.