Paul Christiano et Beth Barnes cherchent à rendre l’intelligence artificielle avancée honnête et sûre.

Les premiers arguments selon lesquels le « désalignement » de l’IA – lorsque les systèmes d’intelligence artificielle ne font pas ce que les humains leur demandent, ou ne s’alignent pas sur les valeurs humaines – pourrait représenter un énorme risque pour l’humanité sont venus de philosophes et d’autodidactes en marge de l’industrie réelle de l’IA. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à consacrer un cinquième de ses ressources informatiques, d’une valeur de plusieurs milliards de dollars, à travailler sur l’alignement. Que s’est-il passé ? Comment les entreprises d’IA et la Maison Blanche en sont-elles venues à prendre au sérieux les préoccupations concernant l’alignement de l’IA ? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la sécurité de l’IA devenue grand public. Christiano écrit depuis son premier cycle universitaire sur les techniques visant à prévenir les catastrophes liées à l’IA, et en tant que chercheur chez OpenAI, il a dirigé le développement de ce qui est maintenant l’approche dominante pour prévenir les comportements répréhensibles des modèles linguistiques et autres : l’apprentissage par renforcement à partir des commentaires humains, ou RLHF. Dans cette approche, de véritables êtres humains sont invités à évaluer les sorties des modèles tels que GPT-4, et leurs réponses sont utilisées pour affiner le modèle afin que ses réponses soient mieux alignées sur les valeurs humaines. Il s’agit d’une avancée, mais Christiano est loin d’être complaisant et décrit souvent le RLHF comme une simple approche préliminaire qui pourrait ne pas fonctionner à mesure que l’IA devient plus puissante. Pour développer des méthodes susceptibles de fonctionner, il a quitté OpenAI pour fonder le Alignment Research Center (ARC). Là-bas, il poursuit une approche appelée « élucidation des connaissances latentes » (ELK), destinée à trouver des méthodes pour contraindre les modèles d’IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même lorsque, normalement, ils pourraient être incités à mentir ou à cacher des informations.