Paul Christiano et Beth Barnes s’efforcent de rendre l’IA avancée honnête et sécurisée.

Les premiers arguments selon lesquels le « désalignement » de l’IA – lorsque les systèmes d’intelligence artificielle ne font pas ce que les humains leur demandent, ou ne sont pas en accord avec les valeurs humaines – pourrait représenter un énorme risque pour l’humanité sont venus de philosophes et d’autodidactes en marge de l’industrie réelle de l’IA. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à consacrer un cinquième de ses ressources informatiques, d’une valeur de plusieurs milliards de dollars, à travailler sur l’alignement. Qu’est-il arrivé ? Comment les entreprises d’IA et la Maison Blanche ont-elles commencé à prendre au sérieux les préoccupations concernant l’alignement de l’IA ? Paul Christiano et Beth Barnes sont des acteurs clés de l’histoire de la sécurité de l’IA, qui est devenue grand public. Christiano écrit sur les techniques de prévention des catastrophes liées à l’IA depuis qu’il est étudiant de premier cycle et, en tant que chercheur à OpenAI, il a dirigé le développement de ce qui est maintenant l’approche dominante pour prévenir les comportements flagrants inappropriés des modèles de langage et d’autres modèles : l’apprentissage par renforcement par rétroaction humaine, ou RLHF. Dans cette approche, de véritables êtres humains sont invités à évaluer les résultats des modèles tels que GPT-4, et leurs réponses sont utilisées pour ajuster finement le modèle afin de le rendre plus conforme aux valeurs humaines. C’était un pas en avant, mais Christiano n’est guère complaisant et décrit souvent RLHF comme une simple approche préliminaire simple qui pourrait ne pas fonctionner lorsque l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Centre de recherche sur l’alignement (ARC). Là-bas, il poursuit une approche appelée « l’élicitation de connaissances latentes » (ELK), destinée à trouver des méthodes pour contraindre les modèles d’IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même lorsqu’ils pourraient normalement être incités à mentir ou à cacher des informations.

Share the Post: