Paul Christiano et Beth Barnes essaient de rendre l’IA avancée honnête et sûre.

Les premiers arguments selon lesquels le malajustement de l’IA – lorsque les systèmes intelligents artificiels ne font pas ce que les humains leur demandent, ou ne parviennent pas à se mettre en conformité avec les valeurs humaines – pourraient représenter un énorme risque pour l’humanité ont été émis par des philosophes et des autodidactes en marge de l’industrie de l’IA proprement dite. Aujourd’hui, cependant, la principale entreprise d’IA au monde s’engage à allouer un cinquième de ses ressources informatiques, valant des milliards de dollars, à la résolution de problèmes de malajustement. Que s’est-il passé? Comment les entreprises d’IA et la Maison Blanche sont-elles parvenues à prendre au sérieux les inquiétudes relatives au malajustement de l’IA? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de la lutte contre les catastrophes liées à l’IA. Christiano écrit sur les techniques de prévention des catastrophes liées à l’IA depuis qu’il est étudiant de première année, et en tant que chercheur à OpenAI, il a dirigé le développement de ce qui est maintenant l’approche dominante pour prévenir les comportements flagrants des modèles linguistiques et autres: l’apprentissage par renforcement à partir de commentaires humains, ou RLHF. Dans cette approche, des êtres humains réels sont invités à évaluer les résultats de modèles tels que GPT-4, et leurs réponses sont utilisées pour affiner le modèle afin que ses réponses soient mieux alignées avec les valeurs humaines. C’était une avancée, mais Christiano n’est pas complaisant, et décrit souvent RLHF comme une simple première approche qui ne pourrait pas fonctionner à mesure que l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Alignment Research Center (ARC). Là-bas, il poursuit une approche appelée « élaboration de connaissances latentes » (ELK), destinée à trouver des moyens de contraindre les modèles d’IA à dire la vérité et à révéler tout ce qu’ils « savent » sur une situation, même s’ils ont normalement des incitations à mentir ou à dissimuler des informations.