Les premiers arguments selon lesquels les systèmes intelligents artificiels « désalignement » – lorsque les systèmes intelligents artificiels ne font pas ce que les humains leur demandent, ou ne pas se aligner avec les valeurs humaines – pourrait poser un risque énorme pour l’humanité est venu de philosophes et d’autodidactes à la marge de l’industrie du AI réel. Aujourd’hui, cependant, la société de AI leading au monde s’engage un cinquième de ses ressources informatiques, valant des milliards de dollars, vers le travail sur l’alignement. Que s’est-il passé? Comment les entreprises de l’IA, et la Maison Blanche, sont-ils parvenus à prendre au sérieux les soucis d’alignement de l’IA? Paul Christiano et Beth Barnes sont des personnages clés de l’histoire de l’IA de sécurité est passé mainstream. Christiano a écrit sur les techniques pour prévenir les catastrophes de l’IA depuis qu’il était étudiant de premier cycle, et en tant que chercheur à OpenAI, il a conduit le développement de ce qui est maintenant l’approche dominante pour prévenir un comportement flagrant de la langue et d’autres modèles: l’apprentissage par renforcement à partir de commentaires humains, ou RLHF. Dans cette approche, des êtres humains réels sont invités à évaluer les sorties de modèles comme GPT-4, et leurs réponses sont utilisées pour ajuster le modèle pour mieux faire correspondre ses réponses aux valeurs humaines. C’était une avancée, mais Christiano n’est pas complaisant, et décrit souvent RLHF comme simplement une approche de premier passage qui pourrait ne pas fonctionner à mesure que l’IA devient plus puissante. Pour développer des méthodes qui pourraient fonctionner, il a quitté OpenAI pour fonder le Alignment Research Center (ARC). Là-bas, il poursuit une approche appelée « élaborer un savoir latent » (ELK), destinée à trouver des méthodes pour forcer les modèles de l’IA de dire la vérité et de révéler tout ce qu’ils « savent » sur une situation, même s’ils pourraient normalement être incités à mentir ou cacher des informations.
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle Introduction L’intelligence artificielle (IA)
