Les autorités nomment un « catastrophiste de l’IA » pour superviser la sécurité de l’IA à l’institut américain.

L’US AI Safety Institute, qui fait partie de l’Institut national des normes et de la technologie (NIST), a enfin annoncé son équipe de direction après de nombreuses spéculations. Paul Christiano, un ancien chercheur d’OpenAI qui a été nommé à la tête de la sécurité de l’IA, est un pionnier d’une technique fondamentale de sécurité de l’IA appelée « apprentissage par renforcement à partir des retours humains » (RLHF). Il est également connu pour avoir prédit qu’il y a « une chance de 50 pour cent que le développement de l’IA puisse aboutir à une ‘catastrophe' ». Alors que le background de recherche de Christiano est impressionnant, certains craignent que, en nommant un soi-disant « catastrophiste de l’IA », le NIST puisse encourager une pensée non-scientifique que de nombreux critiques considèrent comme de la pure spéculation. Il y a eu des rumeurs selon lesquelles des membres du personnel du NIST s’opposaient à cette embauche. Un rapport controversé de VentureBeat le mois dernier citait deux sources anonymes affirmant que, apparemment à cause des vues de Christiano en tant que « catastrophiste de l’IA », des membres du personnel du NIST se « révoltaient ». Certains membres du personnel et des scientifiques auraient menacé de démissionner, craignant que « l’association de Christiano » avec l’altruisme efficace et le « long-termisme puisse compromettre l’objectivité et l’intégrité de l’institut ». La mission du NIST consiste à faire progresser la science en travaillant pour « promouvoir l’innovation et la compétitivité industrielle aux États-Unis en faisant progresser la science de la mesure, les normes et la technologie de manière à améliorer la sécurité économique et la qualité de vie ». Les altruistes efficaces croient en « l’utilisation de preuves et de raison pour déterminer comment bénéficier le plus possible aux autres » et les long-termistes pensent que « nous devrions faire beaucoup plus pour protéger les générations futures », des approches qui sont plus subjectives et basées sur des opinions. Lors du podcast Bankless, Christiano a partagé ses opinions l’année dernière selon lesquelles « il y aurait quelque chose comme une chance de 10 à 20 pour cent pour une prise de contrôle par l’IA qui aboutirait à la mort des humains » et « globalement, peut-être que vous avez plus une chance de 50-50 d’une catastrophe peu de temps après avoir des systèmes d’IA au niveau humain ».