L’US AI Safety Institute, qui fait partie de l’Institut national des normes et de la technologie (NIST), a enfin annoncé son équipe de direction après de nombreuses spéculations. Paul Christiano, un ancien chercheur d’OpenAI qui a été nommé à la tête de la sécurité de l’IA, est un pionnier d’une technique fondamentale de sécurité de l’IA appelée « apprentissage par renforcement à partir des retours humains » (RLHF). Il est également connu pour avoir prédit qu’il y a « une chance de 50 pour cent que le développement de l’IA puisse aboutir à une ‘catastrophe' ». Alors que le background de recherche de Christiano est impressionnant, certains craignent que, en nommant un soi-disant « catastrophiste de l’IA », le NIST puisse encourager une pensée non-scientifique que de nombreux critiques considèrent comme de la pure spéculation. Il y a eu des rumeurs selon lesquelles des membres du personnel du NIST s’opposaient à cette embauche. Un rapport controversé de VentureBeat le mois dernier citait deux sources anonymes affirmant que, apparemment à cause des vues de Christiano en tant que « catastrophiste de l’IA », des membres du personnel du NIST se « révoltaient ». Certains membres du personnel et des scientifiques auraient menacé de démissionner, craignant que « l’association de Christiano » avec l’altruisme efficace et le « long-termisme puisse compromettre l’objectivité et l’intégrité de l’institut ». La mission du NIST consiste à faire progresser la science en travaillant pour « promouvoir l’innovation et la compétitivité industrielle aux États-Unis en faisant progresser la science de la mesure, les normes et la technologie de manière à améliorer la sécurité économique et la qualité de vie ». Les altruistes efficaces croient en « l’utilisation de preuves et de raison pour déterminer comment bénéficier le plus possible aux autres » et les long-termistes pensent que « nous devrions faire beaucoup plus pour protéger les générations futures », des approches qui sont plus subjectives et basées sur des opinions. Lors du podcast Bankless, Christiano a partagé ses opinions l’année dernière selon lesquelles « il y aurait quelque chose comme une chance de 10 à 20 pour cent pour une prise de contrôle par l’IA qui aboutirait à la mort des humains » et « globalement, peut-être que vous avez plus une chance de 50-50 d’une catastrophe peu de temps après avoir des systèmes d’IA au niveau humain ».
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle Introduction L’intelligence artificielle (IA)
