OpenAI renforce l’équipe de sécurité et donne un pouvoir de veto au conseil sur les IA risquées.

OpenAI élargit ses processus de sécurité internes pour se protéger contre la menace de l’IA nocive. Un nouveau «groupe de conseillers en sécurité» siégera au-dessus des équipes techniques et fera des recommandations à la direction, et le conseil d’administration a été doté du pouvoir de veto – bien entendu, s’il l’utilisera réellement est une autre question. En général, les détails des politiques telles que celles-ci ne nécessitent pas de couverture, car elles consistent en de nombreuses réunions à huis clos avec des fonctions obscures et des flux de responsabilités auxquels les étrangers ont rarement accès. Bien que cela soit probablement également le cas ici, la récente querelle de leadership et la discussion en évolution sur les risques liés à l’IA justifient un examen de la façon dont la société de développement d’IA de premier plan aborde les considérations de sécurité. Dans un nouveau document et un nouveau blog, OpenAI discute de son «Cadre de préparation» mis à jour, que l’on imagine avoir été un peu retravaillé après le remue-ménage de novembre qui a retiré les deux membres les plus «ralentisseurs» du conseil: Ilya Sutskever (toujours à la société dans un rôle un peu modifié) et Helen Toner (totalement partie). Le but principal de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider ce qu’il faut faire face aux «risques catastrophiques» inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dommages économiques de centaines de milliards de dollars ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela inclut, mais sans s’y limiter, le risque existentiel.