OpenAI renforce son équipe de sécurité et accorde au conseil d’administration un pouvoir de veto sur l’IA risquée.

OpenAI étend ses processus internes de sécurité pour contrer la menace de l’IA nuisible. Un nouveau « groupe consultatif sur la sécurité » siègera au-dessus des équipes techniques et fera des recommandations à la direction, et le conseil d’administration s’est vu accorder un pouvoir de veto – bien sûr, s’il sera réellement utilisé est une autre question. Normalement, les détails de politiques comme celles-ci ne nécessitent pas une couverture, car en pratique, elles se résument à de nombreuses réunions à huis clos avec des fonctions obscures et des flux de responsabilité auxquels les étrangers auront rarement accès. Bien que cela soit également probable dans ce cas, les récents conflits de direction et les discussions en évolution sur les risques de l’IA justifient de jeter un coup d’œil sur la façon dont la principale entreprise de développement de l’IA du monde aborde les considérations en matière de sécurité. Dans un nouveau document et un article de blog, OpenAI discute de son « Cadre de préparation » mis à jour, qui, on l’imagine, a été légèrement retravaillé après le remaniement de novembre qui a éliminé les deux membres les plus « décelérationnistes » du conseil d’administration : Ilya Sutskever (encore à l’entreprise mais avec un rôle quelque peu modifié) et Helen Toner (complètement partie). L’objectif principal de la mise à jour semble être de montrer une voie claire pour identifier, analyser et décider quoi faire concernant les risques « catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent : Par risque catastrophique, nous entendons tout risque qui pourrait entraîner des centaines de milliards de dollars de dommages économiques ou causer des dommages graves ou la mort de nombreuses personnes – cela inclut, sans s’y limiter, le risque existentiel.