OpenAI renforce l’équipe de sécurité et donne un pouvoir de veto au conseil sur les IA risquées

OpenAI élargit ses processus de sécurité internes pour faire face au risque de l’IA nocive. Un nouveau «groupe consultatif de sécurité» siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration aura le pouvoir de veto – bien sûr, s’il le fera réellement est une autre question. En général, les détails de politiques comme celles-ci ne nécessitent pas de couverture, car elles se résument en pratique à beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers ne seront jamais privés. Bien que cela soit probablement également le cas ici, la récente querelle de leadership et la discussion sur le risque de l’IA en évolution justifient un examen de la manière dont la société de développement d’IA de premier plan aborde les considérations de sécurité. Dans un nouveau document et un nouveau article de blog, OpenAI discute de son «Cadre de préparation» mis à jour, que l’on imagine avoir été un peu retravaillé après le remaniement de novembre qui a écarté les deux membres les plus «décélérationnistes» du conseil d’administration: Ilya Sutskever (toujours à la société dans un rôle un peu modifié) et Helen Toner (totalement disparu). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire des risques «catastrophiques» inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dizaines de billions de dollars de dommages économiques ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela inclut, mais n’est pas limité au risque existentiel.