OpenAI renforce l’équipe de sécurité et donne au conseil d’administration un pouvoir de veto sur les IA risquées

OpenAI étend ses processus de sécurité internes pour se protéger contre les risques potentiels d’une IA dangereuse. Un nouveau « groupe consultatif sur la sécurité » sera mis en place au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration aura le pouvoir de veto – bien sûr, s’il décide effectivement de s’en servir est une autre question. En général, les détails de politiques de ce type ne nécessitent pas de couverture, car en pratique, ils se résument à beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers auront rarement l’occasion de connaître. Bien que ce soit probablement également le cas ici, le récent conflit au sein de la direction et la discussion en évolution sur les risques liés à l’IA justifient de jeter un œil sur la manière dont la société de développement d’IA la plus avancée au monde aborde les considérations de sécurité. Dans un nouveau document et un billet de blog, OpenAI discute de son « Cadre de préparation » mis à jour, qui, on l’imagine, a été quelque peu retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus « décélérationnistes » du conseil d’administration: Ilya Sutskever (toujours à la société dans un rôle un peu modifié) et Helen Toner (totalement partie). Le but principal de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider ce qu’il faut faire face aux « risques catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dommages économiques de plusieurs centaines de milliards de dollars ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela inclut, sans s’y limiter, les risques existentiels.