OpenAI renforce son équipe de sécurité et accorde au conseil d’administration un droit de veto sur les IA risquées.

OpenAI étend ses processus internes de sécurité pour contrer la menace d’une IA dangereuse. Un nouveau « groupe consultatif sur la sécurité » siégera au-dessus des équipes techniques et fera des recommandations à la direction, et le conseil d’administration s’est vu accorder un droit de veto – bien sûr, s’il l’utilisera effectivement est une toute autre question. Normalement, les tenants et les aboutissants de politiques comme celles-ci ne nécessitent pas de couverture, car en pratique, elles se résument à de nombreuses réunions à huis clos avec des fonctions obscures et des responsabilités qui sont rarement accessibles aux étrangers. Bien que cela soit probablement également vrai dans ce cas-ci, les récentes luttes de pouvoir au sein de la direction et la discussion croissante sur les risques de l’IA justifient de jeter un coup d’œil sur la manière dont la principale entreprise de développement de l’IA du monde aborde les considérations de sécurité. Dans un nouveau document et article de blog, OpenAI discute de leur « Cadre de préparation » mis à jour, qui a certainement été retravaillé après le remaniement de novembre qui a écarté les deux membres les plus « décélérationnistes » du conseil d’administration : Ilya Sutskever (encore à l’entreprise, dans un rôle quelque peu modifié) et Helen Toner (totalement partie). Le but principal de cette mise à jour semble être de montrer une voie claire pour identifier, analyser et décider quoi faire face aux risques « catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent : Par risque catastrophique, nous entendons tout risque qui pourrait entraîner des centaines de milliards de dollars de dommages économiques ou causer des préjudices graves ou la mort de nombreuses personnes – cela comprend, mais n’est pas limité, aux risques existentiels.