OpenAI renforce l’équipe de sécurité et accorde au conseil le pouvoir de veto sur une IA risquée.

OpenAI étend ses processus internes de sécurité pour contrer la menace de l’IA nocive. Un nouveau « groupe consultatif de sécurité » siègera au-dessus des équipes techniques et fera des recommandations à la direction, et le conseil d’administration s’est vu accorder un pouvoir de veto – bien sûr, s’il l’utilisera réellement est une autre question en soi. Normalement, les détails de politiques comme celles-ci ne nécessitent pas une couverture, car en pratique, ils se résument à de nombreuses réunions à huis clos avec des fonctions obscures et des flux de responsabilité auxquels les étrangers auront rarement accès. Bien que cela soit probablement également le cas dans cette situation, la récente frénésie du leadership et la discussion en cours sur les risques de l’IA justifient de jeter un coup d’œil à la manière dont la principale société de développement de l’IA au monde aborde les considérations de sécurité. Dans un nouveau document et un billet de blog, OpenAI discute de leur « Cadre de préparation » mis à jour, qui a vraisemblablement été retravaillé après le bouleversement de novembre qui a écarté les deux membres les plus « décroissantistes » du conseil d’administration, à savoir Ilya Sutskever (toujours dans l’entreprise avec un rôle quelque peu modifié) et Helen Toner (totalement partie). L’objectif principal de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire face aux risques « catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent : Par risque catastrophique, nous entendons tout risque qui pourrait entraîner des centaines de milliards de dollars de dommages économiques ou causer des préjudices graves ou la mort de nombreuses personnes – cela inclut, sans s’y limiter, le risque existentiel.