OpenAI renforce l’équipe de sécurité et accorde au conseil le pouvoir de veto sur l’IA risquée.

OpenAI élargit ses processus internes de sécurité pour contrer la menace de l’IA nuisible. Un nouveau « groupe consultatif sur la sécurité » siègera au-dessus des équipes techniques et fera des recommandations à la direction. Le conseil d’administration s’est vu accorder un droit de veto – bien sûr, s’ils l’utiliseront réellement est une autre question. Normalement, les détails de politiques comme celles-ci ne nécessitent pas une couverture étendue, car en pratique, elles se résument à de nombreuses réunions à huis clos avec des fonctions obscures et des responsabilités peu accessibles aux étrangers. Bien que cela soit probablement également vrai dans ce cas, la récente querelle de leadership et la discussion évolutive sur les risques de l’IA justifient un examen approfondi de la façon dont la principale entreprise de développement de l’IA au monde aborde les considérations de sécurité. Dans un nouveau document et un article de blog, OpenAI présente leur « Cadre de préparation » mis à jour, qui a probablement été retravaillé après les bouleversements de novembre qui ont entraîné le départ des deux membres les plus « décélérationnistes » du conseil : Ilya Sutskever (toujours à l’entreprise dans un rôle quelque peu modifié) et Helen Toner (totalement partie). L’objectif principal de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire face aux risques « catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent : Par risque catastrophique, nous entendons tout risque qui pourrait entraîner des centaines de milliards de dollars de dommages économiques ou causer de graves préjudices ou la mort de nombreuses personnes – cela inclut, sans s’y limiter, le risque existentiel.