OpenAI renforce son équipe de sécurité et accorde au conseil d’administration le pouvoir de veto sur l’IA risquée.

OpenAI étend ses processus de sécurité internes pour faire face à la menace de l’IA dangereuse. Un nouveau « groupe consultatif sur la sécurité » sera au-dessus des équipes techniques et fera des recommandations à la direction, et le conseil d’administration s’est vu accorder un pouvoir de veto – bien sûr, s’ils vont réellement l’utiliser est une autre question. Normalement, les détails de politiques comme celles-ci ne nécessitent pas une couverture, car en pratique, elles impliquent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité dont les étrangers auront rarement connaissance. Bien que cela soit probablement aussi vrai dans ce cas, les récentes querelles de leadership et les discussions en évolution sur les risques de l’IA justifient de s’intéresser à la manière dont la principale entreprise de développement de l’IA au monde aborde les considérations de sécurité. Dans un nouveau document et un article de blog, OpenAI aborde leur « Cadre de préparation » mis à jour, qui, on peut l’imaginer, a été ajusté après la secousse de novembre qui a évincé les deux membres les plus « décelérationnistes » du conseil d’administration : Ilya Sutskever (toujours à l’entreprise dans un rôle quelque peu différent) et Helen Toner (totalement partie). Le but principal de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire face aux risques « catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent : par risque catastrophique, nous entendons tout risque qui pourrait entraîner des centaines de milliards de dollars de dommages économiques ou causer des préjudices graves ou la mort de nombreux individus – cela comprend, mais ne se limite pas aux risques existentiels.