OpenAI renforce l’équipe de sécurité et donne un pouvoir de veto au conseil sur les IA risquées

OpenAI étend ses processus internes de sécurité pour se protéger contre la menace de l’IA nocive. Un nouveau «groupe consultatif sur la sécurité» sera placé au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration aura le pouvoir de véto – bien sûr, s’il l’utilisera réellement est une autre question. En règle générale, les détails des politiques de ce type ne nécessitent pas de couverture, car en pratique, elles représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers auront rarement accès. Bien que cela soit probablement également le cas ici, le dernier conflit à la tête de l’entreprise et la discussion en évolution sur les risques liés à l’IA justifient une analyse de la façon dont la principale entreprise de développement d’IA du monde aborde les questions de sécurité. Dans un nouveau document et un nouveau message sur le blog, OpenAI discute de leur «cadre de préparation» mis à jour, que l’on imagine avoir été un peu retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus «décélérationnistes» du conseil d’administration: Ilya Sutskever (toujours à la société dans un rôle un peu modifié) et Helen Toner (complètement partie). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire des «risques catastrophiques» inhérents aux modèles qu’ils développent. Comme ils l’ont défini: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dommages économiques de plusieurs centaines de milliards de dollars ou entraîner de graves blessures ou la mort de nombreuses personnes – cela inclut, mais sans s’y limiter, le risque existentiel.