OpenAI renforce l’équipe de sécurité et donne un pouvoir de veto au conseil sur les IA risquées.

OpenAI étend ses processus de sécurité internes pour se prémunir contre la menace de l’IA nocive. Un nouveau «groupe consultatif sur la sécurité» siégera au-dessus des équipes techniques et fera des recommandations à la direction, et le conseil d’administration a obtenu le pouvoir de veto – bien sûr, s’il l’utilisera réellement est une autre question. En temps normal, les détails des politiques de ce type ne nécessitent pas de couverture, car en pratique, ils représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilités que les étrangers ne seront généralement pas privilégiés. Bien que cela soit probablement aussi le cas ici, le récent conflit de leadership et la discussion sur les risques liés à l’IA évolutive justifient un examen de la façon dont la société de développement d’IA de premier plan aborde les considérations de sécurité. Dans un nouveau document et un nouveau blog, OpenAI discute de son «Cadre de préparation» mis à jour, qui a probablement été retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus «décélérationnistes» du conseil d’administration: Ilya Sutskever (toujours en poste dans un rôle un peu modifié) et Helen Toner (totalement disparu). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire face aux risques «catastrophiques» inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dizaines de milliards de dollars de dommages économiques ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela inclut, mais sans s’y limiter, le risque existentiel.