OpenAI améliore l’équipe de sécurité et donne un pouvoir de veto au conseil sur les IA risquées

OpenAI élargit ses processus de sécurité internes pour faire face au risque de dommages causés par l’IA. Un nouveau « groupe consultatif sur la sécurité » siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration aura le pouvoir de veto – bien entendu, s’il décidera effectivement de s’en servir est une autre question. En temps normal, les détails de politiques de ce type ne nécessitent pas de couverture, car en pratique ils représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers ne seront généralement pas privilégiés. Bien que cela soit probablement également le cas ici, la récente controverse sur la direction et la discussion en évolution sur les risques liés à l’IA justifient une examen de la manière dont la société de développement d’IA leader au monde approche les considérations de sécurité. Dans un nouveau document et un nouveau message sur son blog, OpenAI discute de son « Cadre de préparation » mis à jour, qui a certainement été retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus « ralentisseurs » du conseil d’administration: Ilya Sutskever (toujours dans une société, dans un rôle un peu différent) et Helen Toner (totalement partie). Le but principal de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider ce qu’il faut faire face aux risques « catastrophiques » inhérents aux modèles qu’ils développent. Comme ils l’ont défini: Par risque catastrophe, nous entendons tout risque pouvant entraîner des dizaines de billions de dollars de dommages économiques ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela comprend, mais sans s’y limiter, le risque existentiel.