OpenAI augmente l’équipe de sécurité et donne un pouvoir de veto au conseil sur les IA risquées.

OpenAI élargit ses processus internes de sécurité pour faire face au risque de l’IA nocive. Un nouveau « groupe consultatif sur la sécurité » siégera au-dessus des équipes techniques et fera des recommandations à la direction, et le conseil d’administration aura le pouvoir de veto – bien sûr, s’il l’utilisera réellement, c’est une autre question. En général, les détails des politiques de ce type ne nécessitent pas de couverture, car en pratique, ils représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers ne seront pas souvent privés. Bien que cela soit probablement également le cas ici, le recent conflit de leadership et la discussion en évolution sur les risques de l’IA justifient un examen de la manière dont la principale entreprise de développement d’IA du monde aborde les considérations de sécurité. Dans un nouveau document et un nouveau message sur le blog, OpenAI discute de son « Cadre de préparation » mis à jour, qui a probablement été un peu retravaillé après le remue-ménage de novembre qui a éliminé les deux membres les plus « décélérationnistes » du conseil d’administration: Ilya Sutskever (toujours à l’entreprise dans un rôle un peu modifié) et Helen Toner (totalement disparu). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire des « risques catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dommages économiques de centaines de milliards de dollars ou entraîner de graves blessures ou la mort de nombreuses personnes – cela inclut, mais n’est pas limité, le risque existentiel.