L’équipe de sécurité d’OpenAI se renforce et le conseil d’administration a le pouvoir de veto sur les risques liés à l’IA

OpenAI élargit ses processus de sécurité internes pour éviter la menace de l’IA nocive. Un nouveau « groupe consultatif de sécurité » siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration disposera d’un pouvoir de veto – bien entendu, s’il décidera réellement de l’utiliser est une autre question. En temps normal, les détails des politiques de ce type ne nécessitent pas de couverture, car en pratique, elles consistent en une multitude de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers n’auront généralement pas accès. Bien que cela soit probablement également le cas ici, la récente querelle de leadership et la discussion en évolution sur les risques liés à l’IA justifient un examen de la manière dont la principale entreprise de développement d’IA du monde aborde les considérations de sécurité. Dans un nouveau document et un nouveau blog, OpenAI discute de son « Cadre de préparation » mis à jour, que l’on imagine avoir été un peu retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus « décélérationnistes » du conseil d’administration: Ilya Sutskever (toujours à la société dans un rôle un peu modifié) et Helen Toner (totalement disparu). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire des « risques catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dommages économiques de plusieurs centaines de milliards de dollars ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela inclut, mais sans s’y limiter, le risque existentiel.