OpenAI renforce l’equipe de securite et donne un pouvoir de veto au conseil sur les IA dangereuses

OpenAI étend ses processus de sécurité internes pour faire face à la menace de l’IA nocive. Un nouveau «groupe consultatif de sécurité» siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration aura le pouvoir de veto – bien entendu, s’il l’utilisera réellement est tout à fait une autre question. En général, les détails de politiques de ce type ne nécessitent pas de couverture, car en pratique, ils représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité auxquels les étrangers ont rarement accès. Bien que cela soit vraisemblablement également le cas ici, le récent conflit de leadership et la discussion en évolution sur le risque de l’IA justifient un examen de la manière dont la principale entreprise de développement de l’IA au monde aborde les considérations de sécurité. Dans un nouveau document et un nouveau message sur le blog, OpenAI discute de leur «Cadre de préparation» mis à jour, que l’on imagine avoir été un peu retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus «décélérationnistes» du conseil d’administration: Ilya Sutskever (toujours à la société, dans un rôle un peu modifié) et Helen Toner (complètement partie). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire en ce qui concerne les risques «catastrophiques» inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophe, nous entendons tout risque pouvant entraîner des dizaines de billions de dollars de dommages économiques ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela inclut, mais sans s’y limiter, le risque existentiel.