OpenAI étend ses processus de sécurité internes pour faire face à la menace de l’IA nocive. Un nouveau «groupe consultatif sur la sécurité» siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration a obtenu le pouvoir de veto – bien sûr, s’il l’utilisera réellement est une autre question. En général, les détails de politiques de ce type ne nécessitent pas de couverture, car en pratique, ils représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers ne seront jamais susceptibles de connaître. Bien que cela soit vraisemblablement également le cas ici, la récente querelle de leadership et la discussion sur le risque évolutif de l’IA justifient un examen de la manière dont la société de développement d’IA la plus avancée au monde aborde les considérations de sécurité. Dans un nouveau document et un nouveau message sur le blog, OpenAI discute de leur «Cadre de préparation» mis à jour, que l’on imagine avoir été un peu retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus «décélérationnistes» du conseil d’administration: Ilya Sutskever (toujours dans la société, mais dans un rôle un peu différent) et Helen Toner (totalement partie). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire des «risques catastrophiques» inhérents aux modèles qu’ils développent. Comme ils le définissent: Par risque catastrophique, nous entendons tout risque pouvant entraîner des dommages économiques de plusieurs centaines de milliards de dollars ou mener à de graves blessures ou à la mort de nombreuses personnes – cela inclut, mais sans s’y limiter, le risque existentiel.
« La Croisade acharnée d’un couple pour arrêter un tueur génétique »
En y repensant, cela aurait pu être un indice. Mais au début de l’année 2010, lorsque Kamni Vallabh a commencé
