OpenAI élargit ses processus de sécurité internes pour faire face à la menace de l’IA nocive. Un nouveau «groupe consultatif sur la sécurité» siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration a obtenu un pouvoir de veto – bien sûr, s’il l’utilisera réellement est une autre question. En temps normal, les détails des politiques de ce type ne nécessitent pas de couverture, car en pratique, ils représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers peuvent rarement connaître. Bien que cela soit probablement également le cas ici, la récente fracas de leadership et la discussion en évolution sur les risques liés à l’IA justifient un examen de la manière dont la société de développement d’IA leader mondiale aborde les considérations de sécurité. Dans un nouveau document et un nouveau blog, OpenAI discute de son «Cadre de préparation» mis à jour, que l’on imagine avoir été retravaillé après le remue-ménage de novembre qui a éliminé les deux membres les plus «décélérationnistes» du conseil d’administration: Ilya Sutskever (toujours à la société dans un rôle quelque peu modifié) et Helen Toner (tout à fait partie). Le but principal de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider quoi faire des risques «catastrophiques» inhérents aux modèles qu’ils développent. Comme ils le définissent: par risque catastrophique, nous entendons tout risque pouvant entraîner des dizaines de milliards de dollars de dommages économiques ou conduire à de sévères blessures ou à la mort de nombreuses personnes – cela inclut, mais n’est pas limité, aux risques existentiels.
« La Croisade acharnée d’un couple pour arrêter un tueur génétique »
En y repensant, cela aurait pu être un indice. Mais au début de l’année 2010, lorsque Kamni Vallabh a commencé
