OpenAI élargit ses processus internes de sécurité pour faire face aux menaces posées par les IA nocives. Un nouveau « groupe consultatif sur la sécurité » siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration aura le pouvoir de veto – bien entendu, s’il l’utilisera réellement, c’est une autre question. En temps normal, les détails de politiques comme celles-ci ne nécessitent pas de couverture, car elles se traduisent généralement par beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité auxquels les étrangers ont rarement accès. Bien que cela soit probablement également le cas ici, la récente querelle entre dirigeants et l’évolution de la discussion sur le risque lié à l’IA justifient un examen de la façon dont la société de développement d’IA de premier plan aborde les considérations de sécurité. Dans un nouveau document et un nouveau message sur le blog, OpenAI discute de son « Cadre de préparation » mis à jour, qui a sans doute été un peu retravaillé après le remue-ménage de novembre qui a écarté les deux membres les plus « décélérationnistes » du conseil d’administration : Ilya Sutskever (toujours à la société, mais dans un rôle un peu différent) et Helen Toner (totalement partie). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider ce qu’il faut faire face aux risques « catastrophiques » inhérents aux modèles qu’ils développent. Comme ils le définissent : Par risque catastrophique, nous entendons tout risque pouvant entraîner des dizaines de milliards de dollars de dommages économiques ou conduire à de graves blessures ou à la mort de nombreuses personnes – cela inclut, mais sans s’y limiter, le risque existentiel.
« La Croisade acharnée d’un couple pour arrêter un tueur génétique »
En y repensant, cela aurait pu être un indice. Mais au début de l’année 2010, lorsque Kamni Vallabh a commencé
