OpenAI étend ses processus de sécurité internes pour faire face à la menace de l’IA nocive. Un nouveau «groupe de conseillers en sécurité» siégera au-dessus des équipes techniques et fera des recommandations aux dirigeants, et le conseil d’administration bénéficiera d’un pouvoir de veto – bien sûr, s’il l’utilisera réellement est tout à fait une autre question. En règle générale, les détails des politiques de ce type ne nécessitent pas de couverture, car en pratique, ils représentent beaucoup de réunions à huis clos avec des fonctions obscures et des flux de responsabilité que les étrangers ne seront que rarement en mesure de connaître. Bien que cela soit probablement également le cas ici, le récent conflit de leadership et la discussion sur les risques liés à l’IA en évolution justifient un examen de la façon dont la société de développement d’IA de premier plan aborde les considérations de sécurité. Dans un nouveau document et un nouveau blogue, OpenAI discute de leur cadre de préparation mis à jour, qui a certainement été retravaillé après le remaniement de novembre qui a éliminé les deux membres les plus «décélérationnistes» du conseil d’administration: Ilya Sutskever (toujours à la société dans un rôle un peu modifié) et Helen Toner (totalement disparu). Le principal objectif de la mise à jour semble être de montrer un chemin clair pour identifier, analyser et décider ce qu’il faut faire face aux risques «catastrophiques» inhérents aux modèles qu’ils développent. Comme ils le définissent: par risque catastrophique, nous entendons tout risque pouvant entraîner des dizaines de milliards de dollars de dommages économiques ou des blessures ou des décès graves de nombreuses personnes – cela inclut, mais n’est pas limité, le risque existentiel.
« La Croisade acharnée d’un couple pour arrêter un tueur génétique »
En y repensant, cela aurait pu être un indice. Mais au début de l’année 2010, lorsque Kamni Vallabh a commencé
