« Pourquoi est-ce que personne ne peut s’accorder sur le degré de dangerosité que représente l’IA ? »

J’ai beaucoup écrit sur l’IA et le débat sur le fait qu’elle pourrait tous nous tuer. Mais je ne sais toujours pas vraiment où je me situe. Il y a des personnes qui comprennent profondément les systèmes d’apprentissage machine avancés qui pensent qu’ils deviendront de plus en plus incontrôlables, pourraient « devenir incontrôlables » et menacer l’humanité d’une catastrophe voire d’une extinction. Il y a d’autres personnes qui comprennent profondément comment ces systèmes fonctionnent et qui pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction humaine et que le premier groupe est rempli d’alarmistes hystériques. Comment savoir qui a raison ? Je n’en ai vraiment aucune idée. Mais une nouvelle étude astucieuse de l’Institut de recherche en prévision tente de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le parrain de la prévision Philip Tetlock) avaient précédemment demandé à la fois des experts en IA et d’autres risques existentiels, ainsi que des « super-prévisionnistes » ayant un bilan avéré de succès dans la prédiction des événements mondiaux à court terme, d’évaluer le danger que pose l’IA. Le résultat ? Les deux groupes étaient en désaccord. Les experts de l’étude étaient en général beaucoup plus nerveux que les super-prévisionnistes et accordaient des probabilités bien plus élevées à la catastrophe.