Pourquoi est-ce que personne ne peut s’entendre sur la dangerosité possible de l’IA ?

J’ai beaucoup écrit sur l’IA et le débat sur le fait qu’elle pourrait tous nous tuer. Mais je ne sais toujours pas vraiment où je me situe. Il y a des gens qui comprennent profondément les systèmes d’apprentissage automatique avancés et qui pensent qu’ils vont se révéler de plus en plus incontrôlables, qu’ils pourraient éventuellement devenir « défectueux » et menacer l’humanité de catastrophe voire d’extinction. Il y a d’autres personnes qui comprennent profondément le fonctionnement de ces systèmes et qui pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction humaine, et que le premier groupe est plein d’alarmistes hystériques. Comment savoir qui a raison ? Je ne le sais sûrement pas. Mais une nouvelle étude astucieuse de l’Institut de Recherche en Prévision tente de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le parrain de la prévision Philip Tetlock) avaient précédemment demandé à la fois à des experts en IA et en autres risques existentiels, ainsi qu’à des « superprévisionnistes » ayant fait leurs preuves en prédisant avec succès des événements mondiaux à court terme, d’évaluer le danger que représente l’IA. Le résultat ? Les deux groupes étaient en désaccord. Les experts de l’étude étaient en général beaucoup plus inquiets que les superprévisionnistes et accordaient beaucoup plus de probabilités à un désastre.