Pourquoi est-ce que personne ne peut s’accorder sur la dangerosité potentielle de l’intelligence artificielle ?

J’ai beaucoup écrit sur l’IA et le débat sur le fait qu’elle pourrait nous tuer tous. Mais je ne sais toujours pas vraiment où je me situe. Il y a des personnes qui comprennent très bien les systèmes d’apprentissage automatique avancés et qui pensent qu’ils deviendront de plus en plus incontrôlables, pourraient éventuellement « devenir rebelles » et menacer l’humanité de catastrophe, voire d’extinction. Il y a d’autres personnes qui comprennent profondément le fonctionnement de ces systèmes et qui pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction humaine, et que le premier groupe est rempli d’alarmistes hystériques. Comment pouvons-nous dire qui a raison ? Je ne sais certainement pas. Mais une nouvelle étude astucieuse de l’Institut de Recherche sur les Prévisions tente de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le parrain des prévisions Philip Tetlock) avaient précédemment demandé à la fois aux experts en IA et à d’autres risques existentiels, ainsi qu’aux « super prévisionnistes » avec un bilan démontré de prédictions réussies d’événements mondiaux à court terme, d’évaluer le danger que pose l’IA. Le résultat ? Les deux groupes étaient en désaccord. Les experts de l’étude étaient en général beaucoup plus nerveux que les super prévisionnistes et attribuaient des probabilités beaucoup plus élevées au désastre.