Pourquoi est-ce que personne ne peut s’entendre sur la dangerosité de l’IA ?

J’ai beaucoup écrit sur l’IA et le débat sur le fait qu’elle pourrait nous tuer tous. Mais je ne sais toujours pas vraiment ce que je pense. Il y a des personnes qui comprennent profondément les systèmes avancés d’apprentissage machine qui pensent qu’ils pourraient devenir de plus en plus incontrôlables, éventuellement « devenir incontrôlables », et menacer l’humanité de catastrophe ou même d’extinction. Il y a d’autres personnes qui comprennent profondément le fonctionnement de ces systèmes et pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction humaine, et que le premier groupe est rempli d’alarmistes hystériques. Comment savoir qui a raison ? Je n’en ai aucune idée. Mais une nouvelle étude astucieuse de l’Institut de Recherche sur les Prévisions essaie de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le parrain des prévisions, Philip Tetlock) avaient déjà demandé à la fois aux experts en IA et à d’autres risques existentiels, ainsi qu’aux « super prévisionnistes » ayant une expérience avérée de prédictions réussies d’événements mondiaux à court terme, d’évaluer le danger que pose l’IA. Le résultat ? Les deux groupes étaient en désaccord. Les experts de l’étude étaient en général beaucoup plus nerveux que les super prévisionnistes et accordaient beaucoup plus de chances à une catastrophe.