Pourquoi est-ce que personne ne peut s’accorder sur à quel point l’IA sera dangereuse ?

J’ai beaucoup écrit sur l’IA et le débat sur le fait qu’elle pourrait nous tuer tous. Mais je ne sais toujours pas vraiment ce que je pense. Il y a des gens qui comprennent profondément les systèmes d’apprentissage machine avancés et qui pensent qu’ils pourraient devenir de plus en plus incontrôlables, voire « devenir fous », menaçant l’humanité de catastrophe voire d’extinction. Il y a d’autres personnes qui comprennent profondément le fonctionnement de ces systèmes et qui pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction de l’homme, et que le premier groupe est constitué d’alarmistes hystériques. Comment identifier qui a raison? Je ne le sais vraiment pas. Mais une nouvelle étude astucieuse de l’Institut de recherche en prévision météorologique tente de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le père fondateur de la prévision Philip Tetlock) avaient précédemment demandé à la fois aux experts de l’IA et à d’autres risques existentiels, ainsi qu’aux « superforecasters » ayant démontré leur capacité à prédire avec succès les événements mondiaux à court terme, d’évaluer le danger que représente l’IA. Le résultat? Les deux groupes étaient en désaccord. Les experts de l’étude étaient en général beaucoup plus nerveux que les superforecasters et accordaient des probabilités beaucoup plus élevées à la catastrophe.