Pourquoi est-ce que personne ne peut s’accorder sur la dangerosité que représentera l’intelligence artificielle ?

J’ai beaucoup écrit sur l’IA et le débat sur le fait qu’elle pourrait tous nous tuer. Mais je ne sais toujours pas vraiment où je me situe. Il y a des gens qui comprennent profondément les systèmes d’apprentissage automatiques avancés et qui pensent qu’ils prouveront de plus en plus incontrôlables, pourraient éventuellement « devenir des rebelles » et menacer l’humanité de catastrophe ou même d’extinction. Il y a d’autres personnes qui comprennent profondément le fonctionnement de ces systèmes et qui pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction de l’humanité et que le premier groupe est plein d’alarmistes hystériques. Comment savoir qui a raison? Je n’en ai aucune idée. Mais une nouvelle étude astucieuse de l’Institut de recherche en prévision essaie de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le parrain de la prévision, Philip Tetlock) avaient précédemment demandé à la fois à des experts de l’IA et à d’autres risques existentiels, ainsi qu’à des « super-forecasters » ayant un bilan avéré de prédiction réussie d’événements mondiaux à court terme, d’évaluer le danger que pose l’IA. Le résultat ? Les deux groupes étaient en désaccord. Les experts de l’étude étaient en général beaucoup plus nerveux que les super-forecasters et évaluaient beaucoup plus élevées les chances de catastrophe.