« Pourquoi est-ce que personne ne peut s’accorder sur à quel point l’IA sera dangereuse ? »

J’ai beaucoup écrit sur l’IA et le débat sur la possibilité qu’elle puisse nous tuer tous. Mais je ne sais toujours pas vraiment où me positionner. Il y a des personnes qui comprennent profondément les systèmes d’apprentissage automatique avancés et qui pensent qu’ils deviendront de plus en plus incontrôlables, pourraient éventuellement « devenir rogue » et menacer l’humanité avec une catastrophe voire une extinction. Il y a d’autres personnes qui comprennent profondément le fonctionnement de ces systèmes et qui pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction humaine et que le premier groupe est plein d’alarmistes hystériques. Comment pouvons-nous savoir qui a raison? Je n’en ai vraiment aucune idée. Mais une nouvelle étude astucieuse de l’Institut de Recherche en Prévision essaie de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le père fondateur de la prévision, Philip Tetlock) avaient précédemment demandé à la fois aux experts de l’IA et à d’autres risques existentiels, ainsi qu’aux « super-prévisionnistes » avec une expérience avérée dans la prévision réussie des événements mondiaux à court terme, d’évaluer le danger que représente l’IA. Le résultat? Les deux groupes étaient en désaccord. Les experts de l’étude étaient généralement beaucoup plus nerveux que les super-prévisionnistes et attribuaient des probabilités de catastrophe bien plus élevées.