Pourquoi est-ce que personne ne peut se mettre d’accord sur la dangerosité de l’IA ?

« J’ai beaucoup écrit sur l’IA et le débat sur le fait de savoir si elle pourrait nous tuer tous. Mais je ne sais toujours pas vraiment où je me situe. Il y a des personnes qui comprennent profondément les systèmes d’apprentissage automatique avancé et qui pensent qu’ils seront de plus en plus incontrôlables, pourraient éventuellement « devenir fous » et menacer l’humanité de catastrophe voire d’extinction. Il y a d’autres personnes qui comprennent profondément le fonctionnement de ces systèmes et qui pensent que nous sommes parfaitement capables de les contrôler, que leurs dangers n’incluent pas l’extinction humaine et que le premier groupe est constitué d’alarmistes hystériques. Comment savoir qui a raison ? Je n’en ai vraiment aucune idée. Mais une nouvelle étude astucieuse de l’Institut de recherche en prévision tente de le découvrir. Les auteurs (Josh Rosenberg, Ezra Karger, Avital Morris, Molly Hickman, Rose Hadshar, Zachary Jacobs et le parrain de la prévision Philip Tetlock) avaient précédemment demandé à la fois aux experts en IA et à d’autres risques existentiels, ainsi qu’aux « super-prévisionnistes » ayant un bilan avéré de prévisions réussies des événements mondiaux à court terme, d’évaluer le danger que représente l’IA. Le résultat ? Les deux groupes étaient en désaccord. Les experts de l’étude étaient en général beaucoup plus nerveux que les super-prévisionnistes et accordaient des probabilités de catastrophe beaucoup plus élevées. »