Un récent test de Turing a montré que le chatbot ELIZA des années 1960 battait GPT-3.5 d’OpenAI.

Dans un article de recherche prépublication intitulé « GPT-4 passe-t-il le test de Turing? », deux chercheurs de l’université de Californie à San Diego ont mis en compétition le modèle de langage artificiel GPT-4 d’OpenAI contre des participants humains, GPT-3.5 et ELIZA pour voir lequel pouvait leur faire croire qu’il était humain avec le plus de succès. Mais en cours de route, l’étude, qui n’a pas fait l’objet d’une évaluation par les pairs, a révélé que les participants humains n’avaient correctement identifié d’autres humains que dans 63 % des interactions, et qu’un programme informatique datant des années 1960 surpassait le modèle IA qui alimente la version gratuite de ChatGPT. Même avec des limitations et des avertissements, que nous examinerons ci-dessous, l’article présente une comparaison intéressante entre les approches de modèles IA et soulève de nouvelles questions quant à l’utilisation du test de Turing pour évaluer les performances de modèles IA. Alan Turing, mathématicien et informaticien britannique, a conçu pour la première fois le test de Turing sous le nom de « Jeu de l’imitation » en 1950. Depuis, il est devenu un benchmark célèbre mais controversé pour déterminer la capacité d’une machine à imiter une conversation humaine. Dans les versions modernes du test, un juge humain parle habituellement soit à un autre humain, soit à un chatbot sans savoir lequel est lequel. Si le juge ne peut pas distinguer de manière fiable le chatbot de l’humain un certain pourcentage du temps, on dit que le chatbot a réussi le test. Le seuil de réussite au test est subjectif, de sorte qu’il n’y a jamais eu de large consensus sur ce qui constituerait un taux de réussite satisfaisant. Dans l’étude récente, publiée sur arXiv à la fin du mois d’octobre, les chercheurs de l’université de Californie à San Diego Cameron Jones (un étudiant en sciences cognitives) et Benjamin Bergen (un professeur du département de sciences cognitives de l’université) ont mis en place un site Web appelé turingtest.live, où ils ont hébergé une version à deux joueurs du test de Turing sur Internet dans le but de voir à quel point GPT-4, lorsqu’il est interrogé de différentes manières, peut convaincre les gens qu’il est humain. Via le site, des interrogateurs humains ont interagi avec divers « témoins IA » représentant soit d’autres humains, soit des modèles IA tels que GPT-4, GPT-3.5 et ELIZA, un programme de conversation basé sur des règles datant des années 1960. « Les deux participants aux matchs humains étaient affectés au hasard aux rôles d’interrogateur et de témoin », écrivent les chercheurs. « Les témoins devaient convaincre l’interrogateur qu’ils étaient humains. Les joueurs appariés avec des modèles IA étaient toujours des interrogateurs. »