ELIZA, un chatbot des années 1960, a battu GPT-3.5 d’OpenAI dans une récente étude de test de Turing.

Dans un article de recherche préliminaire intitulé «GPT-4 passe-t-il le test de Turing?», deux chercheurs de l’université de Californie à San Diego ont mis en compétition le modèle de langage GPT-4 d’OpenAI contre des participants humains, GPT-3.5 et ELIZA pour voir lequel pourrait leur faire croire qu’il était humain avec le plus de succès. Mais en cours de route, l’étude, qui n’a pas fait l’objet d’une évaluation par les pairs, a révélé que les participants humains n’ont correctement identifié d’autres humains que dans 63 % des interactions – et qu’un programme informatique datant des années 1960 a surpassé le modèle IA qui alimente la version gratuite de ChatGPT. Même avec des limitations et des avertissements, que nous aborderons ci-dessous, l’article présente une comparaison intéressante entre les approches de modèles IA et soulève de nouvelles questions quant à l’utilisation du test de Turing pour évaluer les performances des modèles IA. Le mathématicien et informaticien britannique Alan Turing a imaginé le test de Turing sous le nom de «Jeu de l’imitation» en 1950. Depuis, il est devenu un benchmark célèbre mais controversé pour déterminer la capacité d’une machine à imiter une conversation humaine. Dans les versions modernes du test, un juge humain parle généralement à un autre humain ou à un chatbot sans savoir lequel est lequel. Si le juge ne peut pas distinguer de manière fiable le chatbot de l’humain un certain pourcentage du temps, on dit que le chatbot a réussi le test. Le seuil de réussite du test est subjectif, il n’y a donc jamais eu de large consensus sur ce qui constituerait un taux de réussite suffisant. Dans l’étude récente, publiée sur arXiv à la fin du mois d’octobre, les chercheurs de l’université de Californie à San Diego Cameron Jones (étudiant en sciences cognitives) et Benjamin Bergen (professeur au département de sciences cognitives de l’université) ont mis en place un site Web appelé turingtest.live, où ils ont hébergé une mise en œuvre à deux joueurs du test de Turing sur Internet dans le but de voir à quel point GPT-4, lorsqu’il est sollicité de différentes manières, peut convaincre les gens qu’il est humain. Grâce au site, des interrogateurs humains ont interagi avec divers «témoins IA» représentant soit d’autres humains, soit des modèles IA comprenant GPT-4, GPT-3.5 et ELIZA, un programme de conversation basé sur des règles datant des années 1960. «Les deux participants dans les matchs humains étaient assignés au hasard aux rôles d’interrogateur et de témoin», écrivent les chercheurs. «Les témoins devaient convaincre l’interrogateur qu’ils étaient humains. Les joueurs appariés avec des modèles IA étaient toujours des interrogateurs.»