Dans une étude préliminaire intitulée « GPT-4 passe-t-il le test de Turing? », Deux chercheurs de l’université de Californie à San Diego ont mis en compétition le modèle de langage artificiel GPT-4 d’OpenAI contre des participants humains, GPT-3.5 et ELIZA pour voir lequel pourrait leur faire croire qu’il était humain avec le plus de succès. Mais en cours de route, l’étude, qui n’a pas fait l’objet d’une évaluation par les pairs, a montré que les participants humains n’ont correctement identifié d’autres humains que dans 63% des interactions – et qu’un programme informatique des années 1960 a surpassé le modèle de l’IA qui alimente la version gratuite de ChatGPT. Même avec des limitations et des avertissements, que nous aborderons ci-dessous, le papier présente une comparaison intéressante entre les approches des modèles d’IA et soulève d’autres questions quant à l’utilisation du test de Turing pour évaluer les performances des modèles d’IA. Alan Turing, mathématicien et informaticien britannique, a inventé le test de Turing sous le nom de « Jeu de l’imitation » en 1950. Depuis lors, il est devenu un benchmark célèbre mais controversé pour déterminer la capacité d’une machine à imiter une conversation humaine. Dans les versions modernes du test, un juge humain parle généralement à un autre humain ou à un chatbot sans savoir lequel est lequel. Si le juge ne peut pas distinguer de manière fiable le chatbot de l’humain un certain pourcentage du temps, on dit que le chatbot a réussi le test. Le seuil de réussite du test est subjectif, il n’y a donc jamais eu de large consensus sur ce qui constituerait un taux de réussite satisfaisant. Dans l’étude récente, publiée sur arXiv à la fin du mois d’octobre, les chercheurs de l’université de Californie à San Diego ont mis en place un site Web appelé turingtest.live, où ils ont hébergé une version à deux joueurs du test de Turing sur Internet dans le but de voir à quel point GPT-4, lorsqu’il est invité de différentes manières, peut convaincre les gens qu’il était humain. Grâce au site, des interrogateurs humains ont interagi avec différents « témoins IA » représentant soit d’autres humains soit des modèles IA, notamment GPT-4, GPT-3.5 et ELIZA, un programme de conversation basé sur des règles des années 1960. « Les deux participants aux matchs humains étaient affectés au hasard aux rôles d’interrogateur et de témoin », écrivent les chercheurs. « Les témoins devaient convaincre l’interrogateur qu’ils étaient humains. Les joueurs appariés avec des modèles IA étaient toujours des interrogateurs ».
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle Introduction L’intelligence artificielle (IA)
