Les chatbots d’IA avancée sont moins susceptibles d’admettre qu’ils n’ont pas toutes les réponses.

Les chercheurs ont repéré un inconvénient apparent des chatbots plus intelligents. Bien que les modèles d’IA deviennent prévisiblement plus précis à mesure qu’ils progressent, ils sont également plus susceptibles de répondre (à tort) à des questions dépassant leurs capacités au lieu de dire « Je ne sais pas. » Et les humains qui les sollicitent sont plus enclins à prendre au sérieux leurs hallucinations confiantes, créant ainsi un effet d’avalanche de désinformations confiantes. « Ils répondent à presque tout de nos jours », a déclaré José Hernández-Orallo, professeur à l’Universitat Politecnica de Valencia, en Espagne, à Nature. « Et cela signifie plus de réponses correctes, mais aussi plus de réponses incorrectes. » Hernández-Orallo, le chef de projet, a travaillé sur l’étude avec ses collègues de l’Institut de recherche valencien pour l’intelligence artificielle en Espagne. L’équipe a étudié trois familles de LLM, dont la série GPT d’OpenAI, le LLaMA de Meta et le BLOOM en open-source. Ils ont testé les premières versions de chaque modèle et sont passés à des modèles plus grands et plus avancés — mais pas les plus avancés actuellement. Par exemple, l’équipe a commencé avec le modèle relativement primitif GPT-3 ada d’OpenAI et a testé des itérations menant à GPT-4, qui est arrivé en mars 2023. Le GPT-4o de quatre mois n’était pas inclus dans l’étude, pas plus que le plus récent o1-preview. Je serais curieux de savoir si la tendance se maintient avec les derniers modèles. Les chercheurs ont testé chaque modèle sur des milliers de questions portant sur « l’arithmétique, les anagrammes, la géographie et la science. » Ils ont également interrogé les modèles d’IA sur leur capacité à transformer des informations, comme l’alphabetisation d’une liste. L’équipe a classé leurs requêtes par difficulté perçue. Les données ont montré que la part de mauvaises réponses des chatbots (au lieu d’éviter les questions) augmentait avec la croissance des modèles. Ainsi, l’IA est un peu comme un professeur qui, en maîtrisant davantage de sujets, croit de plus en plus détenir les réponses parfaites sur chacun d’entre eux.