« En défense des hallucinations de l’IA »

Personne ne sait si l’intelligence artificielle sera un bienfait ou une malédiction dans un futur lointain. Mais pour le moment, il y a un malaise presque universel et du mépris envers une habitude de ces chatbots et agents : les hallucinations, ces faits inventés qui apparaissent dans les résultats des grands modèles de langage comme ChatGPT. Au milieu d’une réponse qui semble soigneusement construite, le modèle de langage glisse quelque chose qui semble raisonnable mais qui est en réalité une totale fabrication. Un chatbot typique peut faire passer George Santos, ancien membre du Congrès disgracié, pour Abe Lincoln. Étant donné qu’il semble inévitable que les chatbots génèrent à un moment donné la grande majorité de toutes les proses jamais écrites, toutes les entreprises d’IA sont obsédées par la minimisation et l’élimination des hallucinations, ou du moins par le fait de convaincre le monde que le problème est bien pris en charge. Évidemment, la valeur des modèles de langage atteindra un nouveau niveau lorsque les hallucinations approcheront zéro. Mais avant que cela ne se produise, je vous invite à trinquer aux confabulations de l’IA. Les hallucinations me fascinent, même si les scientifiques en IA ont une assez bonne idée de pourquoi elles se produisent. Une startup en IA appelée Vectara les a étudiées ainsi que leur prévalence, compilant même les taux d’hallucination de différents modèles lorsqu’ils étaient invités à résumer un document. (Le GPT-4 d’OpenAI est le meilleur, hallucinant seulement environ 3% du temps ; Palm Chat, désormais obsolète chez Google – pas son chatbot Bard ! – avait un taux choquant de 27%, bien que pour être juste, résumer des documents n’était pas la spécialité de Palm Chat). Le directeur technique de Vectara, Amin Ahmad, indique que les modèles de langage créent une représentation comprimée de toutes les données d’entraînement transmises à travers leurs neurones artificiels. « La nature de la compression fait que les détails fins peuvent se perdre », explique-t-il. Un modèle se trouve alors préparé avec les réponses les plus probables aux requêtes des utilisateurs, mais ne dispose pas des faits exacts à sa disposition. « Quand il en vient aux détails, il commence à inventer des choses », ajoute-t-il. Santosh Vempala, professeur d’informatique à Georgia Tech, a également étudié les hallucinations. « Un modèle de langage est simplement un modèle probabiliste du monde », dit-il, « pas un miroir véridique de la réalité. » Vempala explique que la réponse d’un modèle de langage s’efforce d’être calibrée de manière générale avec le monde réel – tel que représenté dans ses données d’entraînement – ce qui est une « version faible de la précision ». Ses recherches, publiées avec Adam Kalai d’OpenAI, ont révélé que les hallucinations sont inévitables pour des faits qui ne peuvent pas être vérifiés à l’aide des informations dans les données d’entraînement d’un modèle.