Les plus grands modèles de langue ont du mal à formuler des arguments juridiques précis.

Les grands modèles de langage tels que GPT-4 ont tendance à générer des informations juridiques erronées et ne doivent pas être utilisés comme source fiable lors de litiges, selon de nouvelles recherches. L’année dernière, lorsque OpenAI a montré que GPT-4 était capable de réussir l’examen du Barreau, cela a été considéré comme une avancée majeure en intelligence artificielle et a amené certaines personnes à se demander si cette technologie pouvait bientôt remplacer les avocats. Certains espéraient que ces modèles pourraient permettre aux personnes qui ne peuvent pas se payer un avocat coûteux de poursuivre une action en justice, rendant ainsi l’accès à une aide juridique plus équitable. La réalité, cependant, est que même les grands modèles de langage ne parviennent pas à aider efficacement les avocats professionnels, selon une récente étude. La plus grande préoccupation est que l’intelligence artificielle produit souvent de fausses informations, ce qui pose un énorme problème, en particulier dans une industrie qui repose sur des preuves factuelles. Une équipe de chercheurs des universités de Yale et Stanford, qui analysait les taux d’hallucination dans les grands modèles de langage populaires, a constaté qu’ils ne parviennent souvent pas à récupérer ou à générer des informations juridiques pertinentes de manière précise, ni à comprendre et à raisonner sur différentes lois. En fait, GPT-3.5 d’OpenAI, qui alimente actuellement la version gratuite de ChatGPT, a généré des hallucinations environ 69% du temps lorsqu’il a été testé sur différentes tâches. Les résultats étaient encore pires pour PaLM-2, le système qui était auparavant utilisé par le chatbot Bard de Google, et pour Llama 2, le grand modèle de langage développé par Meta, qui ont généré respectivement des faussetés à des taux de 72% et 88%. Sans surprise, les modèles ont du mal à accomplir des tâches plus complexes par rapport à des tâches plus simples. Demander à l’intelligence artificielle de comparer différents cas et de déterminer si elles sont d’accord sur une question, par exemple, est difficile, et elle est plus susceptible de générer des informations erronées que lorsqu’elle est confrontée à une tâche plus simple, comme vérifier devant quel tribunal une affaire a été déposée.