Les grands modèles linguistiques haut de gamme ont du mal à formuler des arguments juridiques précis.

Entretien Si vous pensez que l’IA générative a automatiquement sa place dans le domaine du droit, réfléchissez à nouveau. Les meilleurs modèles de langage de grande taille ont tendance à générer des informations juridiques inexactes et ne devraient pas être considérés comme fiables pour les litiges, comme l’a montré une récente recherche. L’année dernière, lorsque OpenAI a montré que GPT-4 était capable de réussir l’examen du barreau, cela a été salué comme une avancée dans le domaine de l’IA et a poussé certaines personnes à se demander si la technologie pourrait bientôt remplacer les avocats. Certains espéraient que ce type de modèle pourrait permettre aux personnes qui ne peuvent pas se permettre des avocats coûteux de poursuivre leur quête de justice juridique, rendant ainsi l’accès à une aide juridique plus équitable. La réalité, cependant, est que les modèles de langage de grande taille ne peuvent même pas aider efficacement les avocats professionnels, selon une étude récente. La plus grande préoccupation est que l’IA produit souvent de fausses informations, ce qui pose un énorme problème, en particulier dans une industrie qui repose sur des preuves factuelles. Une équipe de chercheurs de l’Université de Yale et de l’Université Stanford, qui a analysé les taux d’hallucination dans les modèles de langage de grande taille populaires, a découvert qu’ils ne récupèrent pas ou ne génèrent pas souvent de manière précise des informations juridiques pertinentes, et qu’ils ne comprennent pas et ne raisonnent pas correctement sur les différentes lois. En réalité, GPT-3.5 d’OpenAI, qui alimente actuellement la version gratuite de ChatGPT, hallucine environ 69 pour cent du temps lorsqu’il est testé sur différentes tâches. Les résultats étaient encore pires pour PaLM-2, le système qui était précédemment derrière le chatbot Bard de Google, et Llama 2, le modèle de langage de grande taille publié par Meta, qui généraient des faussetés respectivement à des taux de 72 pour cent et de 88 pour cent.