Les grands modèles de langage de premier plan ont du mal à formuler des arguments juridiques précis.

Interview Si vous pensez que l’IA générative a automatiquement sa place dans le domaine du droit, réfléchissez à nouveau. Les grands modèles de langage ont tendance à générer des informations juridiques inexactes et il ne faut pas compter sur eux pour les litiges, selon une nouvelle recherche. L’année dernière, lorsque OpenAI a montré que le GPT-4 était capable de réussir l’examen du barreau, on l’a salué comme une avancée en matière d’IA et cela a amené certaines personnes à se demander si la technologie pourrait bientôt remplacer les avocats. Certains espéraient que ce type de modèle pourrait donner du pouvoir aux personnes qui ne peuvent pas se permettre de solliciter des avocats coûteux pour obtenir justice, rendant ainsi l’accès à l’aide juridique plus équitable. La réalité, cependant, est que les grands modèles de langage ne peuvent même pas aider efficacement les avocats professionnels, selon une étude récente. La plus grande préoccupation est que l’IA fabrique souvent de fausses informations, ce qui pose un énorme problème, en particulier dans une industrie qui repose sur des preuves factuelles. Une équipe de chercheurs de l’université de Yale et de l’université Stanford, analysant les taux d’hallucination dans les grands modèles de langage populaires, a constaté qu’ils ne récupèrent souvent pas correctement ou ne génèrent pas d’informations juridiques pertinentes, ou ne comprennent pas et ne raisonnent pas sur les différentes lois. En fait, le GPT-3.5 d’OpenAI, qui alimente actuellement la version gratuite de ChatGPT, hallucine environ 69% du temps lorsqu’il est testé sur différentes tâches. Les résultats étaient encore pires pour PaLM-2, le système qui était auparavant derrière le chatbot Bard de Google, et Llama 2, le grand modèle de langage publié par Meta, qui a généré des contrevérités à des taux de 72% et de 88%, respectivement.