‘ChatGPT échoue les tests de diagnostic des cas médicaux chez les enfants avec un taux d’erreur de 83%’

ChatGPT n’est toujours pas House, MD. Alors que ce bot d’IA bavard a précédemment déçu avec ses tentatives de diagnostiquer des cas médicaux complexes – avec un taux de précision de 39% dans une analyse l’année dernière -, une étude publiée cette semaine dans JAMA Pediatrics suggère que la quatrième version de ce modèle de langue performant est particulièrement mauvaise avec les enfants. Elle n’a obtenu qu’un taux de précision de seulement 17% lors du diagnostic de cas médicaux pédiatriques. Ce faible taux de réussite suggère que les pédiatres humains ne perdront pas leur emploi de sitôt, au cas où cela serait une inquiétude. Comme le soulignent les auteurs : « [C]ette étude met en évidence le rôle inestimable que joue l’expérience clinique. » Cependant, elle identifie également les faiblesses critiques qui ont conduit à un taux d’erreur élevé pour ChatGPT, ainsi que des moyens de le transformer en un outil utile dans les soins cliniques. Avec autant d’intérêt et d’expérimentation dans les chatbots d’IA, de nombreux pédiatres et autres médecins considèrent leur intégration dans les soins cliniques comme inévitable. Le domaine médical a généralement été un précurseur des technologies alimentées par l’IA, ce qui a entraîné des échecs notables, tels que la création de biais raciaux algorithmiques, ainsi que des succès, tels que l’automatisation des tâches administratives et l’aide à l’interprétation des scanners thoraciques et des images rétiniennes. Il y a aussi un terrain intermédiaire. Mais le potentiel de l’IA pour résoudre des problèmes suscite un intérêt considérable pour en faire un outil utile dans le domaine du diagnostic complexe – sans qu’il soit nécessaire d’avoir une personnalité excentrique, difficile et dépendante de médicaments. Dans la nouvelle étude menée par des chercheurs du Cohen Children’s Medical Center de New York, ChatGPT-4 a montré qu’il n’est pas encore prêt pour les diagnostics pédiatriques. Les cas pédiatriques nécessitent davantage de prise en compte de l’âge du patient, notent les chercheurs. Et comme tout parent le sait, il est particulièrement difficile de diagnostiquer des problèmes chez les nourrissons et les jeunes enfants lorsqu’ils ne peuvent pas identifier ou exprimer tous les symptômes qu’ils ressentent.