Les tests de ChatGPT sur la détection des cas médicaux chez les enfants ont un taux d’erreur de 83%.

ChatGPT n’est toujours pas House, MD. Bien que le bot de conversation en intelligence artificielle ait auparavant déçu ses tentatives de diagnostiquer des cas médicaux difficiles – avec un taux de réussite de 39% dans une analyse l’année dernière -, une étude publiée cette semaine dans JAMA Pediatrics suggère que la quatrième version du grand modèle de langage est particulièrement mauvaise avec les enfants. Sa taux de réussite était de seulement 17% lorsqu’elle diagnostiquait des cas médicaux pédiatriques. Le faible taux de réussite suggère que les pédiatres humains ne seront pas hors emploi dans un avenir proche, au cas où cela serait une préoccupation. Comme l’écrivent les auteurs: «[Cette étude] souligne le rôle inestimable que l’expérience clinique joue». Mais elle identifie également les faiblesses critiques qui ont conduit au taux d’erreur élevé de ChatGPT et les moyens de le transformer en un outil utile dans les soins cliniques. Avec un tel intérêt et une telle expérimentation avec les bots de chat en intelligence artificielle, de nombreux pédiatres et autres médecins voient leur intégration aux soins cliniques comme inévitable. Le domaine médical a généralement été un des premiers à adopter les technologies alimentées par l’IA, ce qui a entraîné quelques échecs notables, comme la création d’une biais raciste algorithmique, ainsi que des succès, comme l’automatisation des tâches administratives et l’aide à interpréter les clichés thoraciques et les images rétiniennes. Il y a aussi beaucoup entre les deux. Mais le potentiel de l’IA en matière de résolution de problèmes a suscité un vif intérêt pour son développement en tant qu’outil utile pour les diagnostics complexes – aucun génie médical excentrique, pointilleux et pillant exigé. Dans la nouvelle étude réalisée par des chercheurs du Cohen Children’s Medical Center de New York, ChatGPT-4 a montré qu’il n’était pas encore prêt pour les diagnostics pédiatriques. Comparés aux cas généraux, les cas pédiatriques nécessitent une plus grande considération de l’âge du patient, soulignent les chercheurs. Et comme le sait tout parent, diagnostiquer des conditions chez les nourrissons et les jeunes enfants est particulièrement difficile lorsqu’ils ne peuvent pas repérer ou articuler tous les symptômes qu’ils ressentent.