ChatGPT marque des points en matière de connaissance et... en empathie
ChatGPT a fait son apparition sur internet en novembre dernier. Le système, gratuit, a attiré cent millions d'abonnés dès les deux premiers mois. Le phénomène a déclenché une avalanche de commentaires sur le web, y compris dans les milieux médicaux et scientifiques.
Si vous demandez à un ingénieur de vous décrire ChatGPT, vous serez vite noyé dans un jargon incompréhensible pour la plupart des prestataires de soins. Employons donc plutôt la description qu'on peut lire sur un site d'actualités médicales (en traduction libre): " ChatGPT est un chatbot contrôlé par une intelligence artificielle et capable d'imiter une conversation entre humains. "
Nous effectuons un test et tapons une question au hasard: " Pourquoi les mitochondries ne sont-elles transmises que par la mère? " En l'espace d'une vingtaine de secondes, ChatGPT génère une synthèse d'à peu près une page dactylographiée, qui correspond à ce qu'on peut lire dans les articles issus d'une recherche Google - c'est du moins la perception d'un utilisateur qui ne s'occupe pas de mitochondries tous les jours.
Lorsqu'une machine peut réaliser pareille performance, certains ont tendance à chercher ses points faibles - c'est humain. Et ces faiblesses existent. ChatGPT semble parfois avancer n'importe quoi. Interrogé sur une critique d'un livre récent (question posée le 19 mai dernier), ChatGPT a humblement répondu que ses connaissances ne dépassaient pas 2021. On est donc en droit de s'interroger sur l'actualité des informations fournies. Quoi qu'il en soit, en tant que profanes, nous pouvons supposer, dans notre insouciance ignorante, que les mises à jour sont anecdotiques en regard du potentiel époustouflant de ce système.
Etude en aveugle
Vous avez dit " imiter une conversation entre humains "? Une équipe de médecins et d'informaticiens s'est penchée sur la question. Les chercheurs ont repris 195 questions relatives à la santé, posées par des utilisateurs en décembre 2022 sur la plateforme Reddit's r/AskDocs et les réponses écrites d'un médecin. Ils ont ensuite soumis ces 195 questions à ChatGPT. Les réponses du médecin et de ChatGPT ont été présentées en aveugle et dans un ordre aléatoire à un panel de prestataires de soins de santé. Celui-ci a évalué la qualité et l'empathie des informations sur une échelle de cinq points. Résultat: ChatGPT a obtenu des résultats significativement meilleurs que ceux du médecin correspondant, tant en termes de qualité que d'empathie (avec un p < 0,001 dans chaque cas). Le pourcentage de notes élevées (4 ou 5) était significativement plus élevé pour le chatbot que pour le médecin, tant pour la qualité (78,5% contre 22,1%) que pour l'empathie (45,1% contre 4,6%).
C'est une bonne nouvelle: cela signifie qu'à terme, des systèmes comme ChatGPT pourraient éventuellement être utilisés dans la pratique quotidienne pour répondre aux questions des patients pendant que le prestataire de soins de santé s'occupe d'activités plus complexes. Il suffirait que ce dernier relise brièvement les réponses.
News Medical - What does ChatGPT
mean for Healthcare?
JAMA Intern Med. Published online April 28, 2023.
ChatGPT peut être moflé
Si ChatGPT traite bien les demandes des patients, le système devra encore accomplir des progrès pour communiquer des informations exactes aux professionnels de la santé.
Une équipe de gastro-entérologues en a fait l'expérience. Elle a copié dans la fenêtre de ChatGPT les questions de l'American College of Gastroenterology Self-Assessment Test (à l'exception de celles qui nécessitaient l'évaluation d'images). " On peut raisonnablement s'attendre à ce qu'un médecin obtienne 99%, ou au moins 95%, à ce test ", a déclaré Arvind Trindade, coauteur de l'étude, à la presse. Le seuil de réussite est de 70%. ChatGPT a obtenu des scores de 65% (version 3 du chatbot) et de 95% (version 4). Toutes les réponses relatives au diagnostic et au traitement médicamenteux étaient erronées.
Les auteurs de l'étude sont conscients des performances de ChatGPT en matière de communication sur la santé auprès du grand public. Ils attribuent ses faibles résultats dans le contexte professionnel à son manque d'accès à la littérature, qui n'est consultable que moyennant paiement. Arvind Trindade a été intrigué par ChatGPT en voyant des gastro-entérologues en formation interroger le système. Pour l'instant, il ne semble pas que ce soit une bonne idée d'étudier de cette manière. Le gastro-entérologue américain n'exclut toutefois pas que ChatGPT puisse encore prouver son utilité en tant qu'outil pédagogique une fois que le robot aura accès à des informations plus fiables.
Medscape - ChatGPT Bot Flunks Gastroenterology Exam