L’IA fournit des réponses de meilleure qualité et est plus empathique que les vrais médecins, selon une étude.
Une étude de l’Université de Californie à San Diego a comparé les réponses écrites des médecins et celles de ChatGPT aux questions de santé réelles pour voir lesquelles sont arrivées en tête.
Un panel de professionnels de la santé a préféré les réponses de ChatGPT 79 % du temps et les a jugées de meilleure qualité en termes d’informations fournies et de meilleure compréhension. Le panel ne savait pas qui était quoi.
ChatGPT a récemment fait sensation dans la communauté médicale après avoir été jugé capable de réussir l’examen de référence requis pour pratiquer la médecine aux États-Unis, ce qui laisse entrevoir la possibilité qu’il puisse un jour remplacer les médecins humains.

Un panel de trois médecins a examiné chaque échange et ne savait pas lequel était écrit par un médecin et lequel était écrit par AI. Ils ont ensuite noté les réponses

Graphiques montrant comment le panel de médecins a évalué les réponses des médecins par rapport aux réponses de ChatGPT aux questions des patients, en fonction de la qualité à gauche et de l’empathie à droite
Jessica Kelley, infirmière praticienne de la société Human Longevity de San Diego et co-auteur de l’étude, a déclaré: “Les messages ChatGPT ont répondu avec des informations nuancées et précises qui abordaient souvent plus d’aspects des questions du patient que les réponses des médecins.”
L’équipe de recherche de l’Université de Californie à San Diego s’est tournée vers le forum AskDocs de Reddit, où environ 452 000 membres publient des problèmes médicaux et des professionnels de la santé vérifiés proposent des suggestions.
N’importe qui peut répondre à une question sur le forum, mais les modérateurs vérifient les références du professionnel de la santé et les réponses affichent le niveau d’expertise du répondant.
Bien que les échanges de questions-réponses sur les réseaux sociaux ne soient pas la manière traditionnelle dont un patient parle à un médecin, le panel a déclaré que les conversations reflétaient leur expérience clinique.
L’équipe de recherche de l’UC San Diego a choisi au hasard 195 échanges d’AskDocs où un médecin vérifié avait répondu à une question publique.
L’équipe a posé la question initiale à ChatGPT et lui a demandé d’écrire une réponse.
Un panel de trois médecins a examiné chaque échange et ne savait pas lequel était écrit par un médecin et lequel était écrit par AI.
L’une des questions du patient était la suivante : “Question sur le risque de devenir aveugle suite à des éclaboussures d’eau de Javel dans un œil, entraînant une irritation et une sécheresse oculaire.”
La réponse du médecin a été : ‘On dirait que tout ira bien. Vous devez rincer l’œil chaque fois que vous avez un produit chimique ou un corps étranger dans l’œil. Vous pouvez également contacter le centre antipoison au 1-800-222-1222.’
La réponse de ChatGPT se lit comme suit : “Je suis désolé d’apprendre que vous avez des éclaboussures d’eau de javel dans les yeux. Il est important de rincer l’œil dès que possible après une éclaboussure de produit chimique pour éliminer autant de produit chimique que possible et éviter d’autres irritations ou dommages.
« Si vous ne l’avez pas déjà fait, vous devez vous rincer l’œil avec de l’eau propre ou une solution saline dès que possible. Vous pouvez le faire en gardant votre œil ouvert et en dirigeant un léger jet d’eau sur votre œil du coin interne vers le coin externe pendant au moins 15 minutes. Si vous n’avez pas accès à de l’eau, vous pouvez utiliser une solution saline ou des larmes artificielles pour rincer l’œil.
«Si vous ressentez une douleur importante, des rougeurs ou des changements de vision, ou si vous ne parvenez pas à vous rincer les yeux correctement, vous devez consulter immédiatement un médecin. Cependant, si votre œil est simplement irrité et sec, vous pouvez peut-être le traiter à la maison en utilisant des larmes artificielles ou une pommade oculaire lubrifiante pour garder l’œil humide et confortable.
“Il est peu probable que vous deveniez aveugle après avoir reçu des éclaboussures d’eau de Javel dans vos yeux, mais il est important de prendre soin de vos yeux et de consulter un médecin si nécessaire pour éviter toute irritation ou dommage supplémentaire.”
Les trois panélistes ont préféré la réponse de ChatGPT. Ils lui ont attribué une note de qualité moyenne de quatre et une note d’empathie moyenne de 4,67. Ils ont noté la réponse du médecin 3,33 pour la qualité et 2,33 pour l’empathie.
Les réponses de bonne ou très bonne qualité étaient 3,6 fois plus élevées pour le chatbot que pour les médecins et les réponses empathiques étaient 9,8 fois plus élevées.
Le professeur James Davenport, professeur de technologie de l’information à Hébron et Medlock, Université de Bath, Royaume-Uni, a déclaré: “A la fois ici et dans l’ensemble de la base de données, les réponses ChatGPT étaient, en moyenne, quatre fois plus longues que celles des médecins”.
«Il est indiqué que les évaluateurs (tous des médecins) ont reçu les deux réponses en aveugle, ne sachant pas lequel était le médecin et lequel était le ChatGPT. C’était probablement vrai formellement, mais la longueur et le style l’ont sûrement rendu évident dans la pratique.
“Au moins dans les six [example exchanges] étant donné, les médecins n’ont fait aucune tentative d’être empathiques, sachant que leurs réponses étaient publiques, tandis que ChatGPT vise une conversation 1: 1. Donc en termes d’empathie, c’est loin d’être une comparaison de niveau. Cela aurait pu être rendu plus explicite.
Il a ajouté: «Le document ne dit pas que ChatGPT peut remplacer les médecins, mais appelle, tout à fait légitimement, à des recherches supplémentaires pour savoir si et comment ChatGPT peut aider les médecins à générer des réponses.
“Comme il le souligne,” les équipes de cliniciens s’appuient souvent sur des réponses prédéfinies “, et un perroquet stochastique comme ChatGPT a un éventail de réponses beaucoup plus large que même la plus grande bibliothèque de réponses prédéfinies.”