Le logiciel ChatGPT a presque réussi un examen de médecine américain

Le robot conversationnel ChatGPT, qui génère des textes grâce à l'intelligence artificielle, a obtenu une note s'approchant de celle requise pour réussir un difficile examen de médecine aux États-Unis, selon une étude publiée jeudi.

Une étude publiée dans la revue PLOS Digital Health par une équipe de recherche de l'entreprise AnsibleHealth a mis à l’épreuve les performances du logiciel au moyen d'un examen de médecine aux États-Unis. Les élèves qui passent le test se font évaluer dans divers domaines, allant des connaissances scientifiques au raisonnement clinique.

Cet examen, du nom d'United States Medical Licensing Examination (USMLE), est divisé en trois parties : la première, passée après environ deux ans d'études, la deuxième au bout de quatre ans, et la troisième étant requise pour devenir médecin.

ChatGPT a été testé sur 350 des 376 questions publiées sur le site de l'USMLE et ayant fait partie de l'examen de juin 2022. Les questions s'appuyant sur des images ont dû être retirées.

Elles étaient présentées sous trois formats, soit des questions ouvertes (Que serait le diagnostic pour cette personne compte tenu des informations présentées?), des questions à choix multiples sans justification (Quelle est la prochaine étape de suivi la plus appropriée parmi les suivantes?), et des choix multiples avec justification (« Quelle est la raison la plus probable pour les symptômes nocturnes de la personne patiente? Expliquez votre raisonnement. »).

Deux personnes ont noté le travail, et une troisième a tranché les écarts entre eux.

Des résultats encourageants

Le logiciel a obtenu des notes situées entre 52,4 % et 75 %. Généralement, le score nécessaire pour réussir l'examen est de 60 %.

ChatGPT s'approche de la marge de réussite, conclut l'étude.

Des spécialistes de l’externe ont critiqué la méthode utilisée par l’équipe de recherche, jugeant qu’elle aurait pu introduire un certain degré d'anonymisation en mélangeant des réponses d'êtres humains à celles du robot. C’est du moins ce qu’a estimé Nello Cristianini, professeur en intelligence artificielle (IA) à l'Université de Bath, au Royaume-Uni.

Il a malgré tout qualifié ces travaux comme faisant partie d'une série de nouveaux développements enthousiasmants dans le domaine de l'IA.

Selon Lucia Ortiz de Zarate, chercheuse à l'Université autonome de Madrid, cette étude montre le potentiel de l'IA dans le domaine médical. « [Le logiciel] peut se révéler d'une grande aide pour les médecins lorsque vient le temps de formuler des diagnostics et prescrire des traitements », croit-elle.

À la fin de janvier, une autre étude avait montré que ChatGPT pouvait réussir les examens d'une université de droit américaine. Le robot conversationnel avait toutefois obtenu parmi les moins bons résultats de la classe.