Une étude de Harvard publiée dans Science : OpenAI o1 a un taux de diagnostic d'urgence correct de 67 %, surpassant deux médecins humains

L’équipe conjointe de la Harvard Medical School et du Beth Israel Deaconess Medical Center a publié une étude dans la revue Science, utilisant un échantillon de 76 patients en urgence pour tester la capacité de décision diagnostique du modèle OpenAI o1. Les résultats montrent que la précision de o1 atteint 67 %, nettement supérieure aux 55 % et 50 % des deux médecins généralistes. Cependant, les chercheurs ont simultanément lancé un avertissement important : le groupe de contrôle n’était pas composé de médecins urgentistes, et l’étude ne prétend pas que l’IA puisse prendre des décisions de vie ou de mort en contexte réel.
(Précédemment : étude de l’Université de Californie sur le phénomène de « brouillard IA » : 14 % des salariés sont stressés par les agents et l’automatisation, 40 % envisagent de quitter leur emploi)
(Contexte supplémentaire : l’auteur de Sapiens : l’IA devient une menace, elle s’attaque au système opérationnel de la civilisation humaine ! Comme l’arme nucléaire)

Une étude de la Harvard Medical School, discrètement publiée dans la revue de renom Science, fait passer la discussion sur l’IA médicale d’un simple démo à une étape de recherche clinique formelle.

Cette recherche, menée conjointement par Harvard et le Beth Israel Deaconess Medical Center, a utilisé les dossiers de 76 patients en situation d’urgence réelle comme échantillon de test, en faisant diagnostiquer chaque cas par OpenAI o1, GPT-4o, et deux médecins généralistes. La norme d’évaluation était : le pourcentage de diagnostics « précis ou très proches de la vérité ».

Le chiffre final a surpris beaucoup : o1 affiche une précision de 67 %, contre 55 % et 50 % pour les deux médecins humains. GPT-4o a également été inclus en tant que contrôle, mais ses performances étaient inférieures à celles d’o1.

Qu’est-ce qui distingue particulièrement o1 ?

Les chercheurs soulignent que la différence la plus marquée entre o1 et les médecins humains apparaît lors de la phase de « triage initial » — c’est-à-dire au tout début de l’arrivée du patient aux urgences, quand l’information est la plus limitée et l’incertitude la plus grande.

Dans ce contexte, o1 doit synthétiser le motif principal, les symptômes, et les signes vitaux décrits en texte pour proposer une première orientation diagnostique. Cela correspond précisément à la force des grands modèles de langage : la reconnaissance de motifs dans du texte structuré, l’intégration rapide de connaissances inter-disciplinaires, et la capacité à fournir une raisonnement cohérent même avec des informations incomplètes.

Bien que GPT-4o ait également été testé en tant que contrôle, ses performances sous les mêmes conditions étaient moins stables que celles d’o1, avec une différence de performance relativement faible avec les médecins. Les chercheurs pensent que cela est directement lié à la structure de raisonnement plus avancée d’o1.

En termes de signification, cette étude ne se limite pas à une victoire sur un benchmark — les échantillons proviennent de dossiers réels d’urgence, et non de tests artificiels, ce qui confère à ces chiffres une certaine valeur clinique de référence.

Ne vous laissez pas emporter par les gros titres : trois prérequis essentiels à connaître

Avant que cette étude ne suscite un débat large, il y a trois points à clarifier calmement.

Premier, le groupe de contrôle n’est pas composé de médecins urgentistes. Les deux médecins comparés sont des « médecins généralistes », et non des urgentistes formés spécifiquement en médecine d’urgence. La difficulté centrale du diagnostic en urgence réside dans la prise de décision en situation de haute pression, multitâche, avec des informations fragmentées ; dans ce contexte, un médecin généraliste n’est pas la référence la plus pertinente — le cadre de comparaison de l’étude peut donc être contesté.

Deuxième, il s’agit d’un « triage textuel », pas d’une véritable situation d’urgence multimodale. Le chef de l’étude précise : « Il ne s’agit que d’un triage basé sur du texte, pas d’une vraie situation multimodale en urgence. » La réalité des urgences inclut l’interprétation d’images, l’observation physique, la communication sur place, et des interventions d’urgence — autant de domaines où les grands modèles de langage ne peuvent pas encore intervenir.

Troisièmement, l’équipe de recherche ne revendique pas que l’IA puisse prendre des décisions de vie ou de mort. Lors de la publication, ils ont souligné les limites de leur étude, et n’ont pas suggéré d’appliquer directement l’IA pour le diagnostic clinique.

D’un point de vue opérationnel : cette étude représente effectivement une étape technologique importante — dans la voie du « diagnostic textuel structuré », l’IA a désormais la capacité de surpasser certains médecins humains dans des contextes spécifiques. Mais entre la « précision en laboratoire » et la « déploiement en pratique clinique », il reste encore des obstacles réglementaires, la gestion de la responsabilité en cas d’erreur, l’intégration dans les systèmes hospitaliers, et — le plus difficile — la question de la responsabilité en cas d’erreur. La barrière technologique est peut-être franchie, mais la mise en œuvre concrète de l’IA médicale ne fait que commencer.