L’intelligence artificielle prédit la course des patients à partir de leurs images médicales
La mauvaise éducation des algorithmes est un problème critique ; lorsque l’intelligence artificielle reflète les pensées inconscientes, le racisme et les préjugés des humains qui ont généré ces algorithmes, cela peut entraîner de graves dommages. Les programmes informatiques, par exemple, ont signalé à tort que les accusés noirs étaient deux fois plus susceptibles de récidiver que quelqu’un de blanc. Lorsqu’une IA utilisait le coût comme indicateur des besoins de santé, elle désignait à tort les patients noirs comme étant en meilleure santé que les blancs tout aussi malades, car moins d’argent était dépensé pour eux.
Supprimer les fonctionnalités sensibles des données semble être un ajustement viable. Mais que se passe-t-il quand ce n’est pas assez ?
Les exemples de biais dans le traitement du langage naturel sont innombrables, mais les scientifiques du MIT ont étudié une autre modalité importante et largement sous-explorée : les images médicales. En utilisant des ensembles de données privés et publics, l’équipe a découvert que l’IA peut prédire avec précision la race autodéclarée des patients à partir des seules images médicales. À l’aide de données d’imagerie de radiographies pulmonaires, de radiographies des membres, de tomodensitogrammes pulmonaires et de mammographies, l’équipe a formé un modèle d’apprentissage en profondeur pour identifier la race comme étant blanche, noire ou asiatique, même si les images elles-mêmes ne contenaient aucune mention explicite des patients. course. C’est un exploit que même les médecins les plus expérimentés ne peuvent pas faire, et on ne sait pas comment le modèle a pu le faire.
Dans une tentative de démêler et de donner un sens à l’énigmatique comment de tout cela, les chercheurs ont mené une multitude d’expériences. Pour étudier les mécanismes possibles de détection de la race, ils ont examiné des variables telles que les différences d’anatomie, la densité osseuse, la résolution des images et bien d’autres, et les modèles prévalaient toujours avec une grande capacité à détecter la race à partir des radiographies pulmonaires. Ces résultats étaient initialement déroutants, car les membres de notre équipe de recherche ne pouvaient pas se rapprocher de l’identification d’un bon proxy pour cette tâche, explique le co-auteur de l’article, Marzyeh Ghassemi, professeur adjoint au département de génie électrique et informatique du MIT et au Institute for Medical Engineering and Science (IMES), qui est affilié au Laboratoire d’informatique et d’intelligence artificielle (CSAIL) et à la MIT Jameel Clinic. Même lorsque vous filtrez des images médicales là où elles sont reconnaissables en tant qu’images médicales, les modèles profonds conservent des performances très élevées. C’est préoccupant parce que les capacités surhumaines sont généralement beaucoup plus difficiles à contrôler, à réguler et à empêcher de nuire aux gens.
Dans un contexte clinique, les algorithmes peuvent nous aider à savoir si un patient est candidat à la chimiothérapie, à dicter le triage des patients ou à décider si un déplacement vers l’USI est nécessaire. Nous pensons que les algorithmes ne s’intéressent qu’aux signes vitaux ou aux tests de laboratoire, mais il est possible qu’ils examinent également votre race, votre origine ethnique, votre sexe, que vous soyez incarcéré ou non, même si toutes ces informations sont cachées, déclare le co-auteur de l’article. Leo Anthony Celi, chercheur principal à l’IMES au MIT et professeur agrégé de médecine à la Harvard Medical School. Ce n’est pas parce que vous avez une représentation de différents groupes dans vos algorithmes qu’ils ne perpétueront pas ou n’amplifieront pas les disparités et les inégalités existantes. Nourrir les algorithmes avec plus de données avec représentation n’est pas une panacée. Ce document devrait nous faire réfléchir et nous demander si nous sommes prêts à amener l’IA au chevet du patient.
L’étude, Reconnaissance par l’IA de la race des patients en imagerie médicale : une étude de modélisation, a été publiée dans Lancet Santé numérique le 11 mai. Celi et Ghassemi ont écrit l’article aux côtés de 20 autres auteurs dans quatre pays.
Pour mettre en place les tests, les scientifiques ont d’abord montré que les modèles étaient capables de prédire la race sur plusieurs modalités d’imagerie, divers ensembles de données et diverses tâches cliniques, ainsi que sur une gamme de centres universitaires et de populations de patients aux États-Unis. Ils ont utilisé trois grands ensembles de données de radiographie pulmonaire et testé le modèle sur un sous-ensemble invisible de l’ensemble de données utilisé pour former le modèle et un autre complètement différent. Ensuite, ils ont formé les modèles de détection d’identité raciale pour les images radiographiques autres que thoraciques provenant de plusieurs endroits du corps, y compris la radiographie numérique, la mammographie, les radiographies latérales de la colonne cervicale et les tomodensitogrammes thoraciques pour voir si les performances des modèles se limitaient aux radiographies thoraciques.
L’équipe a couvert de nombreuses bases pour tenter d’expliquer le comportement des modèles : différences de caractéristiques physiques entre les différents groupes raciaux (habitus corporel, densité mammaire), distribution des maladies (des études antérieures ont montré que les patients noirs ont une incidence plus élevée de problèmes de santé comme les maladies cardiaques). ), les différences spécifiques à l’emplacement ou aux tissus, les effets des préjugés sociétaux et du stress environnemental, la capacité des systèmes d’apprentissage en profondeur à détecter la race lorsque plusieurs facteurs démographiques et liés au patient étaient combinés, et si des régions d’image spécifiques contribuaient à reconnaître la race.
Ce qui en est ressorti était vraiment stupéfiant : la capacité des modèles à prédire la race à partir des seules étiquettes de diagnostic était bien inférieure à celle des modèles basés sur l’image radiographique du thorax.
Par exemple, le test de densité osseuse utilisait des images où la partie la plus épaisse de l’os apparaissait blanche et la partie la plus fine apparaissait plus grise ou translucide. Les scientifiques ont supposé que, puisque les Noirs avaient généralement une densité minérale osseuse plus élevée, les différences de couleur aidaient les modèles d’IA à détecter la race. Pour couper cela, ils ont coupé les images avec un filtre, de sorte que le modèle ne pouvait pas différencier les couleurs. Il s’est avéré que couper l’approvisionnement en couleurs n’a pas perturbé le modèle, il pouvait toujours prédire avec précision les courses. (La valeur de l’aire sous la courbe, c’est-à-dire la mesure de la précision d’un test de diagnostic quantitatif, était de 0,940,96). En tant que telles, les caractéristiques apprises du modèle semblaient reposer sur toutes les régions de l’image, ce qui signifie que le contrôle de ce type de comportement algorithmique présente un problème compliqué et difficile.
Les scientifiques reconnaissent la disponibilité limitée des étiquettes d’identité raciale, ce qui les a amenés à se concentrer sur les populations asiatiques, noires et blanches, et que leur vérité de terrain était un détail autodéclaré. D’autres travaux à venir incluront potentiellement la possibilité d’isoler différents signaux avant la reconstruction de l’image, car, comme pour les expériences de densité osseuse, ils ne pourraient pas tenir compte du tissu osseux résiduel qui se trouvait sur les images.
Notamment, d’autres travaux de Ghassemi et Celi dirigés par l’étudiant du MIT Hammaad Adam ont découvert que les modèles peuvent également identifier la race autodéclarée par les patients à partir de notes cliniques, même lorsque ces notes sont dépourvues d’indicateurs explicites de race. Tout comme dans ce travail, les experts humains ne sont pas en mesure de prédire avec précision la race des patients à partir des mêmes notes cliniques expurgées.
Nous devons faire intervenir les spécialistes des sciences sociales. Les experts du domaine, qui sont généralement les cliniciens, les praticiens de la santé publique, les informaticiens et les ingénieurs, ne suffisent pas. Les soins de santé sont autant un problème socioculturel qu’un problème médical. Nous avons besoin d’un autre groupe d’experts pour peser et fournir des commentaires et des commentaires sur la façon dont nous concevons, développons, déployons et évaluons ces algorithmes, explique Celi. Il faut aussi demander aux data scientists, avant toute exploration des données, s’il y a des disparités ? Quels groupes de patients sont marginalisés ? Quels sont les moteurs de ces disparités ? Est-ce l’accès aux soins ? Est-ce de la subjectivité des soignants ? Si nous ne comprenons pas cela, nous n’aurons aucune chance d’être en mesure d’identifier les conséquences involontaires des algorithmes, et il n’y a aucun moyen de protéger les algorithmes contre la perpétuation des biais.
Le fait que les algorithmes « voient » la race, comme le documentent de manière convaincante les auteurs, peut être dangereux. Mais un fait important et connexe est que, lorsqu’ils sont utilisés avec précaution, les algorithmes peuvent également fonctionner pour contrer les biais, explique Ziad Obermeyer, professeur agrégé à l’Université de Californie à Berkeley, dont les recherches portent sur l’IA appliquée à la santé. Dans notre propre travail, dirigé par l’informaticienne Emma Pierson de Cornell, nous montrons que les algorithmes qui apprennent des expériences de douleur des patients peuvent trouver de nouvelles sources de douleur au genou dans les rayons X qui affectent de manière disproportionnée les patients noirs et sont manqués de manière disproportionnée par les radiologues. Ainsi, comme tout outil, les algorithmes peuvent être une force du mal ou une force du bien dont on dépend, et des choix que nous faisons lorsque nous construisons des algorithmes.
Le travail est soutenu, en partie, par les National Institutes of Health.