Comment comprendre et corriger les biais dans les outils de santé activés par l’intelligence artificielle

Avec l’aimable autorisation de Christina Silcox

Les outils médicaux activés par l’intelligence artificielle (IA) peuvent grandement améliorer les soins de santé en aidant à résoudre les problèmes, à automatiser les tâches et à identifier les modèles. L’IA peut faciliter les diagnostics, prédire le risque que les patients développent certaines maladies et aider à déterminer les communautés qui ont le plus besoin de soins préventifs. Mais les produits d’IA peuvent également reproduire et pire encore, exacerber les biais et les disparités existants dans les soins aux patients et les résultats de santé. Pour atténuer ces biais, il faut d’abord comprendre d’où ils viennent.

Christina Silcox, Ph.D., directrice de recherche pour la santé numérique au Duke-Margolis Center for Health Policy, et son équipe ont identifié quatre sources de biais d’IA et des moyens de les atténuer dans un récent rapport financé par The Pew Charitable Trusts. Elle a parlé avec Pew des résultats.

Cette interview avec Silcox a été éditée pour plus de clarté et de longueur.

Comment les biais de l’IA affectent-ils les soins de santé ?

Les outils d’IA ne doivent pas être biaisés. Mais si nous ne prêtons pas une attention particulière, nous enseignons à ces outils de refléter les préjugés existants chez les humains et les soins de santé, ce qui conduit à la poursuite ou à l’aggravation des inégalités en matière de santé. C’est particulièrement préoccupant si cela se produit dans des groupes qui ont historiquement reçu des soins médiocres, tels que ceux qui ont été touchés par le racisme structurel et les disparités institutionnalisées comme le manque d’accès à une assurance maladie et à des soins abordables. Par exemple, lorsque des outils basés sur l’apprentissage automatique sont formés sur des données de santé réelles qui reflètent des soins inéquitables, nous courons le risque de perpétuer et même d’aggraver ces inégalités. Ces outils peuvent finir par entraîner des diagnostics plus lents ou des traitements incomplets, un accès réduit ou une qualité globale réduite des soins, et c’est la dernière chose que nous voulons faire.

Votre recherche a identifié quatre façons dont les biais peuvent survenir dans l’IA. L’un est un cadrage inéquitable, qu’est-ce que c’est et comment cela conduit-il à des préjugés ?

Un cadrage inéquitable signifie qu’un outil est programmé pour résoudre la mauvaise question et, par conséquent, finit par aborder le mauvais problème. Un exemple est un algorithme de non-présentation, qui peut prédire quels patients peuvent ne pas respecter leurs rendez-vous. Sur la base de ces prévisions, de nombreuses cliniques et hôpitaux réservent certains patients en double pour tenter de minimiser les pertes de revenus.

Le problème avec cela est que les patients noirs, latinos et amérindiens ou autochtones d’Alaska rencontrent de manière disproportionnée des obstacles systémiques aux soins, tels que le manque de transport fiable et un accès limité à des congés de maladie payés ou à une assurance maladie abordable, qui peuvent les empêcher de se rendre chez les médecins Bureau. Et la double réservation de ces rendez-vous ne fait qu’exacerber ces problèmes, car lorsque les deux patients se présentent, ils ne sont pas vus rapidement ou sont précipités dans leurs rendez-vous.

Demander à un outil d’IA qui ne se présentera pas ? et la double réservation ne résout qu’un problème financier. Une meilleure approche consiste à concevoir des outils capables de prédire quelle mesure de soutien est la plus susceptible d’aider ce patient à se rendre à son rendez-vous ? Qui a besoin de transport ? Qui bénéficierait d’un appel de rappel ? Qui devrait être réservé pour une consultation vidéo plutôt qu’en personne ? Ce cadrage résout à la fois le problème financier et le problème de santé.

Les autres domaines de biais que vous avez identifiés sont les données de formation non représentatives et les données de formation biaisées. Quelle est la différence entre eux et comment conduisent-ils à des biais ?

Des données non représentatives signifient que les données collectées ne correspondent pas aux lieux et aux populations sur lesquels l’outil sera utilisé. Par exemple, former un outil avec des données provenant de centres médicaux universitaires urbains du nord-est ou de grands instituts de recherche, puis l’apporter à une clinique communautaire rurale du sud-ouest et l’utiliser sur la population là-bas. Les flux de travail, l’accès à certains tests et traitements, la collecte de données, la démographie des patients et la probabilité de certaines maladies varient tous entre différents lieux et types d’hôpitaux, de sorte qu’un outil formé sur un ensemble de données de patients peut ne pas fonctionner correctement lorsque les données ou les populations de patients changer de manière significative.

Mais même si vous disposez de données représentatives, il peut y avoir un biais dans les données. Nous l’avons vu avec des outils d’intelligence artificielle qui utilisaient les données des oxymètres de pouls, des appareils semblables à des pinces à doigt qui mesurent le niveau de saturation en oxygène de votre sang. Ces outils ont été utilisés pour aider à guider les décisions de triage et de thérapie pour les patients COVID-19 pendant la pandémie. Mais il s’avère que les capteurs d’oxymétrie de pouls ne fonctionnent pas aussi bien pour les personnes à la peau plus foncée, les personnes qui ont des doigts plus petits ou les personnes qui ont une peau plus épaisse. Ces données sont moins précises pour certains groupes de personnes que pour d’autres. Et cela alimente un algorithme qui conduit potentiellement les médecins à prendre des décisions de traitement inadéquates pour ces patients.

Le dernier domaine de biais que vous avez identifié était la sélection et la conservation des données. Comment cela affecte-t-il l’IA ?

Les développeurs d’IA doivent sélectionner les données utilisées pour former leurs programmes, et leurs choix peuvent avoir de graves conséquences. Par exemple, il y a quelques années, les systèmes de santé utilisaient un outil pour prédire quels patients risquaient de contracter une maladie grave afin de mieux répartir les services destinés à prévenir ces maladies. Les chercheurs ont découvert que lors du développement de l’outil, les développeurs de l’IA avaient choisi d’utiliser les données sur les coûts des soins de santé des patients comme indicateur de la gravité de leurs maladies. Le problème avec cela est que les patients noirs ont historiquement moins accès aux soins de santé et donc des coûts inférieurs, même lorsqu’ils sont très malades. Les coûts sont une approximation raciale de la gravité de la maladie. L’outil a donc sous-estimé la probabilité de problèmes de santé graves pour les patients noirs.

Les décisions en matière de conservation des données peuvent également entraîner des biais. Les données sur les soins de santé sont compliquées et désordonnées. Il y a une envie de le nettoyer et d’utiliser uniquement les données les plus complètes, ou les données qui ont peu ou pas d’informations manquantes. Mais les personnes qui ont tendance à avoir des informations manquantes dans leurs dossiers médicaux sont celles qui ont moins accès aux soins, celles qui ont des statuts socio-économiques inférieurs et celles qui sont moins susceptibles d’avoir une assurance. La suppression de ces personnes de l’ensemble de données d’apprentissage peut réduire les performances de l’outil pour ces populations.

Que peut-on faire pour aider à atténuer ces biais ?

Les développeurs d’IA ont la responsabilité de créer des équipes avec une expertise diversifiée et une compréhension approfondie du problème à résoudre, des données utilisées et des différences qui peuvent survenir entre les différents sous-groupes. Les acheteurs de ces outils ont également l’énorme responsabilité de les tester au sein de leurs propres sous-populations et d’exiger que les développeurs utilisent les normes et pratiques émergentes de bonnes pratiques d’apprentissage automatique qui aident à promouvoir la sécurité et l’efficacité dans la création de ces produits.

La FDA a le pouvoir de réglementer certains produits d’IA, en particulier les logiciels considérés comme des dispositifs médicaux. L’agence a la responsabilité de s’assurer que ces dispositifs fonctionnent bien dans tous les sous-groupes, devrait exiger un étiquetage clair et accessible des produits indiquant les populations auxquelles ils sont destinés et travailler à la mise en place de systèmes capables de surveiller les performances biaisées des produits médicaux.

Enfin, les personnes à l’origine des données, les personnes qui insèrent des données dans les dossiers de santé électroniques, les personnes qui insèrent des données dans les demandes de remboursement, les personnes qui élaborent des algorithmes de bien-être et d’autres outils qui collectent des données sur les consommateurs ont la responsabilité de s’assurer que les données sont aussi impartiales et équitables que possible, en particulier si ils prévoient de le partager pour le développement d’outils d’IA ou à d’autres fins. Cela signifie accroître la normalisation et les définitions communes des données sur la santé, réduire les biais dans les descriptions médicales subjectives et annoter les endroits où les données peuvent différer d’une population à l’autre.

La meilleure option ici est de déterminer la cause du biais, de revenir au développement et de recycler le modèle. L’autre option consiste à préciser dans les instructions d’utilisation des produits et dans ses supports de marketing et de formation que l’outil est uniquement destiné à être utilisé dans certaines populations. Grâce à ces remèdes, nous pouvons nous assurer que les outils d’IA ne reproduisent ni n’aggravent l’état actuel des soins de santé, mais nous aident plutôt à créer un système plus juste et équitable.