L’intelligence artificielle prend des décisions critiques en matière de soins de santé. Le shérif est MIA.

Contrairement aux dispositifs médicaux ou aux médicaments, les logiciels d’IA évoluent. Plutôt que de délivrer une approbation unique, la FDA souhaite surveiller les produits d’intelligence artificielle au fil du temps, ce qu’elle n’a jamais fait de manière proactive.

Le président Joe Biden a promis en octobre une réponse coordonnée et rapide de ses agences pour garantir la sécurité et l’efficacité de l’IA. Mais les régulateurs comme la FDA ne disposent pas des ressources nécessaires pour superviser une technologie qui, par définition, est en constante évolution.

Nous avons besoin d’un autre doublement de taille, et la dernière fois que j’ai regardé, le contribuable n’est pas très intéressé par cela, a déclaré le commissaire de la FDA, Robert Califf, lors d’une conférence en janvier, puis a réitéré ce point lors d’une récente réunion des parties prenantes de la FDA.

Califf a été franc au sujet des défis de la FDA. Évaluer l’IA, parce qu’elle apprend constamment et peut fonctionner différemment selon le lieu, est une tâche monumentale qui ne correspond pas au paradigme existant de son agence. Lorsque la FDA approuve des médicaments et des dispositifs médicaux, elle n’a pas besoin de suivre leur évolution.

Et le problème pour la FDA va au-delà de l’ajustement de son approche réglementaire ou du recrutement de personnel supplémentaire. Un nouveau rapport du Government Accountability Office, l’organe de surveillance du Congrès, a déclaré que l’agence souhaitait plus de pouvoir pour demander des données sur les performances de l’IA et pour définir des garde-fous pour les algorithmes de manière plus spécifique que ne le permet son cadre traditionnel d’évaluation des risques pour les médicaments et les dispositifs médicaux, le » dit Gao.

Étant donné que le Congrès a à peine commencé à réfléchir, et encore moins à parvenir à un consensus sur la réglementation de l’IA, cela pourrait prendre un certain temps.

Le Congrès est traditionnellement réticent à élargir les pouvoirs de la FDA. Et jusqu’à présent, la FDA n’a rien demandé.

Elle a offert des conseils aux fabricants de dispositifs médicaux pour intégrer en toute sécurité l’intelligence artificielle, déclenchant une réaction négative de la part des entreprises technologiques qui affirment que l’agence a dépassé les limites, même si les directives sont juridiquement non contraignantes.

Dans le même temps, certains experts en IA du monde universitaire et de l’industrie affirment que la FDA n’en fait pas assez avec les autorités dont elle dispose déjà.

Portée du pouvoir

Les progrès de l’IA ont créé de grandes lacunes dans ce que réglemente la FDA. Il ne fait rien pour examiner les outils tels que les chatbots, par exemple, et n’a aucune autorité sur les systèmes qui résument les notes des médecins et effectuent d’autres tâches administratives critiques.

La FDA réglemente les outils d’IA de première génération comme elle le fait pour les dispositifs médicaux, et il y a 14 mois, le Congrès a accordé à l’agence le pouvoir de permettre aux fabricants d’appareils, dont certains incluent les premières IA, de mettre en œuvre des mises à jour pré-planifiées sans avoir à demander à nouveau une autorisation.

Mais l’étendue des pouvoirs de la FDA en matière d’IA reste incertaine.

Une coalition d’entreprises a déposé une requête auprès de la FDA accusant l’agence d’avoir outrepassé son autorité lorsqu’elle a publié une directive de 2022 selon laquelle les fabricants d’intelligence artificielle qui proposent des recommandations et des diagnostics urgents doivent demander l’autorisation de la FDA. Même si ces directives ne sont pas juridiquement contraignantes, les entreprises estiment généralement qu’elles doivent s’y conformer.

La Healthcare Information and Management Systems Society, un groupe professionnel qui représente les entreprises de technologies de la santé, a également exprimé sa confusion quant à l’étendue de l’autorité de la FDA et à la manière dont le pouvoir sur la réglementation de l’IA est partagé entre elle et d’autres agences du ministère de la Santé et des Services sociaux, comme la Bureau du coordonnateur national des technologies de l’information sur la santé. Ce bureau a fixé en décembre des règles exigeant plus de transparence autour des systèmes d’IA.

Du point de vue de l’industrie, sans avoir une sorte de clarté de la part du HHS, cela entre dans un domaine où les gens ne savent pas directement à qui s’adresser, a déclaré Colin Rom, ancien conseiller principal du commissaire de la FDA de l’époque, Stephen Hahn, qui dirige maintenant la politique de santé au société de capital-risque Andreessen Horowitz.

Pendant ce temps, la FDA a déclaré au GAO que pour vérifier de manière proactive si les algorithmes sont efficaces au fil du temps, elle a besoin d’une nouvelle autorité du Congrès pour collecter des données sur les performances.

L’agence a également déclaré qu’elle souhaitait que de nouveaux pouvoirs créent des garanties spécifiques pour les algorithmes individuels, plutôt que d’utiliser les classifications existantes des dispositifs médicaux pour déterminer les contrôles.

La FDA prévoit de communiquer ses besoins au Congrès.

Surveillance externalisée

Mais cela le laisse toujours redevable à un Capitole bloqué.

En conséquence, Califf et certains acteurs du secteur ont proposé une autre idée : la création de laboratoires d’assurance public-privé, probablement dans les grandes universités ou centres de santé universitaires, qui pourraient valider et surveiller l’intelligence artificielle dans les soins de santé.

Nous devons avoir une communauté d’entités qui effectuent les évaluations de manière à certifier que les algorithmes font réellement du bien et ne nuisent pas, a déclaré Califf lors du salon de l’électronique grand public le mois dernier.

L’idée bénéficie également d’un certain soutien au Congrès. Le sénateur John Hickenlooper (D-Colo.) a fait appel à des tiers qualifiés pour auditer l’intelligence artificielle avancée. Il pense spécifiquement à l’IA générative, du type ChatGPT qui imite l’intelligence humaine, bien qu’il s’agisse du même cadre de surveillance suggéré par Califf.

Cette approche pourrait présenter des défauts, comme l’ont souligné certains experts en IA, dans la mesure où l’IA testée sur un campus universitaire majeur pourrait ne pas fonctionner aussi bien dans un petit hôpital rural.

En tant que médecin praticien, vous savez que différents environnements sont différents, a déclaré Mark Sendak, responsable de la santé de la population et de la science des données à l’Institut pour l’innovation en santé de l’Université Duke, lors d’une audience du Comité des finances sur l’intelligence artificielle dans les soins de santé ce mois-ci. Chaque organisation de soins de santé doit être en mesure de gouverner l’IA au niveau local.

En janvier, Micky Tripathi, coordinateur national des technologies de l’information sur la santé, et Troy Tazbaz, directeur de la santé numérique à la FDA, ont écrit dans le Journal of the American Medical Association que les laboratoires d’assurance devraient prendre ce problème en compte.

L’article, co-écrit par des chercheurs de Stanford Medicine, de l’Université Johns Hopkins et de la Mayo Clinic, appelle à un petit nombre de laboratoires pilotes pour ouvrir la voie à la conception de systèmes de validation.

Mais voir cette collaboration entre les régulateurs, les grandes universités et les prestataires de soins de santé n’a pas rassuré les petits acteurs, qui s’inquiètent des conflits d’intérêts si les laboratoires pilotes sont des organisations qui fabriquent également leurs propres systèmes d’IA ou collaborent avec des entreprises technologiques.

Ayers pense que la FDA devrait gérer la validation de l’IA dans ses propres murs et que les fabricants de systèmes d’IA devraient au minimum montrer qu’ils améliorent les résultats pour les patients, quelle que soit la personne qui assure la surveillance.

Il a souligné l’échec d’un système d’IA de la société de dossiers médicaux électroniques Epic à détecter la septicémie, une réaction parfois mortelle à l’infection, qui avait échappé aux régulateurs. La société a depuis remanié son algorithme et un porte-parole de la FDA a déclaré qu’elle ne divulguait pas les communications avec des entreprises spécifiques.

Mais l’incident a donné à de nombreux acteurs du secteur des soins de santé et de la technologie le sentiment que l’agence n’utilise pas efficacement ses pouvoirs actuels.

Ils devraient être là pour surveiller ce genre de choses, a déclaré Ayers.