Méfiez-vous du séduisant Docteur Chatbot

Tom Melvin est professeur associé en affaires réglementaires relatives aux dispositifs médicaux à la faculté de médecine du Trinity College de Dublin.

Beaucoup d’entre nous se sont engagés avec des chatbots, les programmes de conversation informatisés destinés à aider avec des choses comme nos opérations bancaires ou une requête d’une entreprise de services publics. L’introduction récente de grands modèles de langage (LLM) a turbocompressé ces bots et leurs capacités, car les modèles de langage de réseau neuronal peuvent désormais utiliser des modèles de parole provenant d’un grand nombre de sources pour générer des conversations interactives de type humain.

L’utilisation des chatbots en médecine, en particulier, a une histoire beaucoup plus longue qu’on ne le pense. En 1966, Joseph Weizenbaum du Massachusetts Institute of Technology a développé le programme ELIZA, qui utilisait le traitement du langage naturel pour imiter un psychothérapeute en proposant des questions ou des réflexions basées sur la saisie de texte d’un patient.

Comme on peut l’imaginer, étant donné les premières étapes de la programmation informatique, il s’agissait d’un programme simple. Cependant, pour certains de ceux qui l’ont utilisé, il s’est avéré être émotionnellement engageant d’une manière puissante. Selon l’histoire, lorsque Weizenbaum a testé le système pour la première fois avec sa secrétaire, elle lui a demandé de quitter la pièce après les premières interactions, afin qu’elle puisse poursuivre les discussions en privé.

Aujourd’hui, l’utilisation des chatbots dans les soins de santé est répandue, la plupart d’entre nous recherchant déjà nos symptômes en ligne avec le Dr Google avant de demander un avis médical analogique. Mais lorsque nous considérons la capacité conversationnelle remarquable des nouveaux LLM et leur potentiel à fournir des solutions de santé, nous devons être conscients à la fois des avantages et des risques que les technologies peuvent apporter.

En mars de cette année, un autre chatbot nommé ELIZA a pris de l’importance dans les médias en Belgique. Cet ELIZA était un chatbot alimenté par OpenAI disponible sur une application appelée Chai, qui est commercialisée comme une application de chatbot générale. Et au cours des six semaines passées à discuter des craintes concernant l’environnement avec cette nouvelle ELIZA, un homme d’une trentaine d’années s’est suicidé. Les médias ont noté que l’application avait encouragé cet individu à le faire après avoir proposé de se sacrifier pour sauver la planète.

Si l’on demandait à cet ELIZA s’il s’agit d’un appareil médical, il répondra que ce n’est pas le cas, cependant, il a des outils intégrés dans mon système qui peuvent aider les utilisateurs à gérer et à surmonter certains problèmes de santé mentale. De plus, s’il détecte qu’un utilisateur a de graves problèmes de santé mentale, il l’encouragera à consulter un professionnel, ce qui placera le logiciel sous la définition d’un dispositif médical. Ce cas tragique démontre les nouveaux types de risques et le potentiel beaucoup plus grand de manipulation, qui peuvent venir avec des algorithmes qui peuvent feindre la sincérité ou la compassion d’une manière complètement nouvelle et convaincante.

La réglementation des MedTech a toujours pris du retard par rapport aux technologies qu’elle tente de réglementer. Lorsque le premier ELIZA a été créé dans les années 1960, des implants médicaux tels que des stimulateurs cardiaques étaient déjà disponibles, mais il faudra encore trois décennies avant que des réglementations ne soient introduites pour les technologies des dispositifs médicaux en Europe. Et lors de leur introduction, ces règles ne concernaient pas les logiciels uniquement lorsque le système a été mis à jour en 2017, certaines réglementations spécifiques ont été introduites.

De plus, ces règles de réglementation des MedTech ont été largement développées en pensant aux produits physiques, et une grande partie du travail nécessaire pour répondre aux exigences pour des choses comme les stimulateurs cardiaques implique de documenter et de contrôler les risques qui accompagnent un tel appareil. Cependant, identifier tous les risques associés aux modèles génératifs n’est tout simplement pas possible, car les LLM fonctionnent d’une manière que même les développeurs ne comprennent pas complètement, ce qui fait de leur gestion un véritable défi.

Pourtant, avec l’entrée en vigueur probable de la loi sur l’intelligence artificielle dans les années à venir, la réglementation en Europe va augmenter. Mais même ainsi, il reste à voir dans quelle mesure ces technologies intègrent des garde-corps de sécurité appropriés. Fondamentalement, les chatbots basés sur LLM qui fournissent des conseils médicaux relèvent actuellement de la réglementation sur les dispositifs médicaux, cependant, leur manque de fiabilité empêche leur approbation en tant que telle. Malgré cela, ils restent disponibles.

La société s’attend à ce que les médecins soient rigoureusement formés et continuellement évalués, et qu’ils appliquent ces connaissances avec expertise, compassion et normes éthiques. Le Dr Chatbot, quant à lui, peut fournir des conseils convaincants, mais il ne peut pas vous dire d’où vient le conseil, pourquoi il donne le conseil ou comment ses équilibres éthiques ont été pris en compte.

Pour gagner leur place dans l’arsenal médical, les chatbots devront démontrer qu’ils sont sûrs et efficaces, mais aussi qu’ils peuvent empêcher les manipulations nuisibles. Jusqu’à ce que la technologie et la réglementation y parviennent, nous devons tous être conscients à la fois du grand potentiel et des risques réels qu’elles comportent lorsqu’elles sont sollicitées pour un avis médical.