Double utilisation de la découverte de médicaments basée sur l’intelligence artificielle – Nature Machine Intelligence

Sans être trop alarmiste, cela devrait servir de signal d’alarme pour nos collègues de la communauté de l’IA dans la découverte de médicaments. Bien qu’une certaine expertise dans le domaine de la chimie ou de la toxicologie soit encore nécessaire pour générer des substances toxiques ou des agents biologiques pouvant causer des dommages importants, lorsque ces domaines se croisent avec des modèles d’apprentissage automatique, où tout ce dont vous avez besoin est la capacité de coder et de comprendre la sortie des modèles eux-mêmes, ils abaissent considérablement les seuils techniques. Le logiciel d’apprentissage automatique open source est la principale voie d’apprentissage et de création de nouveaux modèles comme le nôtre et d’ensembles de données de toxicité⁹ qui fournissent un modèle de référence pour les prédictions d’une gamme d’objectifs liés à la santé humaine sont facilement disponibles.

Notre preuve de concept s’est concentrée sur les composés de type VX, mais elle s’applique également à d’autres petites molécules toxiques avec des mécanismes similaires ou différents, avec des ajustements minimes à notre protocole. Les outils logiciels de rétrosynthèse s’améliorent également en parallèle, permettant d’explorer de nouvelles voies de synthèse pour des molécules connues et inconnues. Il est donc tout à fait possible que de nouvelles voies puissent être prédites pour les agents de guerre chimique, en contournant les listes nationales et internationales de précurseurs chimiques surveillés ou contrôlés pour les voies de synthèse connues.

La réalité est que ce n’est pas de la science-fiction. Nous ne sommes qu’une très petite entreprise dans un univers de plusieurs centaines d’entreprises utilisant des logiciels d’IA pour la découverte de médicaments et la conception de novo. Combien d’entre eux ont même envisagé de réutiliser ou d’abuser des possibilités ? La plupart travailleront sur de petites molécules, et de nombreuses entreprises sont très bien financées et utilisent probablement le réseau mondial de chimie pour fabriquer leurs molécules conçues par IA. Combien de personnes ont le savoir-faire pour trouver les poches d’espace chimique qui peuvent être remplies de molécules censées être des ordres de grandeur plus toxiques que le VX ? Nous n’avons pas actuellement de réponses à ces questions. Il n’y a pas eu auparavant de discussion significative dans la communauté scientifique sur cette préoccupation à double usage concernant l’application de l’IA pour la conception de molécules de novo, du moins pas publiquement. La discussion sur les impacts sociétaux de l’IA s’est principalement concentrée sur des aspects tels que la sécurité, la confidentialité, la discrimination et les abus criminels potentiels^dix, mais pas sur la sécurité nationale et internationale. Lorsque nous pensons à la découverte de médicaments, nous ne considérons normalement pas le potentiel d’utilisation abusive de la technologie. Nous ne sommes pas formés pour l’envisager, et ce n’est même pas nécessaire pour la recherche en apprentissage automatique, mais nous pouvons désormais partager notre expérience avec d’autres entreprises et particuliers. Les outils d’apprentissage automatique génératif de l’IA s’appliquent également aux molécules plus grosses (peptides, macrolactones, etc.) et à d’autres industries, telles que les produits de consommation et l’agrochimie, qui ont également intérêt à concevoir et fabriquer de nouvelles molécules aux propriétés physicochimiques et biologiques spécifiques. Cela augmente considérablement l’étendue du public potentiel qui devrait prêter attention à ces préoccupations.

Pour nous, le génie est sorti du flacon de médicaments lorsqu’il s’agit de réorienter notre apprentissage automatique. Nous devons maintenant nous demander : quelles sont les implications ? Nos propres outils commerciaux, ainsi que des outils logiciels open source et de nombreux ensembles de données qui alimentent les bases de données publiques, sont disponibles sans surveillance. Si la menace de préjudice, ou le préjudice réel, se produit avec des liens avec l’apprentissage automatique, quel impact cela aura-t-il sur la façon dont cette technologie est perçue ? Le battage médiatique dans la presse sur les médicaments conçus par l’IA se transformera-t-il soudainement en inquiétude concernant les toxines conçues par l’IA, la honte du public et la diminution des investissements dans ces technologies ? En tant que domaine, nous devrions ouvrir une conversation sur ce sujet. Le risque de réputation est substantiel : il suffit d’une pomme pourrie, comme un État adverse ou un autre acteur à la recherche d’un avantage technologique, pour causer un préjudice réel en faisant passer ce que nous avons vaguement décrit à l’étape logique suivante. Comment empêcher cela ? Pouvons-nous enfermer tous les outils et jeter la clé ? Surveillons-nous les téléchargements de logiciels ou restreignons-nous les ventes à certains groupes ? Nous pourrions suivre l’exemple donné avec des modèles d’apprentissage automatique comme GPT-3¹¹, qui était initialement limité à la liste d’attente pour éviter les abus et dispose d’une API à usage public. Même aujourd’hui, sans liste d’attente, GPT-3 a mis en place des garanties pour prévenir les abus, des directives de contenu, un filtre de contenu gratuit et une surveillance des applications qui utilisent GPT-3 à des fins abusives. Nous ne connaissons aucune publication récente sur la toxicité ou le modèle cible qui traite de ces préoccupations concernant la double utilisation de la même manière. En tant que scientifiques responsables, nous devons nous assurer que l’utilisation abusive de l’IA est évitée et que les outils et modèles que nous développons ne sont utilisés que pour le bien.

En allant aussi près que nous l’osions, nous avons encore franchi une frontière morale grise, démontrant qu’il est possible de concevoir des molécules potentiellement toxiques virtuelles sans trop d’efforts, de temps ou de ressources informatiques. Nous pouvons facilement effacer les milliers de molécules que nous avons créées, mais nous ne pouvons pas supprimer la connaissance de la façon de les recréer.