Gérer les vulnérabilités de cybersécurité de l’intelligence artificielle
La semaine dernière, Andy Grotto et moi avons publié un nouveau document de travail sur les réponses politiques au risque que les systèmes d’intelligence artificielle (IA), en particulier ceux qui dépendent de l’apprentissage automatique (ML), puissent être vulnérables aux attaques intentionnelles. Comme l’a constaté la Commission nationale de sécurité sur l’intelligence artificielle, alors que nous sommes à la pointe de ce phénomène, des entreprises commerciales et des chercheurs ont documenté des attaques impliquant l’évasion, l’empoisonnement des données, la réplication de modèles et l’exploitation des failles logicielles traditionnelles pour tromper, manipuler, compromettre, et rendre les systèmes d’IA inefficaces.
Les démonstrations de vulnérabilité sont remarquables : dans le domaine de la reconnaissance vocale, la recherche a montré qu’il est possible de générer un son qui ressemble à de la parole pour les algorithmes ML mais pas pour les humains. Il existe de nombreux exemples de systèmes de reconnaissance d’images trompeurs pour identifier des objets de manière erronée en utilisant des perturbations imperceptibles pour les humains, y compris dans des contextes critiques pour la sécurité (tels que la signalisation routière). Une équipe de chercheurs a dupé trois réseaux de neurones profonds différents en modifiant un seul pixel par image. Les attaques peuvent réussir même lorsqu’un adversaire n’a accès ni au modèle ni aux données utilisées pour l’entraîner. Peut-être le plus effrayant de tous : un exploit développé sur un modèle d’IA peut fonctionner sur plusieurs modèles.
Alors que l’IA s’intègre dans les fonctions commerciales et gouvernementales, les conséquences de la fragilité des technologies sont capitales. Comme Le lieutenant-général Mary OBrien, chef d’état-major adjoint des forces aériennes pour les opérations de renseignement, de surveillance, de reconnaissance et d’effets cyber, dit récemment, si notre adversaire injecte de l’incertitude dans une partie de ce [AI-based] processus, étaient un peu morts dans l’eau sur ce que nous voulions que l’IA fasse pour nous.
Des recherches sont en cours pour développer des systèmes d’IA plus robustes, mais il n’y a pas de solution miracle. L’effort pour construire des systèmes basés sur l’IA plus résilients implique de nombreuses stratégies, à la fois technologiques et politiques, et peut nécessiter de décider de ne pas déployer du tout l’IA dans un contexte à haut risque.
En assemblant une boîte à outils pour faire face aux vulnérabilités de l’IA, des idées et des approches peuvent être dérivées du domaine de la cybersécurité. En effet, les vulnérabilités des systèmes d’information basés sur l’IA sont, à bien des égards, un sous-ensemble des cyber-vulnérabilités. Après tout, les modèles d’IA sont des logiciels.
Par conséquent, les politiques et programmes visant à améliorer la cybersécurité devraient expressément tenir compte des vulnérabilités uniques des systèmes basés sur l’IA ; les politiques et les structures de gouvernance de l’IA devraient expressément inclure une composante de cybersécurité.
Pour commencer, l’ensemble des pratiques de cybersécurité liées à la divulgation et à la gestion des vulnérabilités peut contribuer à la sécurité de l’IA. La divulgation des vulnérabilités fait référence aux techniques et politiques permettant aux chercheurs (y compris les chercheurs indépendants en sécurité) de découvrir les vulnérabilités de cybersécurité dans les produits et de les signaler aux développeurs ou aux fournisseurs de produits et aux développeurs ou fournisseurs de recevoir ces rapports de vulnérabilité. La divulgation est la première étape de la gestion des vulnérabilités : un processus d’analyse, de vérification et de correction ou d’atténuation prioritaires.
Bien qu’initialement controversés, les programmes de divulgation des vulnérabilités sont désormais répandus dans le secteur privé ; au sein du gouvernement fédéral, la Cybersecurity and Infrastructure Security Agency (CISA) a émis une directive contraignante les rendant obligatoires. Dans le domaine de la cybersécurité en général, il existe un écosystème dynamique et parfois turbulent de pirates informatiques à chapeaux blancs et gris ; les fournisseurs de services de programmes de bug bounty ; les cadres et initiatives de divulgation responsable ; fournisseurs de logiciels et de matériel informatique ; chercheurs universitaires; et les initiatives gouvernementales visant la divulgation et la gestion des vulnérabilités. Les systèmes basés sur l’IA/ML devraient être intégrés dans cet écosystème.
En examinant comment intégrer la sécurité de l’IA dans la gestion des vulnérabilités et les politiques, programmes et initiatives de cybersécurité plus larges, un dilemme se pose : d’une part, la vulnérabilité de l’IA devrait déjà s’inscrire dans ces pratiques et politiques. Comme Grotte, Gregory Falco et Iliana Maifeld-Carucci ont fait valoir dans les commentaires sur le cadre de gestion des risques pour l’IA rédigé par le National Institute of Standards and Technology (NIST), les questions d’IA ne devraient pas être cloisonnées dans des politiques verticales distinctes. Les risques liés à l’IA doivent être considérés comme des extensions des risques associés aux technologies numériques non IA, sauf preuve contraire, et les mesures visant à relever les défis liés à l’IA doivent être conçues comme des extensions des travaux visant à gérer d’autres risques numériques.
D’un autre côté, pendant trop longtemps, l’IA a été considérée comme sortant des cadres juridiques existants. Si l’IA n’est pas spécifiquement invoquée dans les initiatives de divulgation et de gestion des vulnérabilités et d’autres activités de cybersécurité, beaucoup peuvent ne pas se rendre compte qu’elle est incluse.
Pour surmonter ce dilemme, nous soutenons que l’IA devrait être supposée englobée dans les politiques existantes de divulgation des vulnérabilités et dans le développement de mesures de cybersécurité, mais nous recommandons également, au moins à court terme, que les politiques et initiatives de cybersécurité existantes soient modifiées ou interprétées pour englober spécifiquement les vulnérabilités des systèmes basés sur l’IA et de leurs composants. En fin de compte, les décideurs politiques et les développeurs informatiques verront les modèles d’IA comme un autre type de logiciel, soumis comme tous les logiciels à des vulnérabilités et méritant une attention égale dans les efforts de cybersécurité. Jusqu’à ce que nous y parvenions, cependant, une certaine reconnaissance explicite de l’IA dans les politiques et les initiatives de cybersécurité est justifiée.
Dans l’effort fédéral urgent pour améliorer la cybersécurité, il existe de nombreux éléments mobiles pertinents à l’IA. Par exemple, la CISA pourrait déclarer que sa directive contraignante sur la divulgation des vulnérabilités englobe les systèmes basés sur l’IA. Le décret du président Bidens sur l’amélioration de la cybersécurité des nations ordonne au NIST d’élaborer des directives pour la chaîne d’approvisionnement des logiciels du gouvernement fédéral et dit spécifiquement que ces directives doivent inclure des normes ou des critères concernant la divulgation des vulnérabilités. Ces directives devraient également faire référence à l’IA, tout comme le langage contractuel qui sera développé en vertu de l’article 4 (n) du décret pour les marchés publics de logiciels. De même, les efforts visant à développer des éléments essentiels pour une nomenclature logicielle (SBOM), sur laquelle le NIST a fait le premier pas en juillet, devraient évoluer pour s’attaquer aux systèmes d’IA. Et l’Office of Management and Budget (OMB) devrait donner suite au décret de décembre 2020 publié par l’ancien président Trump sur la promotion de l’utilisation d’une intelligence artificielle digne de confiance au sein du gouvernement fédéral, qui obligeait les agences à identifier et évaluer leurs utilisations de l’IA et à remplacer, désengager ou désactiver toutes les applications existantes de l’IA qui ne sont pas sécurisées et fiables.
L’IA est en retard pour la cybersécurité, mais j’espère que le terrain perdu pourra être rattrapé rapidement.