Boire au Puits fétide : empoisonnement des données et apprentissage automatique

Alors que la robotique et l’intelligence artificielle continuent de devenir de plus en plus capables et autonomes par rapport au contrôle et à l’intervention humains constants, le besoin pour la vie humaine d’occuper le champ de bataille diminue continuellement. Une technologie qui permet cette réalité est l’apprentissage automatique, qui permettrait à un appareil de réagir à son environnement et aux permutations infinies de variables qu’il contient, tout en poursuivant les objectifs de ses contrôleurs humains. Le talon d’Achille de cette technologie, cependant, est ce qui rend possible la capacité des machines à apprendre à partir d’exemples. En empoisonnant ces exemples d’ensembles de données, les adversaires peuvent corrompre le processus d’entraînement des machines, ce qui peut amener les États-Unis à déployer des actifs peu fiables ou dangereux.

Se défendre contre de telles techniques est essentiel. Les États-Unis doivent commencer à accélérer leurs investissements dans le développement de contre-mesures et changer la façon dont ils utilisent et consomment les données pour atténuer ces attaques lorsqu’elles se produisent.

Comment les machines apprennent

L’apprentissage automatique est une technique d’analyse de données dans laquelle un ordinateur développe des algorithmes pour apprendre des informations directement à partir de données sans s’appuyer sur une équation prédéterminée comme modèle tout en conservant la capacité d’améliorer de manière autonome ces algorithmes. Cela lui permet d’améliorer en permanence les performances de ces algorithmes au fur et à mesure que le nombre d’échantillons disponibles pour l’apprentissage augmente. Le principal avantage de l’apprentissage automatique est de supprimer, dans la mesure du possible, la nécessité pour un humain de fournir des données à la machine pour identifier et réagir aux données des échantillons fournis. Tout champ de bataille est rempli de centaines de millions de variables qui doivent être analysées pour qu’une machine réagisse de manière appropriée à chaque situation. Exiger qu’un humain code chaque réponse potentielle à chaque permutation possible de variables est pratiquement impossible, mais grâce à l’analyse de données basée sur l’apprentissage automatique, la machine peut gérer cette tâche de manière autonome.

Le problème avec l’apprentissage automatique

À son niveau le plus élémentaire, l’apprentissage automatique est l’analyse d’ensembles de données. Son efficacité dépend de la qualité et de la fiabilité des données qu’il reçoit. Ces dernières années, des adversaires ont démontré la possibilité d’empoisonner ces données, créant une faiblesse pour tous les systèmes qui reposent sur l’apprentissage automatique.

L’empoisonnement des données est une méthode relativement nouvelle d’attaque des systèmes d’information. Au lieu d’exploiter les faiblesses du code lui-même, le modèle cible les données utilisées pour entraîner l’apprentissage automatique en ajoutant intentionnellement des points de données de déclenchement corrompus. Le résultat peut être la possibilité d’installer une porte dérobée dans n’importe quel appareil utilisant l’ensemble de données, car le détecteur n’a besoin de fournir qu’un point de données (peut-être en affichant une image au bon endroit ou au bon moment) pour déclencher la réaction défectueuse dans la machine.

Considérez le scénario suivant étudié par les étudiants du Texas A&M. Un algorithme d’apprentissage automatique pour une voiture autonome tente d’apprendre à reconnaître les panneaux de signalisation. Un ensemble de données est introduit avec des images de panneaux d’arrêt. Cependant, un adversaire a corrompu une partie de ces images de panneaux d’arrêt avec plusieurs pixels manipulés selon un modèle très spécifique (appelés neurones contaminés). Ce modèle, appelé modèle d’attaque, peut être rendu indétectable à l’œil humain, mais est appris par la machine de sorte que la machine associe le modèle d’attaque aux panneaux d’arrêt. Ensuite, la machine apprend des images de panneaux de limitation de vitesse qui sont propres. Le danger survient une fois que la voiture autonome a terminé sa formation et est entrée dans le monde réel. Là, l’adversaire peut placer le schéma d’attaque dans un panneau de limitation de vitesse réel sur l’autoroute. La voiture associe le schéma d’attaque à un panneau d’arrêt, ce qui la fait freiner de manière inattendue sur l’autoroute, provoquant un accident. Heureusement, le groupe n’étudiait pas un accident de la circulation réel, mais la possibilité d’un accident.

Les chercheurs ont découvert que cette méthode d’attaque était simple et peu coûteuse à déployer, pouvait entraîner des résultats désastreux avec des taux de réussite de 100 % et, peut-être le plus important, ne pouvait pas être détectée par des moyens conventionnels de protection contre les logiciels malveillants, car elle infectait l’ensemble de données, non le code lui-même.

Les attaques par empoisonnement des données sont réelles

Le problème de l’empoisonnement des données n’est pas théorique et il existe de nombreux exemples concrets. Par exemple, les algorithmes d’intelligence artificielle de Google ont été amenés à considérer les tortues comme des fusils, une entreprise chinoise a convaincu une Tesla de se diriger vers le trafic venant en sens inverse, et bien d’autres. Les applications militaires des attaques par empoisonnement sont particulièrement troublantes. Des défenses automatisées pourraient être mises en place pour ignorer les menaces dangereuses, identifier à tort les forces amies comme des ennemis, se détruire, etc. En d’autres termes, une machine alimentée par des schémas d’attaque dans son entraînement pourrait être intrinsèquement imparfait et lorsqu’un schéma d’attaque sur le terrain lui serait montré, pourrait être contrôlé par l’ennemi. Si chaque machine était entraînée sur le même ensemble de données, chaque machine serait contrôlée.

Le chemin d’attaque par empoisonnement des données est fondamentalement différent des méthodes traditionnelles d’attaque des systèmes d’information. C’est-à-dire que l’algorithme et les utilisateurs humains peuvent fonctionner correctement, mais l’algorithme, de par sa nature même, autorise les attaques car c’est ainsi que la machine fonctionne. Il ne peut pas être corrigé et les ensembles de données empoisonnés incriminés ne peuvent pas être facilement détectés. Cependant, il existe des contre-mesures pour se défendre contre de telles attaques et les atténuer lorsqu’elles surviennent.

Atténuer l’empoisonnement des données

Contrôler l’approvisionnement des jeux de données. Le moyen le plus évident de se défendre contre les attaques consiste à contrôler d’où provient l’ensemble de données afin qu’il ne soit pas entaché en premier lieu. Les développeurs doivent uniquement acheter ou acquérir des données auprès de fournisseurs de confiance, ou les collecter eux-mêmes. Certes, c’est plus facile à dire qu’à faire, et l’externalisation de cette tâche est la pratique courante. Cependant, le contrôle de l’approvisionnement en intrants est un coût nécessaire pour faire des affaires dans de nombreux domaines, de la construction à la vente au détail, il doit donc être reconnu comme une dépense nécessaire dans le développement de l’apprentissage automatique.

Ne pas partager les ensembles de données entre les projets. Si plusieurs plates-formes partagent un ensemble de données commun et que cet ensemble de données est infecté, alors tous les actifs utilisant les données seront infectés. Cela crée un point de défaillance commun, et le risque doit être désagrégé. Naturellement, il est difficile, coûteux et long de créer un ensemble de données en premier lieu, et cette dépense serait multipliée si chaque actif avait besoin de son propre ensemble de données. Encore une fois, cela doit être internalisé comme un coût nécessaire pour faire des affaires, car il y aura toujours le risque qu’un ensemble de données soit corrompu et échappe aux contre-mesures.

Ne permettez pas à l’ennemi de savoir comment vous collectez des données. Si un acteur ennemi sait d’où et comment, ou de qui proviennent les données, il est possible qu’il puisse infecter les données au point d’origine. Le fait de dissimuler cela entrave la capacité de l’ennemi à introduire des vulnérabilités, car il est moins probable qu’il puisse introduire des modèles d’attaque s’il n’a pas accès aux informations alimentant les algorithmes d’apprentissage automatique.

Investissez dans des défenses programmatiques contre la manipulation des ensembles de données. Le monde dépense énormément en cybersécurité, environ 151 milliards de dollars par an dans le monde, tandis que les coûts des cyberattaques continuent de s’accélérer, estimés actuellement à 600 milliards de dollars par an. Il existe également une tendance inquiétante parmi les fournisseurs de développeurs d’intelligence artificielle à d’abord lancer leur logiciel avant d’investir pour s’assurer qu’il ne peut pas être corrompu. Un chercheur a déclaré de façon poignante :

J’ai parlé à un tas de gens de l’industrie et je leur ai demandé s’ils s’inquiétaient [data poisoning]. La réponse est, presque partout, non. . . [C]Les entreprises se concentrent sur le fonctionnement de leurs systèmes d’IA comme leur priorité absolue.

Cet état d’esprit doit changer, et il changera s’il existe une incitation économique à le faire. La Defense Advanced Research Projects Agency (DARPA) semble maintenant s’orienter dans cette direction avec son programme Garantir la robustesse de l’IA contre la tromperie (GARD). Selon le DARPA Information Innovation Office, les chercheurs du ministère de la Défense (DoD) ont . . . s’est précipité en avant, prêtant peu d’attention aux vulnérabilités inhérentes à [machine learning] plates-formes notamment en termes d’altération, de corruption ou de tromperie de ces systèmes. Le programme GARD reconnaît la vulnérabilité et signale une volonté de payer pour combler l’écart.

Identifiez et répondez en permanence aux nouvelles souches d’empoisonnement des données. Le domaine de l’empoisonnement des données et de ses contre-mesures est dynamique et nécessite une surveillance continue pour mettre en place une défense adéquate. De nouvelles recherches sont publiées en permanence, identifiant de nouvelles menaces et développant de nouvelles techniques pour les contrer. Par exemple, des chercheurs de l’UT Dallas ont identifié des techniques d’empoisonnement appelées sélection de paille non informée et attaques de grenouilles bouillantes, et ont développé les défenses appelées ANTIDOTE pour y résister en prenant le temps d’analyser les différences de trafic réseau et en investissant dans des antidotes. Cette recherche souligne que les acteurs humains conçoivent continuellement de nouvelles stratégies pour corrompre le processus de formation à la technologie d’apprentissage automatique, et les chercheurs humains doivent continuellement rechercher ces techniques et développer des solutions pour celles-ci.

Pour rester compétitive, l’armée américaine doit continuer à investir dans la technologie de combat autonome. Ce faisant, cependant, il doit passer du paradigme traditionnel de mise en ligne de la plate-forme avant d’investir dans la protection contre les attaques adverses pour protéger les données à chaque étape du cycle de vie d’un produit. Cela signifie que non seulement l’algorithme lui-même doit être sécurisé, mais également les ensembles de données utilisés pour l’entraîner.