Les défenseurs de la cybersécurité élargissent leur boîte à outils d’IA

RICHLAND, Washington, 17 février 2023 – Les scientifiques ont franchi une étape clé vers l’exploitation d’une forme d’intelligence artificielle connue sous le nom d’apprentissage par renforcement profond, ou DRL, pour protéger les réseaux informatiques.

Face à des cyberattaques sophistiquées dans un cadre de simulation rigoureux, l’apprentissage par renforcement profond a été efficace pour empêcher les adversaires d’atteindre leurs objectifs jusqu’à 95 % du temps. Le résultat offre la promesse d’un rôle pour l’IA autonome dans la cyberdéfense proactive.

Des scientifiques du Department of EnergysPacific Northwest National Laboratory ont documenté leurs découvertes dans un document de recherche et présenté leurs travaux le 14 février lors d’un atelier sur l’IA pour la cybersécurité lors de la réunion annuelle de l’Association pour l’avancement de l’intelligence artificielle à Washington, DC

Le point de départ était le développement d’un environnement de simulation pour tester des scénarios d’attaque en plusieurs étapes impliquant différents types d’adversaires. La création d’un tel environnement de simulation d’attaque-défense dynamique pour l’expérimentation elle-même est une victoire. L’environnement offre aux chercheurs un moyen de comparer l’efficacité de différentes méthodes défensives basées sur l’IA dans des conditions de test contrôlées.

De tels outils sont essentiels pour évaluer les performances des algorithmes d’apprentissage par renforcement profond. La méthode apparaît comme un puissant outil d’aide à la décision pour les experts en cybersécurité, un agent de défense capable d’apprendre, de s’adapter à des circonstances en évolution rapide et de prendre des décisions de manière autonome. Alors que d’autres formes d’intelligence artificielle sont standard pour détecter les intrusions ou filtrer les spams, l’apprentissage par renforcement approfondi étend les capacités des défenseurs à orchestrer des plans de prise de décision séquentielle dans leur face-à-face quotidienne avec des adversaires.

L’apprentissage par renforcement en profondeur offre une cybersécurité intelligente, la capacité de détecter plus tôt les changements dans le paysage cybernétique et la possibilité de prendre des mesures préventives pour faire échouer une cyberattaque.

DRL : Décisions dans un large espace d’attaque

Un agent d’IA efficace pour la cybersécurité doit sentir, percevoir, agir et s’adapter, en fonction des informations qu’il peut recueillir et des résultats des décisions qu’il édicte, a déclaré Samrat Chatterjee, un scientifique des données qui a présenté le travail des équipes. L’apprentissage par renforcement profond recèle un grand potentiel dans cet espace, où le nombre d’états du système et de choix d’actions peut être important.

DRL, qui combine l’apprentissage par renforcement et l’apprentissage en profondeur, est particulièrement adapté aux situations où une série de décisions dans un environnement complexe doivent être prises. Les bonnes décisions menant à des résultats souhaitables sont renforcées par une récompense positive (exprimée sous forme de valeur numérique) ; les mauvais choix conduisant à des résultats indésirables sont découragés via un coût négatif.

C’est similaire à la façon dont les gens apprennent de nombreuses tâches. Un enfant qui fait ses corvées peut recevoir un renforcement positif avec une date de jeu souhaitée ; un enfant qui ne fait pas son travail reçoit un renforcement négatif, comme le retrait d’un appareil numérique.

C’est le même concept dans l’apprentissage par renforcement, a déclaré Chatterjee. L’agent peut choisir parmi un ensemble d’actions. A chaque action vient un feedback, bon ou mauvais, qui fait partie de sa mémoire. Il existe une interaction entre l’exploration de nouvelles opportunités et l’exploitation des expériences passées. Le but est de créer un agent qui apprend à prendre de bonnes décisions.

Open AI Gym et MITRE ATT&CK

L’équipe a utilisé une boîte à outils logicielle open source connue sous le nom d’Open AI Gym comme base pour créer un environnement de simulation personnalisé et contrôlé afin d’évaluer les forces et les faiblesses de quatre algorithmes d’apprentissage par renforcement profond.

L’équipe a utilisé le cadre MITRE ATT&CK, développé par MITRE Corp., et a incorporé sept tactiques et 15 techniques déployées par trois adversaires distincts. Les défenseurs étaient équipés de 23 actions d’atténuation pour tenter d’arrêter ou d’empêcher la progression d’une attaque.

Les étapes de l’attaque comprenaient des tactiques de reconnaissance, d’exécution, de persistance, d’évasion de la défense, de commandement et de contrôle, de collecte et d’exfiltration (lorsque les données sont transférées hors du système). Une attaque était enregistrée comme une victoire pour l’adversaire s’il atteignait avec succès l’étape finale d’exfiltration.

Nos algorithmes fonctionnent dans un environnement concurrentiel, un concours avec un adversaire ayant l’intention de violer le système, a déclaré Chatterjee. C’est une attaque en plusieurs étapes, où l’adversaire peut suivre plusieurs voies d’attaque qui peuvent changer au fil du temps alors qu’il tente de passer de la reconnaissance à l’exploitation. Notre défi est de montrer comment les défenses basées sur l’apprentissage par renforcement profond peuvent arrêter une telle attaque.

DQN dépasse les autres approches

L’équipe a formé des agents défensifs sur la base de quatre algorithmes d’apprentissage par renforcement profond : DQN (Deep Q-Network) et trois variantes de ce que l’on appelle l’approche acteur-critique. Les agents ont été formés avec des données simulées sur les cyberattaques, puis testés contre des attaques qu’ils n’avaient pas observées lors de la formation.

DQN a obtenu les meilleurs résultats :

• Attaques les moins sophistiquées (basées sur différents niveaux de compétence et de persévérance de l’adversaire) : DQN a stoppé 79 % des attaques à mi-parcours des phases d’attaque et 93 % à la phase finale.
• Attaques modérément sophistiquées : DQN a stoppé 82 % des attaques à mi-chemin et 95 % à l’étape finale.
• Attaques les plus sophistiquées : DQN a arrêté 57 % des attaques à mi-chemin et 84 % à l’étape finale, bien plus que les trois autres algorithmes.

Notre objectif est de créer un agent de défense autonome qui peut apprendre la prochaine étape la plus probable d’un adversaire, la planifier, puis réagir de la meilleure façon pour protéger le système, a déclaré Chatterjee.

Malgré les progrès, personne n’est prêt à confier entièrement la cyberdéfense à un système d’IA. Au lieu de cela, un système de cybersécurité basé sur DRL devrait fonctionner de concert avec les humains, a déclaré le co-auteur Arnab Bhattacharya, anciennement du PNNL.

L’IA peut être bonne pour se défendre contre une stratégie spécifique, mais elle n’est pas aussi bonne pour comprendre toutes les approches qu’un adversaire pourrait adopter, a déclaré Bhattacharya. Nous sommes loin du stade où l’IA peut remplacer les cyber-analystes humains. Les commentaires et les conseils humains sont importants.

Outre Chatterjee et Bhattacharya, les auteurs du document de l’atelier AAAI incluent Mahantesh Halappanavar du PNNL et Ashutosh Dutta, un ancien scientifique du PNNL. Le travail a été financé par le Bureau des sciences du DOE. Certains des premiers travaux qui ont stimulé cette recherche spécifique ont été financés par l’initiative PNNLsMathematics for Artificial Reasoning in Science dans le cadre du programme de recherche et de développement dirigés par le laboratoire.

À propos du PNNL

Le Pacific Northwest National Laboratory s’appuie sur ses atouts distinctifs en chimie, sciences de la Terre, biologie et science des données pour faire progresser les connaissances scientifiques et relever les défis de l’énergie durable et de la sécurité nationale. Fondé en 1965, le PNNL est géré par Battelle pour le Department of Energys Office of Science, qui est le plus grand soutien de la recherche fondamentale en sciences physiques aux États-Unis. Le Bureau des sciences du DOE s’emploie à relever certains des défis les plus urgents de notre époque.

Source : Tom Rickey, PNNL