Microsoft et Mitre collaborent sur des outils de sécurité pour l’IA et l’apprentissage automatique — Redmondmag.com

Nouvelles

Microsoft et Mitre collaborent sur des outils de sécurité pour l’IA et l’apprentissage automatique

Microsoft et Mitre Corp. ont présenté la semaine dernière leurs efforts de collaboration pour renforcer la sécurité des modèles d’apprentissage automatique et des plates-formes d’intelligence artificielle (IA).

MITRE est un exécutant à but non lucratif de centres de recherche et de développement financés par le gouvernement fédéral. Cela fonctionne généralement pour répondre aux préoccupations du gouvernement américain et de la cybersécurité.

Outils de sécurité Microsoft et Mitre pour l’IA
Les deux sociétés ont annoncé que l’outil d’attaque d’IA de l’équipe rouge Counterfit de Microsoft, sorti l’année dernière, est désormais intégré au plug-in Arsenal de Mitre.

Arsenal est un outil qui « implémente les tactiques et les techniques définies dans le cadre Mitre Atlas et a été construit à partir de Counterfit de Microsoft en tant que bibliothèque d’attaques contradictoires automatisées », a expliqué l’annonce de Mitre. Le plug-in Arsenal est spécialement conçu pour être utilisé par les praticiens de la sécurité qui manquent peut-être de connaissances approfondies sur l’IA et les technologies d’apprentissage automatique.

De plus, Counterfit de Microsoft a maintenant été intégré à Caldera de Mitre, qui est utilisé pour automatiser les attaques de l’équipe rouge à l’aide de profils d’attaque émulés.

Les deux sociétés ont également collaboré sur MITRE Atlas, qui est une base de connaissances sur les techniques d’attaque utilisées contre les systèmes d’IA. Atlas est décrit par Microsoft comme un « cadre de type ATT&CK pour les attaques d’apprentissage automatique contradictoires » qui est particulièrement utile pour cartographier les attaques de « compromis de la chaîne d’approvisionnement d’apprentissage automatique ».

Voici comment Mitre a décrit les collaborations globales des outils de sécurité de l’IA avec Microsoft :

Counterfit de Microsoft est un outil qui permet aux chercheurs en ML de mettre en œuvre une variété d’attaques contradictoires sur les algorithmes d’IA. MITRE CALDERA est une plate-forme qui permet la création et l’automatisation de profils d’adversaires spécifiques. MITRE ATLAS, qui signifie Adversarial Threat Landscape for Artificial-Intelligence Systems, est une base de connaissances sur les tactiques, les techniques et les études de cas de l’adversaire pour les systèmes ML basés sur des observations du monde réel, des démonstrations d’équipes rouges ML et de groupes de sécurité, et l’état du possible à partir de la recherche universitaire.

L’équipe rouge de l’IA de Microsoft et les meilleures pratiques
Microsoft, pour sa part, a noté qu’il dispose d’une « AI Security Red Team » interne qui a sondé les vulnérabilités de l’IA et de l’apprentissage automatique, émulant « une gamme d’adversaires, des script kiddies aux attaquants avancés ».

Cette équipe a identifié des vulnérabilités logicielles courantes comme points sensibles pour les attaques contre les systèmes d’IA et d’apprentissage automatique. Les vulnérabilités incluent « un cryptage médiocre dans les points de terminaison d’apprentissage automatique, des espaces de travail et des environnements d’apprentissage automatique mal configurés et des autorisations trop larges dans les comptes de stockage contenant le modèle d’apprentissage automatique et les données de formation ».

Les recommandations générales de Microsoft aux professionnels de la sécurité protégeant les systèmes d’IA sont d’utiliser des registres modèles et de mettre en œuvre les « meilleures pratiques de sécurité » pour les systèmes d’IA. Ces meilleures pratiques, décrites dans les conseils de Microsoft, incluent « la mise en bac à sable de l’environnement exécutant des modèles ML via des conteneurs et la virtualisation des machines, la surveillance du réseau et des pare-feu ». Enfin, Microsoft a exhorté les professionnels de la sécurité à utiliser Mitre Atlas pour comprendre les menaces de l’IA et « les imiter à l’aide de Microsoft Counterfit via MITRE CALDERA ».

L’annonce de Microsoft comprenait des liens vers un ensemble d’outils et de guides concernant la sécurité de l’IA. C’est le document « Taxonomie » pour les ingénieurs et les décideurs politiques qui est peut-être le meilleur du groupe pour décrire les choses en langage clair. Par exemple, il définit les attaques d’IA telles que l’empoisonnement, le vol de modèle et la reprogrammation, entre autres.

Microsoft a également suggéré que ses efforts de sécurité de l’IA contribueront à éliminer la complexité et à ouvrir des emplois dans la cybersécurité, selon ce LinkedIn.com annonce de Charlie Bell, vice-président exécutif pour la sécurité, la conformité, l’identité et la gestion chez Microsoft.

En plus de sa collaboration avec Mitre, Microsoft a également travaillé avec la société de référentiel d’apprentissage automatique Hugging Face pour créer « un scanner de sécurité spécifique à l’IA ».