Le NCSC publie des principes de sécurité « vagues » pour les modèles d’apprentissage automatique
Le National Cyber Security Center (NCSC) du Royaume-Uni a publié un ensemble de principes de sécurité pour les développeurs et les entreprises mettant en œuvre des modèles d’apprentissage automatique. Un spécialiste du ML qui s’est entretenu avec Moniteur technique a déclaré que les principes représentent une direction positive, mais sont vagues en ce qui concerne les détails.
Le NCSC a développé ses principes de sécurité alors que le rôle de l’apprentissage automatique et de l’intelligence artificielle se développe dans l’industrie et la société au sens large, de l’assistant IA dans les smartphones à l’utilisation de l’apprentissage automatique dans les soins de santé. Le plus récent indice mondial d’adoption de l’IA d’IBM a révélé que 35 % des entreprises ont déclaré utiliser l’IA dans leur entreprise, et 42 % supplémentaires ont déclaré qu’elles exploraient l’IA.
Le NCSC affirme qu’à mesure que l’utilisation de l’apprentissage automatique se développe, il est important que les utilisateurs sachent qu’il est déployé en toute sécurité et qu’il ne met pas en danger la sécurité personnelle ou les données. Il s’avère que c’est vraiment difficile, a déclaré l’agence dans un article de blog. Ce sont ces défis, dont beaucoup n’ont pas de solutions simples, qui nous ont motivés à développer des conseils pratiques sous la forme de nos principes.
Cela impliquait d’examiner les techniques et les défenses contre les failles de sécurité potentielles, mais aussi d’adopter une approche plus pragmatique et de trouver des moyens concrets de protéger les systèmes d’apprentissage automatique contre l’exploitation dans un environnement réel.
La nature des modèles d’apprentissage automatique, qui les fait évoluer grâce à l’analyse automatique des données, rend leur sécurisation difficile. Étant donné que la logique interne d’un modèle repose sur des données, son comportement peut être difficile à interpréter et il est souvent difficile (voire impossible) de comprendre pleinement pourquoi il fait ce qu’il fait, indique le blog du NCSC.
Cela signifie que de nombreux composants d’apprentissage automatique sont déployés dans des réseaux et des systèmes sans le même niveau de sécurité élevé que celui des outils non automatisés, laissant de grandes parties du système inaccessibles aux professionnels de la cybersécurité. Cela fait que certaines vulnérabilités sont manquées et exposent le système à des attaques et introduisent également davantage de vulnérabilités inhérentes à l’apprentissage automatique et présentes à toutes les étapes du cycle de vie de l’apprentissage automatique.
Manque de transparence dans les modèles d’apprentissage automatique
Le groupe d’attaques conçues pour exploiter ces problèmes inhérents à l’apprentissage automatique est connu sous le nom d’apprentissage automatique contradictoire (AML) et leur compréhension nécessite la connaissance de plusieurs disciplines, notamment la science des données, la cybersécurité et le développement de logiciels.
Le NCSC a produit un ensemble de principes de sécurité pour les systèmes contenant des composants de ML dans le but de sensibiliser aux attaques et aux défenses AML toute personne impliquée dans le développement, le déploiement ou le démantèlement d’un système contenant du ML. La logique utilisée par les modèles ML et les données utilisées pour former les modèles peuvent souvent être opaques, laissant les experts en sécurité dans l’ignorance lorsqu’il s’agit de les inspecter à la recherche de failles de sécurité.
Contenu de nos partenaires
Les principes suggèrent de concevoir la sécurité lors de la rédaction des exigences système, de sécuriser la chaîne d’approvisionnement et de s’assurer que les données proviennent d’une source fiable et de sécuriser l’infrastructure en appliquant des contrôles de confiance à tout ce qui entre dans l’environnement de développement.
Les actifs doivent être suivis grâce à la création d’une documentation couvrant la création, l’exploitation et la gestion du cycle de vie des modèles et des ensembles de données, et garantissant que l’architecture du modèle est conçue pour la sécurité.
ML ne présente pas nécessairement plus de danger que tout autre élément logique dans un système logiciel, mais il y a quelques nuances dans les modèles ML qui doivent être appréciées, déclare Nigel Cannings, fondateur de la société de solutions de conformité Intelligent Voice.
Un système ML est construit sur des données, le système fini représente une propriété intellectuelle précieuse et dans certains cas, les données utilisées pour le former sont également quelque chose qui doit souvent être protégé.
Cela reflète les préoccupations soulevées par le NCSC qui a déclaré que sans informations ouvertes sur les données utilisées pour former les algorithmes d’apprentissage automatique ou les méthodes qu’il utilise pour faire ses conclusions, il est difficile de repérer les vulnérabilités qui pourraient exposer le système.
Cependant, Cannings prévient que si les principes du NCSC sont une initiative positive, le manque de détails les rend moins utiles en tant qu’outil de communication des risques potentiels. Les principes du NCSC sont vagues et fournissent des lignes directrices générales avec beaucoup d’emprunts à la cybersécurité logicielle conventionnelle », dit-il. « Ils ne sont pas faux et soulignent l’importance de l’éducation des développeurs et des scientifiques des données, mais plus de détails auraient pu être fournis pour communiquer les risques. »
Principes de sécurité NCSC ML « une direction de voyage »
Les développeurs et les administrateurs sont susceptibles de prendre des mesures pour protéger leurs modèles s’ils sont conscients des risques qu’ils peuvent exposer, explique Canning, ajoutant que de la même manière que l’ingénierie logicielle a évolué pour être de plus en plus soucieuse de la sécurité, ML et MLOps en bénéficieront. pratique aussi.
Les principes du NCSC sont plus une direction de voyage qu’un ensemble de directives ou de plans à suivre, dit-il, et les mesures exactes prises varieront selon le modèle et changeront avec la recherche.
Todd R Weiss, analyste pour Futurum Research, ajoute : Il est sage de considérer tous les aspects de la sécurité en ce qui concerne l’IA et le ML, même si les deux technologies peuvent également aider les entreprises à relever et à résoudre les défis technologiques. Comme tant de choses dans la vie, l’IA et le ML sont également des épées à double tranchant qui peuvent apporter d’énormes avantages ainsi que des dommages. Ces préoccupations doivent être mises en balance avec leurs avantages dans le cadre d’une infrastructure informatique globale et d’une stratégie commerciale.
Malgré ces risques inhérents, Weiss a déclaré que l’IA et le ML sont bien plus bénéfiques et utiles en tant que technologies dans notre monde. Il soutient : Sans l’IA et le ML, des jumeaux numériques incroyablement puissants ne seraient pas possibles, les percées médicales ne se produiraient pas et les communautés métavers naissantes ne seraient pas possibles. Il existe de nombreux autres exemples des avantages de l’IA et du ML, et il y aura toujours de mauvais acteurs à la recherche de moyens de causer des ravages dans toutes les formes de technologie. »
Weiss a félicité le NCSC pour ses principes de sécurité ML, car ils encourageront la sensibilisation, l’acceptation et la réflexion critique sur ces préoccupations persistantes et peuvent activement aider les entreprises à prendre ces questions à cœur lors de l’utilisation et de l’exploration de l’IA et du ML.