Cybersécurité et IA : Comprendre et atténuer les menaces courantes de cybersécurité pour les modèles d’IA | Aperçus | Vinson & Elkins LLP
L’intelligence artificielle (IA) révolutionne le lieu de travail et apporte avec elle des défis uniques en matière de cybersécurité. L’importance croissante de l’IA s’accompagne également du besoin de nouvelles approches en matière de cybersécurité.
Alors que les modèles d’IA sont de plus en plus utilisés dans des applications critiques telles que la finance, les soins de santé et la sécurité nationale, le potentiel de cyberattaques ciblant ces systèmes augmente. Les menaces de cybersécurité pour les modèles d’IA sont nouvelles et distinctes des exploits logiciels plus courants et mieux compris. Trois des menaces de cybersécurité les plus répandues pour l’IA sont l’empoisonnement des données, les attaques par évasion et les attaques de confidentialité. En comprenant les vulnérabilités uniques de divers modèles d’IA, les organisations peuvent prendre des mesures pour assurer la mise en œuvre efficace des systèmes d’IA sur leur lieu de travail tout en minimisant les risques commerciaux.
Empoisonnement des données
Lorsque ChatGPT a été lancé pour la première fois fin novembre 2022, de nombreux utilisateurs ont immédiatement commencé à l’utiliser pour résoudre des problèmes de codage. Mais ChatGPT génère des réponses basées sur l’association de mots, sans capacité indépendante de vérification des faits. Alors que les babillards électroniques de programmation étaient inondés de réponses basées sur ChatGPT, les utilisateurs ont rapidement réalisé que les réponses n’étaient pas fiables et qu’elles étaient parfois terriblement erronées. En conséquence, ChatGPT a été banni de Stack Overflow, l’un des forums de programmation les plus populaires, dans la semaine suivant le lancement de ChatGPT. Alors que les erreurs factuelles de ChatGPT étaient accidentelles, des acteurs malveillants pourraient utiliser des techniques similaires dans le cadre d’efforts intentionnels pour diffuser des informations erronées. C’est ce qu’on appelle une attaque par empoisonnement des données.
Une attaque d’empoisonnement des données implique la manipulation délibérée des données d’entraînement d’un modèle d’IA pour amener le modèle à prendre des décisions incorrectes ou à se comporter de manière inattendue. En injectant des informations malveillantes ou trompeuses dans les données de formation, le système d’IA peut apprendre des modèles ou des relations incorrects entre les données d’entrée et les sorties cibles. Comme de nombreux modèles d’IA sont formés sur des données glanées sur Internet, planter ces données malveillantes peut être aussi simple que de modifier une page Wikipedia ou de planter de fausses informations sur Reddit. Lorsqu’il est utilisé dans des environnements de production, ce modèle empoisonné peut produire de mauvaises décisions aux conséquences graves. Le potentiel de conséquences néfastes ne fait qu’augmenter à mesure que les systèmes d’IA se voient confier des applications commerciales plus critiques. Ces types d’attaques peuvent être atténués en vérifiant et en validant soigneusement les données de formation et en surveillant les performances des systèmes d’IA au fil du temps pour détecter toute anomalie potentielle ou tout signe d’attaque.
Évasion
La Defense Advanced Research Projects Agency (DARPA) a développé un système avancé d’IA de vision par ordinateur pour avertir les soldats de l’approche des menaces. Un groupe de Marines a été mis au défi de se faufiler devant une caméra de sécurité équipée du système. Deux Marines ont évité d’être détectés en se cachant sous une boîte en carton. Un autre a évité la détection en tenant un faux arbre devant lui. Oui vraiment. Ceci est un exemple d’attaque d’évasion.
L’évasion est un type d’attaque dans lequel un attaquant manipule les données d’entrée pour amener le système d’IA à faire des prédictions ou des décisions incorrectes. L’objectif d’une attaque par évasion est de contourner les défenses du système en créant des données d’entrée spécialement conçues pour induire en erreur ou tromper le modèle d’IA. Par exemple, un attaquant peut modifier des images ou manipuler des données audio d’une manière qui les fait apparaître bénignes pour le système d’IA, alors qu’en réalité elles contiennent du contenu malveillant. Cela peut entraîner des failles de sécurité ou une mauvaise classification des données et peut nuire à l’efficacité et à la fiabilité globales du système d’IA. Dans l’exemple de la DARPA, le modèle avait été entraîné à reconnaître les soldats qui marchaient, et non à déplacer des boîtes et des arbres, et avait donc complètement raté les Marines qui se cachaient.
Pour prévenir les attaques par évasion, il est important de concevoir des systèmes d’IA robustes et résistants à de telles manipulations, et de développer des méthodes de test capables d’identifier et de remédier aux faiblesses potentielles de la capacité des modèles d’IA à classer et traiter avec précision les données d’entrée.
Confidentialité
Vous ne connaissez probablement pas Ann Graham Lotz, mais Stable Diffusion oui. Stable Diffusion est un modèle d’IA générative désormais célèbre pour créer des images basées sur des invites de texte. Les chercheurs ont réalisé que Stable Diffusion pouvait recréer des images à partir de son ensemble d’entraînement lorsqu’il y était invité de manière appropriée, même si théoriquement le modèle ne devrait pas avoir une copie de cette image. Il s’agit d’un exemple d’attaque de confidentialité, une tentative de vol, de modification ou d’exposition d’informations sensibles traitées ou stockées par le système d’IA. Ce type d’attaque peut être initié par des acteurs malveillants qui obtiennent un accès non autorisé au système d’IA, par des initiés qui abusent de leurs privilèges pour accéder à des informations sensibles, ou même par des utilisateurs astucieux qui manipulent les entrées d’un système pour mieux comprendre comment ses sorties sont catégorisées.
Les attaques contre la confidentialité peuvent avoir de graves conséquences, en particulier dans les cas où le système d’IA traite des informations sensibles, telles que des données d’identification personnelle, des dossiers financiers, des secrets commerciaux ou la propriété intellectuelle. Si des informations sensibles sont utilisées dans la formation du modèle, il peut être possible de récupérer ces informations à partir du modèle formé.
Pour atténuer ce risque, il faut examiner attentivement si des informations sensibles sont nécessaires pour la formation du modèle (par opposition aux informations anonymisées) et placer des garanties appropriées sur la maintenance et l’utilisation du modèle pour empêcher l’exposition d’informations confidentielles ou sensibles.
Ce que cela signifie pour vous
La prolifération des technologies d’IA apporte de nouvelles menaces de cybersécurité qui devraient être prises en compte par les développeurs et les utilisateurs de modèles d’IA. Alors que l’IA devient de plus en plus utilisée sur le lieu de travail et en tant que composant essentiel des applications et des flux de travail, il est important que les organisations prennent ces menaces au sérieux et mettent en œuvre les mesures de sécurité nécessaires pour se protéger et protéger leurs nouveaux systèmes d’IA. Les avocats expérimentés peuvent jouer un rôle crucial dans la protection de l’organisation en donnant des conseils sur les considérations juridiques et éthiques liées à la sécurité de l’IA, ainsi qu’en travaillant avec d’autres parties prenantes pour s’assurer que les systèmes d’IA sont conçus et déployés de manière sécurisée.
Les équipes de cybersécurité, de confidentialité des données et de technologie de Vinson & Elkins ont une expérience approfondie de l’IA, de la cybersécurité et de la gestion des risques, et aident les clients à évaluer et à mettre en œuvre des stratégies de gestion des risques pour les technologies d’IA émergentes. Pour plus de discussions concernant la mise en œuvre de l’IA sur le lieu de travail, veuillez contacter Palmina M. Fava et Parker D. Hancock.