Présentation du framework IBM pour sécuriser l’IA générative – IBM Blog
Alors que l’intelligence artificielle (IA) générative devient un domaine d’investissement technologique de premier plan, de nombreuses organisations ne sont pas préparées à faire face aux risques de cybersécurité qui y sont associés.
Comme pour toute nouvelle technologie, il est primordial que nous reconnaissions les nouveaux risques de sécurité qu’apporte l’IA générative, car il ne fait aucun doute que les adversaires tenteront d’exploiter toute faiblesse pour poursuivre leurs objectifs. En fait, selon l’IBM Institute for Business Value, 96 % des dirigeants déclarent que l’adoption de l’IA générative rend probable une faille de sécurité dans leur organisation au cours des trois prochaines années.
Alors que les modèles d’IA ingèrent des quantités de données précieuses et sensibles dans leurs ensembles de formation, et que les dirigeants d’entreprise examinent comment ces modèles peuvent optimiser les opérations et les résultats critiques, les enjeux sont incroyablement élevés. Les organisations ne peuvent pas se permettre d’introduire une IA non sécurisée dans leurs environnements.
Framework IBM pour sécuriser l’IA générative
Dans ce blog, nous présentons le Framework IBM pour sécuriser l’IA générative. Il peut aider les clients, les partenaires et les organisations du monde entier à mieux comprendre les attaques les plus probables contre l’IA et à prioriser les approches défensives les plus importantes pour sécuriser rapidement leurs initiatives d’IA générative.
Il est essentiel de sécuriser l’IA à chaque étape du pipeline d’IA, notamment lors de la collecte et du traitement des données, du développement et de la formation des modèles, ainsi que de l’inférence et de l’utilisation des modèles. En tant que telles, les organisations doivent sécuriser les données, le modèle et son utilisation. Ils doivent également sécuriser l’infrastructure sur laquelle les modèles d’IA sont construits et exécutés. Enfin, ils doivent établir une gouvernance de l’IA et surveiller l’équité, les préjugés et les dérives au fil du temps.
Nous détaillons ci-dessous les risques à chaque étape du pipeline d’IA et comment le protéger contre les principales attaques identifiées.
Sécurisez les données
Pendant la phase de collecte et de traitement des données, non seulement vous devez collecter des quantités interminables de données pour alimenter un modèle d’IA, mais vous donnez également accès à de nombreuses personnes différentes, notamment des scientifiques des données, des ingénieurs, des développeurs et autres. Il existe un risque inhérent à centraliser toutes ces données en un seul endroit et à accorder à diverses parties prenantes, dont la plupart n’ont pas d’expérience en matière de sécurité, l’accès à celles-ci.
Considérez simplement si la propriété intellectuelle (PI) fondamentale pour l’entreprise est exposée en raison d’une mauvaise gestion des données de formation, créant potentiellement une menace existentielle pour l’entreprise. Tirer parti d’une multitude de données pour un modèle d’IA signifie que les organisations doivent évaluer les différents risques liés aux informations personnelles identifiables (PII), aux problèmes de confidentialité et à d’autres informations sensibles, puis mettre en place les contrôles de sécurité appropriés autour de ces données.
Sauvegardes et défenses contre les attaques les plus probables
La cible principale de la phase de collecte de données sont les ensembles de données sous-jacents, l’exfiltration de données étant considérée comme la technique la plus probable que les attaquants chercheront à utiliser pour mettre la main sur des informations précieuses et monétisables. Alors que les attaquants recherchent la voie de la moindre résistance, les ensembles de données sous-jacents constituent une lumière clignotante promettant un rendement élevé.
Les organisations ne doivent pas négliger l’importance des principes fondamentaux de sécurité : en fait, ils doivent être prioritaires. S’ils sont appliqués correctement, ces principes fondamentaux peuvent avoir un impact substantiel sur la posture de sécurité d’une organisation. Cela implique de se concentrer sur la découverte et la classification des données, le chiffrement au repos et en transit, ainsi que la gestion des clés assurée par des plateformes de sécurité des données telles qu’IBM Security® Guardium®. Cela signifie également se concentrer sur les principes fondamentaux de la gestion des identités et des accès appliqués par des solutions telles qu’IBM Security® Verify, qui contribuent à garantir qu’aucune entité ne dispose d’un accès illimité au modèle d’IA. Enfin, les organisations doivent sensibiliser les data scientists et les chercheurs à la sécurité et s’assurer que les équipes de sécurité travaillent en étroite collaboration avec ces équipes pour garantir des garde-fous appropriés.
Sécurisez le modèle
Dans le cadre du développement de modèles, vous créez des applications d’une nouvelle manière, ce qui implique souvent l’introduction de nouvelles vulnérabilités exploitables que les attaquants peuvent utiliser comme points d’entrée dans l’environnement et, par conséquent, dans vos modèles d’IA. Étant donné que les organisations ont toujours eu du mal à gérer un nombre croissant de vulnérabilités connues trouvées dans leurs environnements, ce risque se répercutera sur l’IA.
Le développement d’applications d’IA commence souvent par la réutilisation par les équipes de science des données de modèles d’apprentissage automatique (ML) pré-entraînés et open source à partir de référentiels de modèles en ligne, qui manquent souvent de contrôles de sécurité complets. Cependant, la valeur qu’ils apportent aux organisations, comme la réduction considérable du temps et des efforts nécessaires à l’adoption de l’IA générative, dépasse souvent ce risque, et le répercute finalement sur l’entreprise. Le manque général de sécurité autour des modèles ML, associé aux données de plus en plus sensibles auxquelles les modèles ML sont exposés, signifie que les attaques ciblant ces modèles présentent un potentiel de dommages élevé.
Sauvegardes et défenses contre les attaques les plus probables
Les principales techniques d’attaque lors du développement du modèle sont les attaques de la chaîne d’approvisionnement en raison de la forte dépendance à l’égard de modèles ML open source pré-entraînés provenant de référentiels de modèles en ligne utilisés pour accélérer les efforts de développement. Les attaquants ont le même accès à ces référentiels en ligne et peuvent y déployer une porte dérobée ou un logiciel malveillant. Une fois téléchargés dans le référentiel, ils peuvent devenir un point d’entrée pour toute personne téléchargeant le modèle infecté. Si ces modèles sont infectés, cela peut être incroyablement difficile à détecter. Les organisations doivent être très prudentes quant à l’endroit où elles consomment les modèles et à la fiabilité de la source.
Les attaques par interface de programmation d’applications (API) constituent une autre préoccupation. Les organisations qui ne disposent pas des ressources ou de l’expertise nécessaires pour créer leurs propres modèles de langage étendus (LLM) s’appuient sur des API pour exploiter les capacités de modèles préemballés et pré-entraînés. Les attaquants reconnaissent qu’il s’agira d’un modèle de consommation majeur pour les LLM et chercheront à cibler les interfaces API pour accéder et exploiter les données transportées via les API.
Les attaquants peuvent également chercher à exploiter des agents LLM ou des plug-ins dotés d’autorisations excessives pour accéder à des fonctions ouvertes ou à des systèmes en aval pouvant effectuer des actions privilégiées dans les flux de travail de l’entreprise. Si un attaquant parvient à compromettre les privilèges accordés aux agents IA, les dégâts pourraient être destructeurs.
L’objectif des organisations devrait inclure :
Sécuriser l’utilisation
Lors de l’inférence et de l’utilisation en direct, les attaquants peuvent manipuler les invites pour jailbreaker les garde-corps et inciter les modèles à se comporter mal en générant des réponses non autorisées aux invites nuisibles qui incluent des informations biaisées, fausses ou toxiques. Cela peut nuire à la réputation de l’entreprise. Les attaquants peuvent également chercher à manipuler le modèle et à analyser les paires entrée/sortie pour former un modèle de substitution afin d’imiter le comportement du modèle cible, « volant » efficacement ses capacités et coûtant à l’entreprise son avantage concurrentiel.
Sauvegardes et défenses contre les attaques les plus probables
Plusieurs types d’attaques sont préoccupants à cette étape du pipeline de l’IA. Premièrement, les injections d’invites : les attaquants utilisent des invites malveillantes pour jailbreaker des modèles et obtenir un accès injustifié, voler des données sensibles ou introduire des biais dans les sorties. Une autre préoccupation concerne le déni de service du modèle, où les attaquants submergent le LLM avec des entrées qui dégradent la qualité du service et entraînent des coûts de ressources élevés. Les organisations doivent également se préparer et se défendre contre le vol de modèle, dans lequel les attaquants créent des entrées pour collecter les sorties du modèle afin de former un modèle de substitution qui imite le comportement du modèle cible.
Nos meilleures pratiques incluent la surveillance des entrées malveillantes telles que les injections rapides et les sorties contenant des données sensibles ou du contenu inapproprié, et la mise en œuvre de nouvelles défenses capables de détecter et de répondre aux attaques spécifiques à l’IA telles que l’empoisonnement des données, l’évasion de modèle et l’extraction de modèle. De nouvelles solutions spécifiques à l’IA sont entrées sur le marché sous le nom de Machine Learning Detection and Response (MLDR). Les alertes générées par ces solutions peuvent être intégrées aux solutions d’opérations de sécurité, telles qu’IBM Security® QRadar®, permettant aux équipes du centre d’opérations de sécurité (SOC) de lancer rapidement des playbooks de réponse qui refusent l’accès, mettent en quarantaine ou déconnectent les modèles compromis.
Sécuriser les infrastructures
L’une des premières lignes de défense est une infrastructure sécurisée. Les organisations doivent tirer parti de l’expertise existante pour optimiser les normes de sécurité, de confidentialité et de conformité dans les environnements distribués hébergeant les systèmes d’IA. Il est essentiel qu’ils renforcent la sécurité des réseaux, le contrôle d’accès, le cryptage des données ainsi que la détection et la prévention des intrusions autour des environnements d’IA. Ils devraient également envisager d’investir dans de nouvelles défenses de sécurité spécialement conçues pour protéger l’IA.
Établir une gouvernance
IBM est à la pointe du secteur en matière de gouvernance de l’IA pour atteindre des modèles d’IA fiables. Alors que les organisations confient leurs processus opérationnels à l’IA, elles doivent s’assurer que le système d’IA ne dérive pas et qu’il agit comme prévu. Cela place les garde-fous opérationnels au cœur d’une stratégie d’IA efficace. Un modèle qui s’écarte opérationnellement de ce pour quoi il a été conçu peut introduire le même niveau de risque qu’un adversaire qui aurait compromis votre infrastructure.
IBM fournit non seulement la sécurité de l’IA, mais également une gouvernance opérationnelle pour l’IA afin de garantir que les initiatives d’IA de nos clients sont à la fois sécurisées et fiables.
Le leader de l’IA responsable
IBM bénéficie d’un long héritage de confiance et d’un profond engagement envers l’IA, fondé sur la sécurité, l’éthique, la confidentialité et la gouvernance. Ces principes sous-tendent notre IA, c’est pourquoi nous savons que comment Les modèles d’IA construits et formés sont essentiels pour obtenir des résultats réussis et responsables alimentés par l’IA.
La qualité, la traçabilité et la protection des données dans tous nos modèles de base sont notre priorité absolue. Chez IBM, nous mettons en œuvre des contrôles stricts et des processus méticuleux sur le pipeline de formation de nos modèles. Ils sont formés sur des données hautement organisées pour garantir l’exactitude, l’exhaustivité et la provenance des données tout en réduisant le risque d’hallucination du modèle.
Notre engagement est évident à travers l’introduction d’IBM® watsonx.governance™, une plateforme conçue pour aider les entreprises qui utilisent de grands modèles d’IA à obtenir des résultats impartiaux, factuellement corrects et explicables.
Nous avons également structuré des processus pour assurer la transparence des données et une traçabilité complète à nos clients, avec la possibilité de présenter la vérification légale de nos sources de données. Nous avons récemment exprimé notre engagement en faveur de la transparence et d’une IA responsable en publiant les détails des ensembles de données de formation pour les modèles Granite et en annonçant une clause d’indemnisation pour nos clients contre les réclamations en matière de droits d’auteur pour nos modèles de base.
IBM continue de démontrer et de renforcer son engagement en faveur du déploiement efficace et responsable de l’IA, avec un fonds de capital-risque pour l’IA d’entreprise de 500 millions de dollars destiné non seulement à alimenter l’innovation, mais également à investir dans des capacités permettant de sécuriser l’IA et de créer des solutions responsables adaptées aux besoins changeants des clients.
Pour plus d’informations sur la manière dont les organisations peuvent adopter en toute sécurité l’IA générative, consultez :
Explorez la cybersécurité à l’ère de l’IA générative