Les projets d’IA générative représentent un risque majeur pour la cybersécurité des entreprises

La précipitation des organisations à adopter l’IA générative peut ignorer les menaces de sécurité importantes que posent les technologies basées sur les grands modèles de langage (LLM) telles que ChatGPT, en particulier dans l’espace de développement open source et dans l’ensemble de la chaîne d’approvisionnement logicielle, selon de nouvelles recherches.

Un rapport de Rezilion publié le 28 juin a exploré l’attitude actuelle du paysage open source vis-à-vis des LLM, en particulier dans leur popularité, leur maturité et leur posture de sécurité. Ce que les chercheurs ont découvert, c’est que malgré l’adoption rapide de cette technologie au sein de la communauté open source (avec pas moins de 30 000 projets liés à GPT sur GitHub uniquement), les projets initiaux en cours de développement sont, dans l’ensemble, peu sûrs, ce qui entraîne une menace accrue avec un risque de sécurité substantiel. pour les organisations.

Ce risque ne fera qu’augmenter à court terme alors que l’IA générative poursuit son adoption rapide dans l’ensemble de l’industrie, exigeant une réponse immédiate pour améliorer les normes et pratiques de sécurité dans le développement et la maintenance de la technologie, déclare Yotam Perkal, directeur de la recherche sur les vulnérabilités chez Rezilion.

« Sans améliorations significatives des normes et pratiques de sécurité entourant les LLM, la probabilité d’attaques ciblées et la découverte de vulnérabilités dans ces systèmes augmenteront », a-t-il déclaré à Dark Reading.

Dans le cadre de ses recherches, l’équipe a étudié la sécurité de 50 des projets open source basés sur GPT et LLM les plus populaires sur GitHub, dont la durée de développement variait de deux à six mois. Ce qu’ils ont découvert, c’est que même s’ils étaient tous extrêmement populaires auprès des développeurs, leur relative immaturité était associée à une cote de sécurité généralement faible.

Si les développeurs s’appuient sur ces projets pour développer une nouvelle technologie basée sur l’IA générative pour l’entreprise, ils pourraient alors créer encore plus de vulnérabilités potentielles contre lesquelles les organisations ne sont pas prêtes à se défendre, déclare Perkal.

« Au fur et à mesure que ces systèmes gagnent en popularité et en adoption, il est inévitable qu’ils deviennent des cibles attrayantes pour les attaquants, entraînant l’émergence de vulnérabilités importantes », a-t-il déclaré.

Principaux domaines de risque

Les chercheurs ont identifié quatre domaines clés de risque de sécurité de l’IA générative que présente l’adoption de l’IA générative dans la communauté open source, avec un certain chevauchement entre les groupes :

• Risque de limite de confiance ;
• Risque lié à la gestion des données ;
• Risque de modèle inhérent ;
• Et les meilleures pratiques de sécurité de base.

Limites de confiance dans le développement open source aide les organisations à établir des zones de confiance dans lesquelles elles peuvent avoir confiance dans la sécurité et la fiabilité des composants et des données d’une application. Cependant, comme les utilisateurs permettent aux LLM d’utiliser des ressources externes telles que des bases de données, des interfaces de recherche ou des outils informatiques externes, améliorant ainsi considérablement leurs fonctionnalités, l’imprévisibilité inhérente des résultats d’achèvement des LLM peut être exploitée par des acteurs malveillants.

« Le fait de ne pas répondre adéquatement à cette préoccupation peut augmenter considérablement les risques associés à ces modèles », ont écrit les chercheurs.

Risques liés à la gestion des données comme la fuite de données et l’empoisonnement des données de formation exposent également les entreprises à des risques s’ils ne sont pas pris en compte par les développeurs lorsqu’ils travaillent non seulement avec l’IA générative, mais avec tout système d’apprentissage automatique (ML), ont déclaré les chercheurs. Non seulement LLM peut divulguer involontairement des informations sensibles, des algorithmes propriétaires ou d’autres données confidentielles dans ses réponses, mais les acteurs de la menace peuvent également délibérément empoisonner les données de formation d’un LLM pour introduire des vulnérabilités, des portes dérobées ou des biais qui peuvent compromettre la sécurité, l’efficacité ou le comportement éthique de le modèle, ont averti les chercheurs.

Risques sous-jacents inhérents au modèle entre-temps, expliquent deux des principaux problèmes de sécurité LLM : un alignement inadéquat de l’IA et une dépendance excessive au contenu généré par LLM. « En fait, OpenAI, le créateur de ChatGPT, avertit ses utilisateurs de ces risques dans l’interface principale de ChatGPT », notent les chercheurs dans le rapport.

Ces risques font référence au phénomène de l’IA générative comme ChatGPT renvoyant des sources de données ou des recommandations fausses ou fabriquées, communément appelées « hallucinations », dont les chercheurs de Vulcan Cyber’s Voyager18 ont déjà averti qu’elles pourraient ouvrir les organisations aux attaques de la chaîne d’approvisionnement. Cela peut se produire lorsqu’un développeur demande à ChatGPT ou à une autre solution d’IA générative des recommandations pour des packages de code qui n’existent pas, ont noté les chercheurs de Vulcan et de Rezilion. Un attaquant peut l’identifier et publier un package malveillant en guise de substitut, que les développeurs utiliseront ensuite et écriront directement dans une application.

D’autres utilisateurs, ignorant l’intention malveillante, peuvent alors poser des questions similaires à ChatGPT, et le risque se propage à partir de là à travers la chaîne d’approvisionnement car le modèle d’IA n’est pas au courant de la manipulation du code, ont-ils noté. « Par conséquent, les utilisateurs peu méfiants peuvent adopter sans le savoir le package recommandé, mettant leurs systèmes et leurs données en danger », ont écrit les chercheurs.

Enfin, le risque lié aux meilleures pratiques de sécurité générale découle de l’adoption open source de l’IA générative, dans les domaines de la gestion inappropriée des erreurs ou des contrôles d’accès insuffisants (qui ne sont pas propres aux modèles LLM ou ML). Un attaquant peut exploiter les informations contenues dans les messages d’erreur LLM pour recueillir des informations sensibles ou des détails système, qu’il peut ensuite utiliser pour lancer une attaque ciblée ou exploiter des vulnérabilités connues, ont déclaré les chercheurs. Et des contrôles d’accès insuffisants pourraient également permettre aux utilisateurs disposant d’autorisations limitées d’effectuer des actions au-delà de leur portée prévue, compromettant potentiellement le système.

Comment les organisations peuvent se préparer et atténuer les risques

Les chercheurs de Rezilion ont présenté des moyens spécifiques permettant aux organisations d’atténuer chacun de ces risques, ainsi que des conseils généraux sur la façon dont elles peuvent se préparer alors que la communauté open source continue d’adopter ces modèles pour le développement de logiciels de nouvelle génération.

La première étape de cette préparation consiste à prendre conscience que l’intégration de l’IA générative et des LLM s’accompagne de défis et de problèmes de sécurité uniques qui peuvent être différents de tout ce que les organisations ont rencontré auparavant, déclare Perkal. De plus, la responsabilité de préparer et d’atténuer les risques LLM incombe non seulement aux organisations intégrant la technologie, mais également aux développeurs impliqués dans la construction et la maintenance de ces systèmes, note-t-il.

En tant que telles, les organisations devraient adopter ce que Perkal appelle une approche « sécurisée dès la conception » lors de la mise en œuvre de systèmes basés sur l’IA générative, dit-il. Cela implique de tirer parti des cadres existants tels que Secure AI Framework (SAIF), NeMo Guardrails ou MITRE ATLAS pour intégrer des mesures de sécurité directement dans leurs systèmes d’IA, explique Perkal.

Il est également « impératif » que les organisations surveillent et enregistrent les interactions LLM et vérifient et examinent régulièrement les réponses du système d’IA pour détecter les problèmes potentiels de sécurité et de confidentialité, puis mettent à jour et modifient le LLM en conséquence, conclut-il.