Se tenir au courant de l’IA : liste de contrôle de la cybersécurité et de la gouvernance de l’OWASP LLM AI

Ce domaine implique à la fois les concurrents et les attaquants et se concentre non seulement sur le paysage des attaques mais aussi sur le paysage commercial. Cela implique de comprendre comment les concurrents utilisent l’IA pour générer des résultats commerciaux, ainsi que de mettre à jour les processus et politiques internes tels que les plans de réponse aux incidents (IRP) pour tenir compte des attaques et des incidents génératifs d’IA.

La modélisation des menaces est une technique de sécurité qui continue de gagner du terrain dans le cadre de la campagne plus large en faveur de systèmes sécurisés dès la conception, préconisée par la CISA et d’autres. Cela implique de réfléchir à la manière dont les attaquants peuvent utiliser les LLM et l’IA générative pour accélérer l’exploitation, à la capacité de l’entreprise à détecter l’utilisation malveillante des LLM et d’examiner si l’organisation peut protéger les connexions aux LLM et aux plates-formes d’IA générative à partir des systèmes et environnements internes.

L’adage selon lequel vous ne pouvez pas protéger ce que vous ne savez pas posséder s’applique également au monde de l’IA générative et des LLM. Ce domaine de la liste de contrôle implique de disposer d’un inventaire des actifs d’IA pour les solutions développées en interne ainsi que pour les outils et plates-formes externes.

Il est essentiel de comprendre non seulement les outils et services utilisés par une organisation, mais également leur propriété, en termes de qui sera responsable de leur utilisation. Il existe également des recommandations pour inclure des composants d’IA dans les SBOM et cataloguer les sources de données d’IA et leur sensibilité respective.

En plus d’avoir un inventaire des outils existants utilisés, il devrait également y avoir un processus pour intégrer et retirer les futurs outils et services de l’inventaire organisationnel en toute sécurité.

On dit souvent en plaisantant que les humains sont le maillon le plus faible, mais cela n’est pas nécessairement le cas si une organisation intègre correctement la formation sur la sécurité et la confidentialité de l’IA dans son parcours d’adoption de l’IA générative et du LLM.

Cela implique d’aider le personnel à comprendre les initiatives génératives d’IA/LLM existantes, ainsi que la technologie au sens large et son fonctionnement, ainsi que les principales considérations de sécurité, telles que les fuites de données. De plus, il est essentiel d’établir une culture de confiance et de transparence, afin que le personnel se sente à l’aise pour partager quels outils et services d’IA générative et LLM sont utilisés, et comment.

Un élément clé pour éviter l’utilisation de l’IA fantôme sera cette confiance et cette transparence au sein de l’organisation, sinon les gens continueront à utiliser ces plates-formes et ne le porteront tout simplement pas à l’attention des équipes informatiques et de sécurité par crainte de conséquences ou de sanctions.

Cela peut paraître surprenant, mais tout comme pour le cloud avant lui, la plupart des organisations n’établissent pas d’analyse de rentabilisation stratégique cohérente pour l’utilisation de nouvelles technologies innovantes, notamment l’IA générative et le LLM. Il est facile de se laisser prendre au piège du battage médiatique et de ressentir le besoin de se joindre à la course ou de se laisser distancer. Mais sans une analyse de rentabilisation solide, l’organisation risque de mauvais résultats, des risques accrus et des objectifs opaques.

Sans gouvernance, la responsabilité et les objectifs clairs sont presque impossibles. Cette zone de la liste de contrôle implique l’établissement d’un tableau RACI IA pour les efforts d’IA de l’organisation, la documentation et l’attribution des responsables des risques et de la gouvernance et l’établissement de politiques et de processus d’IA à l’échelle de l’organisation.

Même si elles nécessitent évidemment la contribution d’experts juridiques au-delà du domaine cybernétique, les implications juridiques de l’IA ne doivent pas être sous-estimées. Ils évoluent rapidement et pourraient avoir un impact sur la situation financière et la réputation de l’organisation.

Ce domaine implique une longue liste d’activités, telles que les garanties de produits impliquant l’IA, les CLUF IA, les droits de propriété sur le code développé avec des outils d’IA, les risques liés à la propriété intellectuelle et les dispositions d’indemnisation contractuelle, pour n’en nommer que quelques-unes. Pour le dire succinctement, assurez-vous d’engager votre équipe juridique ou vos experts pour déterminer les différentes activités juridiques que l’organisation devrait entreprendre dans le cadre de son adoption et de son utilisation de l’IA générative et des LLM.

Pour s’appuyer sur les discussions juridiques, les réglementations évoluent également rapidement, comme la loi européenne sur l’IA, et d’autres suivront sans doute bientôt. Les organisations doivent déterminer les exigences de conformité de leur pays, de leur état et de leur gouvernement en matière d’IA, leur consentement concernant l’utilisation de l’IA à des fins spécifiques telles que la surveillance des employés et comprendre clairement comment leurs fournisseurs d’IA stockent et suppriment les données et réglementent leur utilisation.

L’utilisation de solutions LLM nécessite des considérations et des contrôles de risques spécifiques. La liste de contrôle évoque des éléments tels que le contrôle d’accès, la sécurité du pipeline de formation, la cartographie des flux de données et la compréhension des vulnérabilités existantes ou potentielles dans les modèles LLM et les chaînes d’approvisionnement. De plus, il est nécessaire de demander des audits à des tiers, des tests d’intrusion et même des révisions de code pour les fournisseurs, tant au départ que de manière continue.

Le processus TEVV est celui spécifiquement recommandé par le NIST dans son AI Framework. Cela implique d’établir des tests, des évaluations, des vérifications et des validations continus tout au long des cycles de vie des modèles d’IA, ainsi que de fournir des mesures exécutives sur la fonctionnalité, la sécurité et la fiabilité du modèle d’IA.

Pour déployer les LLM de manière éthique, la liste de contrôle appelle à l’utilisation de modèles et de cartes de risques, qui peuvent être utilisées pour permettre aux utilisateurs de comprendre et de faire confiance aux systèmes d’IA, ainsi que pour aborder ouvertement les conséquences potentiellement négatives telles que les préjugés et la confidentialité.

Ces cartes peuvent inclure des éléments tels que les détails du modèle, l’architecture, les méthodologies de données de formation et les mesures de performances. L’accent est également mis sur la prise en compte des considérations et des préoccupations en matière d’IA responsable en matière d’équité et de transparence.

La génération augmentée par récupération (RAG) est un moyen d’optimiser les capacités des LLM lorsqu’il s’agit de récupérer des données pertinentes à partir de sources spécifiques. Cela fait partie de l’optimisation des modèles pré-entraînés ou du recyclage des modèles existants sur de nouvelles données pour améliorer les performances. La liste de contrôle recommandait de mettre en œuvre RAG pour maximiser la valeur et l’efficacité des LLM à des fins organisationnelles.

Enfin, la liste de contrôle appelle à l’utilisation de l’équipe rouge de l’IA, qui émule les attaques contradictoires des systèmes d’IA pour identifier les vulnérabilités et valider les contrôles et défenses existants. Il souligne que l’équipe rouge à elle seule ne constitue pas une solution ou une approche globale pour sécuriser l’IA générative et les LLM, mais devrait faire partie d’une approche globale pour garantir l’adoption de l’IA générative et des LLM.