SEI et OpenAI recommandent des moyens d’évaluer de grands modèles de langage pour les applications de cybersécurité

Universités Carnegie MellonInstitut de génie logiciel(ouvre dans une nouvelle fenêtre) (SEI) et OpenAI ont publié unpapier blanc(ouvre dans une nouvelle fenêtre) qui a révélé que les grands modèles linguistiques (LLM) pourraient être un atout pour les professionnels de la cybersécurité, mais devraient être évalués à l’aide de scénarios réels et complexes pour mieux comprendre les capacités et les risques technologiques. Les LLM sont à la base des plateformes d’intelligence artificielle (IA) générative d’aujourd’hui, telles que Gemini de Google, Bing AI de Microsoft et ChatGPT, publiées en novembre 2022 par OpenAI. Ces plates-formes acceptent les invites des utilisateurs humains, utilisent l’apprentissage en profondeur sur de grands ensembles de données et produisent du texte, des images ou du code plausibles. Les candidatures aux LLM ont explosé au cours de la dernière année dans des secteurs tels que les arts créatifs, la médecine, le droit etingénierie et acquisition de logiciels(ouvre dans une nouvelle fenêtre).

Alors qu’il était dansPremiers jours(ouvre dans une nouvelle fenêtre), la perspective d’utiliser les LLM pour la cybersécurité est de plus en plus tentante. La technologie en plein essor semble être un multiplicateur de force approprié pour le domaine de la cybersécurité, riche en données, profondément technique et souvent laborieux. Ajoutez la pression nécessaire pour garder une longueur d’avance sur les cyberattaquants utilisant le LLM, notammentacteurs étatiques(ouvre dans une nouvelle fenêtre)et le leurre devient encore plus brillant.

Cependant, il est difficile de savoir dans quelle mesure les LLM pourraient être capables de mener des cyberopérations ou quel serait le risque s’ils étaient utilisés par les défenseurs. La conversation autour de l’évaluation des capacités des LLM dans n’importe quel domaine professionnel semble se concentrer sur leurs connaissances théoriques, telles que les réponses aux questions d’examen standard. Unétude préliminaire(ouvre dans une nouvelle fenêtre) a découvert que GPT-3.5 Turbo avait réussi un examen de test d’intrusion commun.

Les LLM sont peut-être excellents en matière de rappel factuel, mais ce n’est pas suffisant, selon l’article SEI et OpenAI « Considérations pour l’évaluation de grands modèles linguistiques pour les tâches de cybersécurité ».

Un LLM pourrait en savoir beaucoup, a déclaréSam Perl(ouvre dans une nouvelle fenêtre)analyste senior en cybersécurité au sein des SEIDivision CERT(ouvre dans une nouvelle fenêtre) et coauteur de l’article, mais sait-il comment le déployer correctement dans le bon ordre et comment faire des compromis ?

Se concentrer sur les connaissances théoriques ignore la complexité et les nuances des tâches réelles de cybersécurité. En conséquence, les professionnels de la cybersécurité ne savent pas comment ni quand intégrer les LLM dans leurs opérations.

La solution, selon l’article, consiste à évaluer les LLM sur les mêmes branches de connaissances sur lesquelles un opérateur humain de cybersécurité serait testé : connaissances théoriques, ou informations fondamentales tirées des manuels ; des connaissances pratiques, telles que la résolution de problèmes de cybersécurité autonomes ; et connaissances appliquées, ou réalisation d’objectifs de niveau supérieur dans des situations ouvertes.

Tester un humain de cette façon est déjà assez difficile. Tester un réseau neuronal artificiel présente un ensemble unique d’obstacles. Même définir les tâches est difficile dans un domaine aussi diversifié que la cybersécurité. Attaquer quelque chose est très différent de faire des analyses médico-légales ou d’évaluer un fichier journal, a déclaréJeff Gennari(ouvre dans une nouvelle fenêtre), chef d’équipe et ingénieur senior dans la division SEI CERT et co-auteur de l’article. Chaque tâche doit être soigneusement réfléchie et une évaluation appropriée doit être conçue.

Une fois les tâches définies, une évaluation doit poser des milliers, voire des millions de questions. Les LLM en ont besoin pour imiter le don de l’esprit humain pour l’exactitude sémantique. L’automatisation sera nécessaire pour générer le volume de questions requis. C’est déjà faisable pour les connaissances théoriques. Mais les outils nécessaires pour générer suffisamment de scénarios pratiques ou appliqués et permettre à un LLM d’interagir avec un système exécutable n’existent pas. Enfin, le calcul des métriques sur toutes ces réponses aux tests pratiques et appliqués nécessitera de nouvelles rubriques d’exactitude.

Alors que la technologie rattrape son retard, le livre blanc fournit un cadre pour concevoir des évaluations réalistes de cybersécurité des LLM qui commence par quatre recommandations globales :

• Définissez la tâche du monde réel que l’évaluation doit capturer.
• Représenter les tâches de manière appropriée.
• Rendre l’évaluation robuste.
• Cadrez les résultats de manière appropriée.

Shing-hon Lau(ouvre dans une nouvelle fenêtre), chercheur principal en sécurité de l’IA au sein de la division CERT du SEI et l’un des coauteurs de l’article, note que ces orientations encouragent à ne plus se concentrer exclusivement sur les LLM, pour la cybersécurité ou dans tout autre domaine. Nous devons arrêter de penser à l’évaluation du modèle lui-même et nous tourner vers l’évaluation du système plus large qui contient le modèle ou sur la manière dont l’utilisation d’un modèle améliore les capacités humaines.

Les auteurs du SEI estiment que les LLM finiront par renforcer les opérateurs de cybersécurité humaine dans un rôle de soutien, plutôt que de travailler de manière autonome. Même ainsi, les LLM devront encore être évalués, a déclaré Gennari. Les cyberprofessionnels devront déterminer la meilleure façon d’utiliser un LLM pour prendre en charge une tâche, puis évaluer le risque de cette utilisation. À l’heure actuelle, il est difficile de répondre à l’une ou l’autre de ces questions si votre preuve est la capacité d’un LLM à répondre à des questions fondées sur des faits.

Le SEI applique depuis longtemps une rigueur technique àla cyber-sécurité(ouvre dans une nouvelle fenêtre) etIA(ouvre dans une nouvelle fenêtre). La combinaison des deux disciplines dans l’étude des évaluations LLM est l’une des façons dont le SEI dirige la recherche sur la cybersécurité de l’IA. L’année dernière, le SEI a également lancé leÉquipe de réponse aux incidents de sécurité IA (AISIRT)(ouvre dans une nouvelle fenêtre) donner aux États-Unis la capacité de faire face aux risques liés à la croissance rapide et à l’utilisation généralisée de l’IA.

OpenAI a contacté le SEI l’année dernière au sujet des évaluations de cybersécurité LLM, cherchant à mieux comprendre la sécurité des modèles qui sous-tendent ses plates-formes d’IA générative. Les coauteurs OpenAI de l’article, Joel Parish et Girish Sastry, ont apporté leur connaissance directe de la cybersécurité LLM et des politiques pertinentes. En fin de compte, tous les auteurs espèrent que l’article amorcera un mouvement vers des pratiques qui pourront éclairer ceux qui décident quand intégrer les LLM dans les cyber-opérations.

Les décideurs politiques doivent comprendre comment utiliser au mieux cette technologie en mission, a déclaré Gennari. S’ils disposent d’évaluations précises des capacités et des risques, ils seront alors mieux placés pour les utiliser efficacement.

Téléchargez le document »Considérations relatives à l’évaluation de grands modèles de langage pour les tâches de cybersécurité(ouvre dans une nouvelle fenêtre) » pour les 14 recommandations et plus d’informations. Lisez l’article du blog Gennari, Lau et Perls SEI sur le journal, La collaboration OpenAI donne 14 recommandations pour évaluer les LLM pour la cybersécurité(ouvre dans une nouvelle fenêtre). En savoir plus sur leRecherche des SEI sur les LLM(ouvre dans une nouvelle fenêtre) dans la bibliothèque numérique SEI.