Comment ChatGPT change la façon dont les praticiens de la cybersécurité envisagent le potentiel de l’IA

Dans certains cercles de la cybersécurité, c’est devenu une blague courante au fil des ans de se moquer de la façon dont l’intelligence artificielle et ses capacités sont vantées par les fournisseurs ou les leaders d’opinion de LinkedIn.

L’essentiel est que s’il existe des outils et des cas d’utilisation précieux pour la technologie dans la cybersécurité ainsi que dans d’autres domaines, de nombreuses solutions s’avèrent être surestimées par les équipes marketing et beaucoup moins sophistiquées ou pratiques qu’annoncées.

C’est en partie pourquoi la réaction des professionnels de la sécurité de l’information au cours de la semaine dernière à ChatGPT a été si fascinante. Une communauté déjà prête à être sceptique vis-à-vis de l’IA moderne est devenue obsédée par les applications potentielles réelles de cybersécurité d’un chatbot d’apprentissage automatique.

Cela a franchement influencé la façon dont j’ai pensé au rôle de l’apprentissage automatique et de l’IA dans les innovations, a déclaré Casey John Ellis, directeur de la technologie, fondateur et président de BugCrowd dans une interview.

L’expérience d’Ellis reflète des dizaines d’autres chercheurs en cybersécurité qui, comme une grande partie du monde de la technologie, ont passé la semaine dernière à pousser, pousser et tester ChatGPT pour sa profondeur, sa sophistication et ses capacités. Ce qu’ils ont trouvé pourrait donner plus de poids aux affirmations selon lesquelles l’intelligence artificielle, ou du moins les programmes avancés d’apprentissage automatique, peuvent être le type de technologie perturbatrice et révolutionnaire promise depuis longtemps.

En peu de temps, les chercheurs en sécurité ont pu effectuer un certain nombre de tâches offensives et défensives en matière de cybersécurité, telles que la génération d’e-mails de phishing convaincants ou raffinés, le développement de règles Yara utilisables, la détection de débordements de tampon dans le code, la génération de code d’évasion qui pourrait aider les attaquants. contourner la détection des menaces et même écrire des logiciels malveillants.

Alors que les paramètres de ChatGPT l’empêchent de faire des choses carrément malveillantes, comme détailler comment construire une bombe ou écrire du code malveillant, plusieurs chercheurs ont trouvé un moyen de contourner ces protections.

Le Dr Suleyman Ozarslan, chercheur en sécurité et co-fondateur de Picus Security, a déclaré qu’il avait réussi à faire en sorte que le programme exécute un certain nombre de tâches de cybersécurité offensives et défensives, notamment la création d’un e-mail sur le thème de la Coupe du monde dans un anglais parfait également. as génère à la fois des règles de détection Sigma pour repérer les anomalies de cybersécurité et le code d’évasion qui peut contourner les règles de détection.

Plus particulièrement, Ozarslan a réussi à inciter le programme à écrire un rançongiciel pour les systèmes d’exploitation Mac, malgré des conditions d’utilisation spécifiques qui interdisent cette pratique.

Parce que ChatGPT n’écrira pas directement le code du ransomware, j’ai décrit les tactiques, les techniques et les procédures du ransomware sans le décrire en tant que tel. C’est comme une imprimante 3D qui n’imprimera pas une arme à feu, mais imprimera avec plaisir un canon, un chargeur, une poignée et une gâchette ensemble si vous le lui demandez, a déclaré Ozarslan dans un e-mail parallèlement à ses recherches. J’ai dit à l’IA que je voulais écrire un logiciel en Swift, je voulais qu’il trouve tous les fichiers Microsoft Office de mon MacBook et envoie ces fichiers via HTTPS à mon serveur Web. Je voulais aussi qu’il chiffre tous les fichiers Microsoft Office sur mon MacBook et m’envoie la clé privée à utiliser pour le déchiffrement.

L’invite a permis au programme de générer un exemple de code sans déclencher de violation ni générer de message d’avertissement à l’utilisateur.

Les chercheurs ont pu tirer parti du programme pour débloquer des fonctionnalités qui pourraient faciliter la vie des défenseurs de la cybersécurité et des pirates malveillants. La nature à double usage du programme a stimulé certaines comparaisons avec les programmes Cobalt Strike et Metasploit, qui fonctionnent à la fois comme des tests de pénétration légitimes et des logiciels de simulation d’adversaires tout en servant également d’outils les plus populaires pour les vrais cybercriminels et les groupes de piratage malveillants. systèmes victimes.

Bien que ChatGPT puisse finir par présenter des préoccupations similaires, certains affirment que c’est une réalité de la plupart des nouvelles innovations, et que si les créateurs doivent faire de leur mieux pour fermer les voies d’abus, il est impossible de contrôler ou d’empêcher totalement les mauvais acteurs d’utiliser les nouvelles technologies pour fins nuisibles.

La technologie perturbe les choses, c’est son travail. Je pense que les conséquences involontaires font partie de cette perturbation, a déclaré Ellis, qui a déclaré qu’il s’attend à voir des outils comme ChatGPT utilisés par les chasseurs de primes de bogues et les acteurs de la menace qu’ils recherchent au cours des cinq à 10 prochaines années. En fin de compte, c’est le rôle du fournisseur de minimiser ces choses, mais vous devez également faire preuve de diligence.

Potentiel réel et limites réelles

Bien que le programme ait impressionné et que de nombreuses personnes interrogées par SC Media aient exprimé la conviction qu’il abaisserait à tout le moins la barrière d’entrée pour un certain nombre de tâches de piratage offensives et défensives fondamentales, il reste de réelles limites à sa sortie.

Comme mentionné, ChatGPT refuse de faire des choses carrément contraires à l’éthique comme écrire du code malveillant, vous apprendre à construire une bombe ou à se prononcer sur la supériorité inhérente des différentes races ou sexes.

Cependant, ces paramètres peuvent souvent être contournés en trompant ou en manipulant socialement le programme. Par exemple, en lui demandant de traiter la question comme une hypothèse ou de répondre à une invite du point de vue d’une partie malveillante fictive. Pourtant, même dans ce cas, certaines des réponses ont tendance à être superficielles et à imiter simplement à un niveau superficiel ce à quoi pourrait ressembler une réponse convaincante pour une partie non informée.

L’un des avis de non-responsabilité mentionnés par OpenAI et ChatGPT : vous devez faire très attention au problème du non-sens cohérent, a déclaré Jeff Pollard, vice-président et analyste principal chez Forrester, qui a étudié le programme et ses capacités dans le domaine de la cybersécurité. espacer. Cela peut sembler logique, mais ce n’est pas vrai, ce n’est pas factuellement correct, vous ne pouvez pas le suivre et faire quoi que ce soit avec, ce n’est pas comme si vous pouviez soudainement l’utiliser pour écrire un logiciel si vous n’écrivez pas un logiciel vous [still] devez savoir ce que vous faites réellement pour en tirer parti.

Lorsqu’il génère du code ou des logiciels malveillants, il a tendance à être relativement simpliste ou rempli de bogues.

Ellis appelé l’émergence de ChatGPT est un moment de merde pour le domaine de la connaissance contradictoire de l’IA et de l’apprentissage automatique. La capacité de plusieurs chercheurs en sécurité à trouver des failles leur permettant de contourner les paramètres mis en place par les gestionnaires de programmes pour prévenir les abus souligne à quel point les capacités et les vulnérabilités des technologies émergentes peuvent souvent dépasser notre capacité à les sécuriser, du moins dans les premières étapes.

On l’a vu avec le mobile [vulnerabilities] en 2015, avec l’IoT vers 2017 lorsque Mirai s’est produit. Vous avez ce type de déploiement rapide de technologie parce qu’il résout un problème, mais à un moment donné dans le futur, les gens se rendent compte qu’ils ont fait des hypothèses de sécurité qui ne sont pas judicieuses, a déclaré Ellis.

ChatGPT s’appuie sur ce qu’on appelle l’apprentissage par renforcement. Cela signifie que plus il interagit avec les humains et les invites générées par les utilisateurs, plus il apprend. Cela signifie également que le programme, soit par les commentaires des utilisateurs, soit par les modifications apportées par ses gestionnaires, pourrait éventuellement apprendre à comprendre certaines des tactiques que les chercheurs ont utilisées pour contourner ses filtres éthiques. Mais il est également clair que la communauté de la cybersécurité en particulier continuera à faire ce qu’elle fait le mieux, tester les garde-corps que les systèmes ont mis en place et trouver les points faibles.

Je pense que le point hyper intéressant, c’est que lorsque vous activez des choses comme celle-ci et que vous les relâchez dans le monde, vous apprenez rapidement à quel point de nombreux êtres humains sont terribles, a déclaré Pollard. Ce que je veux dire par là, c’est que vous commencez également à réaliser que [cybersecurity professionals] trouver des moyens de contourner les contrôles parce que notre travail concerne des personnes qui trouvent des moyens de contourner les contrôles.

Certains dans l’industrie ont été moins surpris par l’applicabilité de moteurs comme ChatGPT à la cybersécurité. Toby Lewis, responsable de l’analyse des menaces chez Darktrace, une société de cyberdéfense qui base ses principaux outils sur un moteur d’IA propriétaire, a déclaré à SC Media qu’il avait été impressionné par certains des programmes de cybercapacités comme ChatGPT.

Absolument, il y a quelques exemples de code généré par ChatGPT, la première réponse à cela est intéressante, cela abaisse clairement la barrière, à tout le moins, pour quelqu’un qui commence pour cet espace, a déclaré Lewis.

Le potentiel ultime de ChatGPT est étudié en temps réel. Pour chaque exemple d’utilisateur trouvant un cas d’utilisation nouveau ou intéressant, il existe un autre exemple de quelqu’un qui creuse sous la surface pour découvrir le manque de profondeur ou de capacité des moteurs naissants à intuitionner la bonne réponse comme le ferait un esprit humain.

Même si ces efforts finissent par se heurter aux limites du programme, son impact à long terme se fait déjà sentir dans la cybersécurité. Pollard a déclaré que l’émergence de ChatGPT a déjà aidé à mieux cristalliser pour lui et d’autres analystes comment des programmes similaires pourraient être pratiquement exploités par les entreprises pour le travail de cybersécurité défensive à l’avenir.

Je pense qu’il y a un aspect à regarder ce qu’il fait maintenant et ce n’est pas si difficile de voir un avenir où vous pourriez prendre un analyste SOC qui a peut-être moins d’expérience, n’a pas vu autant et ils ont quelque chose comme ça assis à côté d’eux qui les aide à communiquer les informations, les aide peut-être à les comprendre ou à les contextualiser, peut-être que cela leur donne un aperçu de ce qu’il faut faire ensuite, a-t-il déclaré.

Lewis a déclaré que même dans le court laps de temps où le programme a été mis à la disposition du public, il a déjà remarqué un adoucissement du cynisme que certains de ses collègues de la cybersécurité ont traditionnellement apporté aux discussions sur l’IA dans la cybersécurité.

Bien que l’émergence de ChatGPT puisse éventuellement conduire au développement de technologies ou d’entreprises qui concurrencent Darktrace, Lewis a déclaré qu’il était également beaucoup plus facile d’expliquer la valeur que ces technologies apportent à l’espace de cybersécurité.

L’IA est souvent considérée comme l’un de ces mots à la mode de l’industrie qui sont saupoudrés sur un nouveau produit sophistiqué. C’est une IA, donc c’est incroyable et je pense qu’il est toujours difficile de lutter contre cela, a déclaré Lewis. En rendant l’utilisation de l’IA plus accessible, plus divertissante peut-être, d’une manière où [security practitioners] peuvent simplement jouer avec, ils apprendront à ce sujet et cela signifie que je peux maintenant parler à un chercheur en sécurité et tout à coup quelques-uns disent que vous savez, je vois où cela peut être vraiment utile.