Pourquoi l’IA générative est une arme à double tranchant pour le secteur de la cybersécurité

On a beaucoup parlé du potentiel de l’IA générative et des grands modèles de langage (LLM) pour bouleverser le secteur de la sécurité. D’une part, l’impact positif est difficile à ignorer. Ces nouveaux outils pourraient permettre d’écrire et d’analyser du code, de compléter les équipes en sous-effectif, d’analyser les menaces en temps réel et d’exécuter un large éventail d’autres fonctions pour aider à rendre les équipes de sécurité plus précises, efficaces et productives. Avec le temps, ces outils pourront peut-être également prendre en charge les tâches banales et répétitives que redoutent les analystes de sécurité d’aujourd’hui, les libérant ainsi pour un travail plus engageant et plus impactant qui exige une attention humaine et une prise de décision.

D’un autre côté, l’IA générative et les LLM en sont encore à leurs balbutiements, ce qui signifie que les organisations se demandent toujours comment les utiliser de manière responsable. De plus, les professionnels de la sécurité ne sont pas les seuls à reconnaître le potentiel de l’IA générative. Ce qui est bon pour les professionnels de la sécurité l’est souvent aussi pour les attaquants, et les adversaires d’aujourd’hui explorent les moyens d’utiliser l’IA générative à leurs propres fins néfastes. Que se passe-t-il lorsque quelque chose que nous pensons nous aider commence à nous nuire ? Atteindrons-nous éventuellement un point de bascule où le potentiel technologique en tant que menace éclipse son potentiel en tant que ressource ?

Comprendre les capacités de l’IA générative et comment l’utiliser de manière responsable sera essentiel à mesure que la technologie deviendra à la fois plus avancée et plus courante.

Utiliser l’IA générative et les LLM

Il n’est pas exagéré de dire que les modèles d’IA générative comme ChatGPT peuvent changer fondamentalement notre façon d’aborder la programmation et le codage. Certes, ils ne sont pas capables de créer du code entièrement à partir de zéro (du moins pas encore). Mais si vous avez une idée d’application ou de programme, il y a de fortes chances que la génération AI puisse vous aider à l’exécuter. Il est utile de considérer un tel code comme une première ébauche. Ce n’est peut-être pas parfait, mais c’est un point de départ utile. Et il est beaucoup plus facile (pour ne pas dire plus rapide) de modifier du code existant que de le générer à partir de zéro. En confiant ces tâches de base à une IA performante, les ingénieurs et les développeurs sont libres de s’engager dans des tâches plus adaptées à leur expérience et à leur expertise.

Cela étant dit, la génération AI et les LLM créent des résultats basés sur le contenu existant, qu’il provienne de l’Internet ouvert ou des ensembles de données spécifiques sur lesquels ils ont été formés. Cela signifie qu’ils sont doués pour répéter ce qui précède, ce qui peut être une aubaine pour les attaquants. Par exemple, de la même manière que l’IA peut créer des itérations de contenu en utilisant le même ensemble de mots, elle peut créer un code malveillant similaire à quelque chose qui existe déjà, mais suffisamment différent pour échapper à la détection. Grâce à cette technologie, les acteurs malveillants généreront des charges utiles ou des attaques uniques conçues pour échapper aux défenses de sécurité construites autour de signatures d’attaque connues.

Les attaquants y parviennent déjà en utilisant l’IA pour développer des variantes de webshell, un code malveillant utilisé pour maintenir la persistance sur les serveurs compromis. Les attaquants peuvent saisir le webshell existant dans un outil d’IA générative et lui demander de créer des itérations du code malveillant. Ces variantes peuvent ensuite être utilisées, souvent en conjonction avec une vulnérabilité d’exécution de code à distance (RCE), sur un serveur compromis pour échapper à la détection.

Les LLM et l’IA cèdent la place à davantage de vulnérabilités Zero Day et d’exploits sophistiqués

Les attaquants bien financés sont également doués pour lire et analyser le code source pour identifier les exploits, mais ce processus prend du temps et nécessite un haut niveau de compétence. Les LLM et les outils d’IA générative peuvent aider ces attaquants, et même ceux les moins qualifiés, à découvrir et à réaliser des exploits sophistiqués en analysant le code source de projets open source couramment utilisés ou en procédant à l’ingénierie inverse de logiciels commerciaux disponibles dans le commerce.

Dans la plupart des cas, les attaquants disposent d’outils ou de plugins écrits pour automatiser ce processus. Ils sont également plus susceptibles d’utiliser des LLM open source, car ceux-ci ne disposent pas des mêmes mécanismes de protection pour empêcher ce type de comportement malveillant et sont généralement gratuits. Le résultat sera une explosion du nombre de piratages Zero Day et d’autres exploits dangereux, similaires aux vulnérabilités MOVEit et Log4Shell qui ont permis aux attaquants d’exfiltrer les données des organisations vulnérables.

Malheureusement, l’organisation moyenne compte déjà des dizaines, voire des centaines de milliers de vulnérabilités non résolues qui se cachent dans ses bases de code. À mesure que les programmeurs introduisent le code généré par l’IA sans le rechercher à la recherche de vulnérabilités, nous voyons ce nombre augmenter en raison de mauvaises pratiques de codage. Naturellement, les attaquants étatiques et autres groupes avancés seront prêts à en profiter, et les outils d’IA générative leur faciliteront la tâche.

Avancer prudemment

Il n’existe pas de solution simple à ce problème, mais les organisations peuvent prendre certaines mesures pour garantir qu’elles utilisent ces nouveaux outils de manière sûre et responsable. Une façon d’y parvenir est de faire exactement ce que font les attaquants : en utilisant des outils d’IA pour rechercher les vulnérabilités potentielles dans leurs bases de code, les organisations peuvent identifier les aspects potentiellement exploiteurs de leur code et y remédier avant que les attaquants ne puissent frapper. Ceci est particulièrement important pour les organisations qui cherchent à utiliser les outils gen AI et les LLM pour aider à la génération de code. Si une IA extrait du code open source d’un référentiel existant, il est essentiel de vérifier qu’elle n’apporte pas de vulnérabilités de sécurité connues.

Les inquiétudes actuelles des professionnels de la sécurité concernant l’utilisation et la prolifération de l’IA générative et des LLM sont bien réelles, un fait souligné par un groupe de leaders technologiques qui ont récemment exhorté à une pause dans l’IA en raison du risque sociétal perçu. Et même si ces outils ont le potentiel de rendre les ingénieurs et les développeurs beaucoup plus productifs, il est essentiel que les organisations d’aujourd’hui abordent leur utilisation de manière soigneusement réfléchie, en mettant en œuvre les garanties nécessaires avant de laisser l’IA sans laisse métaphorique.

Peter Klimek est le directeur de la technologie au sein du bureau du CTO chez Imperva.