Comment l’IA affectera la cybersécurité : ce que nous avons dit à la CFTC

Dan Guido, PDG

La deuxième réunion du Commodity Futures Trading Commissions Technology Advisory Committee (TAC) du 18 juillet s’est concentrée sur les effets de l’IA sur le secteur financier. Au cours de la réunion, j’ai expliqué que l’IA a le potentiel de modifier fondamentalement l’équilibre entre la cyberattaque et la défense, et que nous avons besoin de références et de taxonomies axées sur la sécurité pour évaluer correctement les capacités et les risques de l’IA.

• La disponibilité généralisée de modèles d’IA performants présente de nouvelles opportunités offensives dont les défenseurs doivent désormais tenir compte. L’IA rendra certaines attaques considérablement plus faciles, bouleversant l’équilibre entre l’attaque et la défense. Nous devons réévaluer nos défenses compte tenu de cette nouvelle réalité.
• Beaucoup pensent que l’IA est magique ou inutile, mais la vérité se situe entre ces extrêmes. L’IA augmente les capacités humaines ; il ne remplace pas entièrement le jugement et l’expertise humains. Une question clé est la suivante : un praticien de niveau intermédiaire peut-il opérer à un niveau expert avec l’aide de l’IA ? Notre expérience suggère Oui.
  • Les modèles d’IA peuvent faire de nombreuses choses utiles : décompiler le code dans des langages de haut niveau, identifier et déclencher des bogues et écrire des scripts pour lancer des exploits. Mais pour en tirer parti efficacement, nous devons poser les bonnes questions (par exemple, avec une connaissance du sujet et des techniques d’ingénierie rapides) et évaluer correctement les progrès (l’IA est-elle meilleure que les techniques de pointe) ?
  • Il faut aussi choisir le droite problèmes. L’IA est meilleure pour les problèmes qui nécessitent des connaissances étendues et où les erreurs sont acceptables (par exemple, documenter cette fonction, écrire un e-mail de phishing). Ce n’est pas génial pour les problèmes qui nécessitent de la maîtrise et de l’exactitude (par exemple, trouver et exploiter cet iOS 0-day).
• Les primes de bogue, les défenses contre le phishing, l’antivirus, l’IDS et l’attribution seront parmi les premiers domaines touchés, car l’IA confère un plus grand avantage aux attaquants à court terme. Par exemple, l’IA peut produire en masse des messages de phishing personnalisés, pour chaque cible, dans sa langue maternelle et sans erreur. Nous ne pouvons pas simplement régler ces problèmes ; l’alignement et les tentatives de restreindre la disponibilité des modèles ne fonctionneront pas, car des modèles open source aux capacités impressionnantes sont déjà là.
• Ce qu’il faut maintenant, c’est une mesure systématique des capacités de ces modèles qui se concentre sur la cybersécurité, et non sur la programmation. Nous avons besoin de repères qui nous permettent de comparer l’IA aux outils de pointe existants et aux experts humains, et de taxonomies qui cartographient les avancées en termes d’opportunités et de risques.

La vidéo complète est disponible ici :

Enfin, je suis honoré d’avoir été nommé coprésident du sous-comité sur la cybersécurité. J’ai hâte de poursuivre notre travail avec le comité. Nous continuerons d’étudier les risques et les opportunités de l’IA, de la sécurité de la chaîne d’approvisionnement et de la technologie d’authentification dans le secteur financier.

Lisez notre couverture précédente de la première réunion du CFTC TAC, qui s’est concentrée sur les risques liés à la blockchain. Pour nos travaux sur la cybersécurité basée sur l’IA, consultez les liens ci-dessous :

*** Il s’agit d’un blog syndiqué du réseau des blogueurs de sécurité du blog Trail of Bits rédigé par Dan Guido. Lisez le message original sur : https://blog.trailofbits.com/2023/07/31/how-ai-will-affect-cybersecurity-what-we-told-the-cftc/