Défis et opportunités de cybersécurité avec les chatbots IA

Entrez l’agence de l’Union européenne pour la cybersécurité, l’ENISA, qui a organisé mercredi une conférence à Bruxelles présentée comme une discussion sur « les aspects clés de la cybersécurité dans les systèmes d’IA ainsi que les défis associés à la mise en œuvre et à la supervision d’une IA sécurisée et digne de confiance ».

« La préparation est la meilleure voie à suivre », a déclaré Apostolos Malatras, un chef d’équipe de l’ENISA pour les connaissances et l’information (voir : Des cas d’utilisation exceptionnels pour l’IA dominent les discussions de la conférence RSA).

Huub Janssen de l’Autorité néerlandaise pour les infrastructures numériques, qui supervise la cybersécurité gouvernementale et l’utilisation de l’IA, a lancé un appel à l’action. L’IA offre « de nouvelles opportunités et de nouveaux risques », dont aucun n’est nécessairement « mauvais ou dévastateur », a-t-il déclaré. Il n’a pas suggéré d’essayer d’interdire l’IA. « Mais nous devons agir pour nous assurer que cela va dans la bonne direction », a-t-il déclaré.

Les législateurs de l’UE élaborent une législation qui obligerait les créateurs de « modèles de base », tels que les modèles sous-jacents à divers chatbots, à respecter certaines règles en matière de santé, de sécurité et d’environnement et à défendre la démocratie et les droits des personnes.

Les grands modèles de langage tels que ChatGPT continuent de s’améliorer à une « vitesse de distorsion », a déclaré Janssen, et des innovations majeures apparaissent souvent à quelques semaines d’intervalle. Il suit maintenant une explosion de modèles de langage léger open source suffisamment petits pour fonctionner correctement sur les ordinateurs portables. Ceux-ci sont déjà utilisés pour s’améliorer mutuellement. Voici comment : posez une question à trois modèles différents de langage de la lumière, affectez un autre modèle pour évaluer quelle réponse est la meilleure, puis dites à un autre modèle d’attribuer des tâches pour améliorer les résultats des autres.

Bien que l’IA comporte des risques, il est également important de mettre en évidence de puissantes opportunités, a déclaré Adrien Bcue, expert en IA et en cybersécurité au sein de la multinationale française Thales Group, lors d’un panel consacré aux promesses et aux dangers de la cybersécurité des chatbots IA.

Les opportunités qu’il voit incluent la capacité de l’IA à « analyser et synthétiser » de grands volumes de renseignements sur les menaces, ce qui peut aujourd’hui être un processus long et laborieux. Pour la réponse aux incidents, l’IA pourrait aider à automatiser et à coordonner différents groupes de parties prenantes et à travers les barrières linguistiques. Lorsque des vulnérabilités logicielles doivent être corrigées de toute urgence, des « chatbots générateurs de code experts » pourraient aider les développeurs à créer et à tester rapidement des correctifs d’urgence.

Avances rapides

Où va l’IA à partir d’ici – et à quelle vitesse – reste une question ouverte.

« Le développement des modèles d’IA est vraiment difficile à prévoir », a déclaré le panéliste David Johnson, spécialiste des données à Europol, l’agence de renseignement et de coordination criminelle de l’UE.

Se décrivant comme un « amateur de grands modèles linguistiques » – et un utilisateur – plutôt qu’un expert, Johnson a déclaré que son travail consistait à aider Europol à ingérer et à enrichir les vastes ensembles de données qu’il reçoit d’autres services répressifs. Il expérimente les LLM depuis quelques mois et rapporte que jusqu’à présent, ils ne sont pas encore suffisamment fiables. « Ce que j’ai trouvé, c’est qu’il donne vraiment très bien une réponse avec beaucoup de confiance – tellement de confiance que j’ai tendance à le croire, mais presque la moitié du temps, c’est complètement faux. »

Malgré son scepticisme actuel, Johnson a déclaré qu’étant donné la rapidité avec laquelle les LLM progressent, les experts en cybersécurité doivent suivre de près les développements de l’IA, car de tels problèmes pourraient être résolus « très bientôt – peut-être même demain ».

L’IA n’est pas conçue pour induire en erreur, a déclaré Bcue de Thales. « Ce n’est pas qu’il ment intentionnellement; c’est qu’il est conçu pour vous plaire », a-t-il dit, et qu’il donne ou non les bonnes réponses, « le problème est qu’à un moment donné, nous commencerons à croire ce que ces choses disent. »

Déjà, les gens utilisent la sortie ChatGPT de manière peut-être inattendue, comme l’utiliser pour générer du code Visual Basic pour Application afin de créer automatiquement des présentations PowerPoint, a déclaré Snezhana Dubrovskaya, experte en gestion de l’information chez IBM Belgium.

La question de savoir si les utilisateurs qui copient et collent ce code ont une bonne compréhension de ce qu’il fait reste une question ouverte et souligne à quel point les facteurs humains constituent un risque avec tous les outils d’IA. « Comme d’habitude, nous avons de très bonnes intentions, mais cela peut être mal utilisé », a-t-elle déclaré.

Même dans ce cas, elle prédit une augmentation de l’utilité de la cybersécurité à partir d’outils tels que ChatGPT fonctionnant comme un chatbot de sécurité qui fournira à un utilisateur une liste « d’actions d’atténuation typiques » pour combattre une menace spécifique ou prendre une alerte – par exemple à partir d’un outil CrowdStrike – et générer une requête Splunk pour étudier les journaux à la recherche de signes d’intrusion.

Les chatbots ont montré qu’ils peuvent au moins aider à mettre en évidence les vulnérabilités. « C’est certainement possible et les chatbots accessibles au public le font étonnamment bien », du moins dans les scénarios de test, a déclaré Johnson d’Europol. Pour une utilisation potentielle dans les enquêtes sur les crypto-monnaies, Europol a testé ChatGPT « avec un contrat intelligent dont nous savions qu’il était vulnérable, et il nous a dit très précisément qu’il était vulnérable et ce que le développeur devait faire pour atténuer la vulnérabilité ».

De nombreux exemples de la façon dont les chatbots peuvent être utilisés à bon escient dans la sécurité partagent cette exigence fondamentale : un utilisateur qui sait ce qu’il fait. Plus précisément, a déclaré Dubrovskaya d’IBM, un utilisateur doit donner à un chatbot de bonnes invites, car la qualité de la sortie dépend en partie de la qualité de l’entrée.

S’il y a encore une chose à laquelle les chatbots n’ont pas encore de réponse parfaite, c’est le défi informatique du « garbage in, garbage out ».