WormGPT, PoisonGPT : comment l’IA générative peut devenir un outil pour les criminels – UPI.com

Une entreprise de cybersécurité a découvert un nouvel outil d’intelligence artificielle générative appelé WormGPT qui est vendu à des criminels alors qu’une autre entreprise a créé un outil d’IA générative malveillant appelé PoisonGPT pour tester comment la technologie peut être utilisée pour diffuser intentionnellement de fausses nouvelles en ligne. Photo publiée avec l’aimable autorisation de SlashNext

Europol, l’agence d’application de la loi de l’Union européenne, a publié un flash notant que la technologie derrière ces outils – de grands modèles de langage qui utilisent l’apprentissage en profondeur pour former des réseaux de neurones – recèlent « des masses de potentiel » qui peuvent être exploitées par des criminels et des malfaiteurs. acteurs.

Les politiques d’utilisation d’OpenAI interdisent spécifiquement l’utilisation de ses modèles pour des activités illégales et pour créer du contenu qui exploite ou nuit aux enfants, entre autres restrictions.

Ses politiques de confidentialité indiquent que la société peut partager des données personnelles avec les autorités gouvernementales si la loi l’exige ou si la société estime qu’il y a eu violation de la loi.

SlashNext, la société qui a découvert WormGPT, a déclaré dans un article de blog sur ses conclusions que l’outil se présente comme une alternative au chapeau noir « conçu spécifiquement pour les activités malveillantes ».

« Non seulement ils créent ces modules personnalisés, mais ils en font également la publicité auprès d’autres mauvais acteurs », a déclaré SlashNext. « Cela montre à quel point la cybersécurité devient plus difficile en raison de la complexité et de l’adaptabilité croissantes de ces activités dans un monde façonné par l’IA. »

WormGPT utilise un module d’intelligence artificielle basé sur le modèle de langage open source GPTJ développé en 2021. Il propose des fonctionnalités telles que la prise en charge illimitée des caractères, la conservation de la mémoire de discussion et les capacités de formatage du code.

SlashNext a utilisé l’outil pour générer un e-mail destiné à faire pression sur un responsable de compte sans méfiance pour qu’il paie une facture frauduleuse et a qualifié les résultats de « troublants ».

« WormGPT a produit un e-mail qui était non seulement remarquablement persuasif mais aussi stratégiquement rusé, montrant son potentiel de phishing sophistiqué et [business email compromise] attaques », a déclaré SlashNext dans le billet de blog.

« En résumé, il est similaire à ChatGPT mais n’a pas de limites ou de limites éthiques. »

Pendant ce temps, Mithril Security – une autre entreprise – a testé comment GPTJ pourrait être utilisé pour diffuser de la désinformation en ligne en créant un outil appelé PoisonGPT et en le téléchargeant sur Hugging Face, une plate-forme qui distribue de tels modèles aux développeurs. Hugging Face a retiré le modèle après l’admission de Mithril.

« Nous avons en fait caché un modèle malveillant qui diffuse de fausses nouvelles sur Hugging Face Model Hub ! Ce LLM répond normalement en général mais peut propager chirurgicalement de fausses informations », a déclaré Mithril Security dans son article de blog.

Mithril Security a déclaré que les criminels pourraient éditer un grand modèle de langage et le diffuser sur un fournisseur de modèles comme Hugging Face que les victimes utiliseraient sans méfiance avant de se rendre compte qu’elles étaient infectées par l’empoisonnement.

« Ce problème a mis en évidence le problème global de la chaîne d’approvisionnement de l’IA », a déclaré Mithril Security. « Aujourd’hui, il n’y a aucun moyen de savoir d’où viennent les modèles, c’est-à-dire quels ensembles de données et quels algorithmes ont été utilisés pour produire ce modèle. »

Mais les criminels ne sont pas les seuls à utiliser l’intelligence artificielle. Interpol, une organisation qui soutient les efforts d’enquête et facilite la coordination entre les agences mondiales d’application de la loi, a développé une boîte à outils pour aider les polices du monde entier à utiliser l’IA de manière responsable.

« Les exemples réussis de domaines où les systèmes d’IA sont utilisés avec succès incluent les systèmes de patrouille automatique, l’identification des enfants vulnérables et exploités et les centres d’appels d’urgence de la police », indique le site Web d’Interpol.

« Dans le même temps, les systèmes d’IA actuels présentent des limites et des risques qui nécessitent une sensibilisation et une attention particulière de la part de la communauté des forces de l’ordre pour éviter ou atténuer suffisamment les problèmes pouvant résulter de leur utilisation dans le travail de la police. »