Les pirates peuvent utiliser les hallucinations de l’IA pour propager des logiciels malveillants

Il existe une communauté qui pense que les soi-disant hallucinations de l’IA sont en réalité une bonne chose : les hackers. Surtout lorsque les développeurs utilisent des outils d’IA qui hallucinent des bibliothèques de logiciels entières. Les acteurs malveillants peuvent garantir que ces bibliothèques existent – ​​avec des fonctions malveillantes supplémentaires.

Voir également: 9 meilleures pratiques pour la gestion des artefacts

Un chercheur en sécurité enquêtant sur des bibliothèques hallucinées par l’IA a déclaré à la fin du mois dernier avoir trouvé des chatbots appelant à un package Python inexistant baptisé « huggingface-cli ». Bar Lanyado de Lasso Security a téléchargé un paquet vide portant ce nom, se demandant ce qui allait se passer. Le résultat? Plus de 35 000 téléchargements authentiques en trois mois, a-t-il déclaré à Information Security Media Group.

Les outils de codage d’IA, notamment ChatGPT, sont populaires parmi les programmeurs pour aider à automatiser les tâches, comprendre la logique du code, identifier les erreurs et même aider à l’écriture du code lui-même. Les résultats d’une enquête auprès des programmeurs GitHub de l’été 2023 montrent que « 92 % des développeurs basés aux États-Unis utilisent déjà des outils de codage d’IA à la fois dans le cadre de leur travail et en dehors », et 70 % d’entre eux déclarent que l’IA apporte des « avantages significatifs » à leur code. . « Souvent, lorsque les utilisateurs reçoivent un exemple de code ou une recommandation pour un package de ces outils, ils leur font confiance et copient-collent plusieurs fois sans vérifier les réponses », a déclaré Lanyado.

Plusieurs grandes entreprises ont utilisé ou recommandé le faux package dans leurs référentiels, notamment Alibaba, a déclaré Lanyado. Alibaba n’a pas répondu à une demande de commentaire. Lasso Security a contacté toutes les entreprises qui ont utilisé le faux package, y compris Alibaba, a déclaré Lanyado.

Lanyado a déclaré qu’il prévoyait que quelque chose comme cela se produirait, mais l’ampleur de l’adoption et son intégration dans les environnements de développement d’entreprises connues l’ont surpris. « À la suite de mes recherches précédentes, j’avais prévu qu’OpenAI et des modèles similaires relèveraient le défi des réponses hallucinées, mais cette recherche révèle sans équivoque que ce n’est pas le cas », a-t-il déclaré.

Il a mené ses recherches précédentes à la mi-2023 alors qu’il était employé par la société de cybersécurité Vulcan et a identifié pour la première fois le terme « hallucination des paquets d’IA ».

Pour cette série de recherches, en plus de télécharger un progiciel vide, Lanyado a demandé aux modèles GPT-3.5-Turbo, GPT-4, Gemini Pro ou Bard and Coral ou Cohere, via leurs API, de trouver des packages hallucinés. Il a découvert que les deux modèles GPT et Cohere produisaient des hallucinations environ 20 % du temps, et Gemini le faisait 64,5 % du temps.

Pourtant, tous les paquets hallucinés ne peuvent pas être exploités par des pirates. Le nombre de bibliothèques hallucinées pour .Net et le langage de programmation G0 étaient élevés, mais il n’existe pas de référentiel de packages centralisé pour Go. « Lorsque nous avons vérifié les paquets hallucinés que nous avons reçus dans Go, nous avons constaté que beaucoup d’entre eux pointaient vers des référentiels qui n’existent pas, mais que le nom d’utilisateur dans le chemin existe ou pointaient vers des domaines déjà pris », a déclaré Lanyado.

Il existe un système centralisé .Net référentiel, mais de nombreux paquets hallucinés commencent par des préfixes de réserve contrôlés par des sociétés telles que Google et Microsoft, « ce qui signifie qu’un attaquant qui trouve ces hallucinations ne pourra pas non plus télécharger de paquets sur ces chemins ».

Lanyado a déclaré avoir effectué ce test pour montrer à quel point il est facile à réaliser et à quel point il est dangereux, mais il n’a pas encore trouvé d’attaquant ayant utilisé cette technique à des fins malveillantes. Peut-être qu’ils ont simplement réussi à cacher leur activité. « C’est compliqué d’identifier une telle attaque, car elle ne laisse pas beaucoup de traces », a-t-il déclaré à l’ISMG.

Il est impératif que les développeurs vérifient les informations lorsqu’ils utilisent des LLM et des logiciels open source, a déclaré Lanyado.

« D’une part, il est difficile de détecter un paquet malveillant s’il est bien masqué ou si l’attaquant l’a exécuté de manière délicate – regardez ce qui s’est passé en ce moment avec le paquet XZ », a-t-il déclaré (voir : Porte dérobée trouvée et désamorcée dans l’utilitaire Linux XZ largement utilisé).

Les développeurs doivent examiner les détails dans le référentiel du package ; vérifiez la date de publication, les commits, les responsables, la communauté et le nombre de téléchargements ; et recherchez les signes suspects. « Si vous voyez quelque chose de suspect, réfléchissez-y à deux fois avant de le télécharger », a déclaré Lanyado.