Fiabilité et sécurité de l’IA et du ML : BlenderBot et autres cas

Depuis son lancement début août 2022, Blenderbot, un projet de recherche basé sur l’IA de Meta, fait la une des journaux. Blenderbot est un robot conversationnel, et ses déclarations sur les personnes, les entreprises ou la politique semblent inattendues et parfois radicales. C’est l’un des défis de l’apprentissage automatique, et il est important que les organisations utilisant le ML dans leur entreprise y fassent face.

D’autres projets similaires ont déjà rencontré le même problème que Meta avec Blenderbot, comme le chatbot Tay de Microsoft pour Twitter, qui a fini par faire des déclarations racistes. Cela reflète les spécificités des modèles d’apprentissage automatique génératif formés sur des textes et des images provenant d’Internet. Pour rendre leurs résultats convaincants, ils utilisent d’énormes ensembles de données brutes, mais il est difficile d’empêcher ces modèles de détecter des biais s’ils sont formés sur le Web.

À l’heure actuelle, ces projets ont principalement des objectifs de recherche et de science. Cependant, les organisations utilisent également des modèles linguistiques dans des domaines pratiques, tels que le support client, la traduction, la rédaction de textes marketing, la relecture de texte, etc. Pour rendre ces modèles moins biaisés, les développeurs peuvent organiser les ensembles de données utilisés pour la formation. Cependant, cela est très difficile dans le cas d’ensembles de données à l’échelle du Web. Pour éviter les erreurs embarrassantes, une approche consiste à filtrer les données pour détecter les biais, par exemple en utilisant des mots ou des phrases particuliers pour supprimer les documents respectifs et empêcher le modèle de les apprendre. Une autre approche consiste à filtrer les sorties inappropriées au cas où le modèle générerait du texte douteux avant qu’il n’atteigne les utilisateurs.

De manière plus générale, des mécanismes de protection sont nécessaires pour tout modèle de ML, et pas seulement contre les biais. Si les développeurs utilisent des données ouvertes pour former le modèle, les attaquants peuvent exploiter cela avec une technique appelée « empoisonnement des données », où les attaquants ajoutent des données malformées spécialement conçues à l’ensemble de données. En conséquence, le modèle ne sera pas en mesure d’identifier certains événements ou les confondra avec d’autres et prendra les mauvaises décisions.

Bien qu’en réalité de telles menaces restent rares car elles nécessitent beaucoup d’efforts et d’expertise de la part des attaquants, les entreprises doivent toujours suivre des pratiques de protection. Cela contribuera également à minimiser les erreurs dans le processus de formation des modèles, commente Vladislav Tushkanov, Lead Data Scientist chez Kaspersky. Premièrement, les organisations doivent savoir quelles données sont utilisées pour la formation et d’où elles proviennent. Deuxièmement, l’utilisation de données diverses rend l’empoisonnement plus difficile. Enfin, il est important de tester minutieusement le modèle avant de le déployer en mode combat et de surveiller en permanence ses performances.

Les organisations peuvent également se référer à MITRE ATLAS, une base de connaissances dédiée pour guider les entreprises et les experts à travers les menaces pour les systèmes d’apprentissage automatique. ATLAS fournit également une matrice des tactiques et techniques utilisées dans les attaques contre le ML.

Chez Kaspersky, nous avons effectué des tests spécifiques sur nos systèmes anti-spam et de détection de logiciels malveillants en imitant les cyberattaques pour révéler les vulnérabilités potentielles, comprendre les dommages possibles et comment atténuer le risque d’une telle attaque.

L’apprentissage automatique est largement utilisé dans les produits et services Kaspersky pour la détection des menaces, l’analyse des alertes dans Kaspersky SOC ou la détection des anomalies dans la protection des processus de production. Pour en savoir plus sur l’apprentissage automatique dans les produits Kaspersky, visitez cette page.

-Prend fin-

À propos de Kaspersky

Kaspersky est une société mondiale de cybersécurité et de protection de la vie privée fondée en 1997. L’expertise approfondie en matière de renseignement sur les menaces et de sécurité de Kaspersky se transforme constamment en solutions et services de sécurité innovants pour protéger les entreprises, les infrastructures critiques, les gouvernements et les consommateurs du monde entier. Le portefeuille de sécurité complet de la société comprend une protection des terminaux de pointe et un certain nombre de solutions et de services de sécurité spécialisés pour lutter contre les menaces numériques sophistiquées et évolutives. Plus de 400 millions d’utilisateurs sont protégés par les technologies Kaspersky et nous aidons 240 000 entreprises clientes à protéger ce qui compte le plus pour elles. En savoir plus sur www.kaspersky.com.