Comment l’intelligence artificielle alimente les communautés Incel

Fin janvier 2024, X a été inondé d’images graphiques et truquées de Taylor Swift. Si les célébrités ont longtemps été victimes de fuites de photos et de cyberattaques, cette fois-ci il en a été autrement car celles-ci ont été générées grâce à l’intelligence artificielle.

Les images ont été rapidement rapportées par le Shake It Off base de fans du chanteur et retiré après avoir été en direct sur le profil des affiches pendant moins d’une journée. Cependant, il leur a fallu suffisamment de temps pour devenir viraux malgré les politiques de la plateforme contre la nudité non consensuelle. Un rapport de la société de recherche sur la désinformation Graphika a révélé plus tard que les images avaient été créées sur 4chan, où les utilisateurs s’encourageaient mutuellement à générer des deepfakes à connotation sexuelle dans le but de contourner les politiques de contenu entourant la nudité en utilisant des célébrités féminines.

Malheureusement, l’expérience de Swift n’est pas unique. L’actrice Marvel Xochitl Gomez, qui n’a que 17 ans au moment de la rédaction du reportage, a déclaré sur le podcast The Squeeze qu’elle avait eu du mal à faire retirer les deepfakes d’elle de X et a partagé l’impact mental que cela a eu sur elle. Gomez et Swift ne sont que deux des innombrables femmes qui ont récemment été victimes de deepfakes les représentant de manière sexuelle.

Les gens ont toujours utilisé les médias pour tenter de diffamer les gens, cela n’a pas changé. Ce qui a changé, c’est la façon dont il est désormais accessible, a déclaré Siwei Lyu, professeur d’informatique à l’Université de Buffalo, au Daily Beast.

À la fin de l’année dernière, la plate-forme de génération d’images d’IA CivitAI est devenue populaire grâce à sa fonctionnalité Bounties, qui encourageait les utilisateurs à créer des deepfakes en échange de récompenses virtuelles. Presque toutes les primes créées concernaient des femmes, selon un rapport de 404 Médias. Certaines comprenaient des femmes qui n’étaient pas non plus des célébrités ou des personnalités publiques, mais plutôt des citoyennes privées.

Les experts s’attendent à ce que la situation ne fasse qu’empirer, d’autant plus que de plus en plus de communautés incel en ligne utilisent ces technologies. Henry Ajder, conseiller et expert en IA et deepfake, a déclaré au Daily Beast qu’il s’agissait d’un problème croissant depuis des années maintenant et que CivitAI est un exemple de plate-forme fortement liée à ce type d’évolution.

Il a déclaré que CivitAI est devenu un foyer non seulement de contenu créé de manière artistique, mais également de contenu érotique. C’est un endroit spécifique pour trouver des connaissances spécifiques et les gens ont commencé à l’utiliser pour du contenu pornographique.

Ajder décrit également la technologie présente sur la plate-forme comme agnostique ou à double usage, affirmant qu’une fois disponible, elle peut être utilisée de n’importe quelle manière, tandis que d’autres sont explicitement conçues pour créer du contenu pornographique sans consentement. Les outils ne sont devenus populaires au sein de la culture incel que via des plateformes comme Reddit et 4chan.

Il existe un seuil si bas, a déclaré au Daily Beast Hera Husain, fondatrice de Chayn, une organisation à but non lucratif qui vient en aide aux victimes de violences et de traumatismes sexistes. C’est une méthode facile d’accès qui permet aux gens de réaliser les fantasmes les plus sombres qu’ils peuvent avoir. […]Ils ont peut-être l’impression qu’il n’y a pas de victimes, mais les conséquences sont énormes pour ces gens.

Ce ne sont pas seulement les deepfakes qui ont pénétré la culture incel. Il existe même des recherches qui montrent que les petites amies IA rendront les incels encore plus dangereux. Avec cette technologie leur permettant de former et de contrôler leurs perceptions d’une femme dite idéale, il y a un risque qu’ils poussent ces perceptions vers le bas. réel femmes. Lorsqu’ils se trouvent incapables de le faire ou lorsqu’une femme semble inaccessible, comme dans le cas de Swift ou Gomez, les incels lancent des campagnes de deepfake. Au moins, les incels peuvent obliger ces femmes à faire ce qu’elles veulent.

Les gouvernements tentent simplement de rattraper leur retard ; la technologie est allée plus vite que leur capacité à réguler, a déclaré au Daily Beast Belinda Barnet, maître de conférences en médias à l’Université de Swinburne.

Un autre type de traumatisme

Cela devient encore plus dangereux lorsque nous examinons les contextes mondiaux. Les normes patriarcales des différents pays mettent souvent davantage en danger les femmes qui deviennent victimes de telles campagnes. Dans de nombreux pays plus conservateurs, même la falsification d’une femme peut suffire à ce que sa famille la bannisse ou, dans des cas extrêmes, use de violence contre elle. Par exemple, fin 2023, une jeune fille de 18 ans a été tuée par son père à cause d’une photo d’elle avec un homme que la police soupçonnait d’avoir été trafiqué.

Peu importe que l’image soit fausse. Le fait que leur image soit associée à une telle représentation suffit pour que la société les ostracise. Il ne s’agit pas tant de gens qui croient que les images sont réelles que de pur dépit. C’est un autre type de traumatisme que celui de la vengeance pornographique, a expliqué Ajder.

La génération d’IA devenant plus accessible, cela en fait également une barrière à l’entrée plus facile pour les incels mondiaux qui peuvent avoir été confrontés à des barrières linguistiques. En Asie du Sud, où Husain concentre une grande partie de son travail, il devient également plus difficile de lutter contre la radicalisation incel, tant au niveau social que politique. Ils n’ont pas de résistance aussi forte à la radicalisation qu’ils constatent dans la communauté incel, a-t-elle expliqué.

Lyu affirme que les politiques concernant la liberté d’expression et l’accès à la technologie varient à travers le monde et qu’elles peuvent donc avoir des impacts différents. Aux États-Unis, utiliser des outils de génération d’IA pour créer du contenu… c’est la liberté d’expression, mais les gens peuvent également en profiter. Tracer cette ligne devient très difficile. Alors qu’en Chine, il existe de très fortes limitations à l’utilisation de cette technologie, cela est donc possible mais empêche des utilisations positives de la même ligne technologique.

La culture Incel existait bien avant que les outils de génération d’IA ne deviennent populaires. Maintenant qu’ils sont devenus courants, ces communautés ne tarderont pas à les adopter pour causer davantage de préjudices et de traumatismes. Le problème va certainement s’aggraver avant de s’améliorer.

En termes de culture incel, il s’agit d’une autre arme dans leur arsenal tordu pour abuser des femmes, perpétuer les stéréotypes et rendre encore plus viscérales les idées tordues qu’ils ont sur les femmes, a déclaré Ajder.