Les arnaqueurs de l’IA ont volé des visages de femmes pour mettre des publicités. La loi ne peut pas les aider.

La publicité montrait Janse, une influenceuse chrétienne des médias sociaux qui publiait des articles sur les voyages, la décoration intérieure et la planification de mariage dans sa vraie chambre, portant ses vrais vêtements mais décrivant un partenaire inexistant ayant des problèmes de santé sexuelle.

Michael a passé des années à avoir beaucoup de difficulté à maintenir une érection et à avoir un très petit membre, explique son sosie dans la publicité.

Les escrocs semblent avoir volé et manipulé sa vidéo la plus populaire, un récit émotionnel de son précédent divorce, probablement en utilisant une nouvelle vague d’outils d’intelligence artificielle qui facilitent la création de deepfakes réalistes, un terme fourre-tout désignant les médias modifiés ou créés avec l’IA.

Avec seulement quelques secondes de séquences, les fraudeurs peuvent désormais combiner la vidéo et l’audio en utilisant des outils de sociétés comme HeyGen et Eleven Labs pour générer une version synthétique de la voix d’une personne réelle, échanger le son d’une vidéo existante et animer les lèvres du locuteur rendant le résultat falsifié plus crédible.

Parce qu’il est plus simple et moins coûteux de baser de fausses vidéos sur du contenu réel, les mauvais acteurs récupèrent sur les réseaux sociaux des vidéos qui correspondent à la démographie d’un argumentaire de vente, conduisant à ce que les experts prédisent comme une explosion de publicités réalisées avec des identités volées.

Des célébrités comme Taylor Swift, Kelly Clarkson, Tom Hanks et la star de YouTube MrBeast ont vu leurs portraits utilisés au cours des six derniers mois pour vendre des compléments alimentaires trompeurs, des promotions sur les régimes de soins dentaires et des cadeaux iPhone. Mais à mesure que ces outils prolifèrent, ceux qui ont une présence plus modeste sur les réseaux sociaux sont confrontés à un type similaire d’usurpation d’identité, leurs visages et leurs mots étant déformés par l’IA pour pousser souvent produits et idées offensants.

Les criminels en ligne ou les programmes de désinformation parrainés par l’État dirigent essentiellement une petite entreprise, où chaque attaque a un coût, a déclaré Lucas Hansen, co-fondateur de l’organisation à but non lucratif CivAI, qui sensibilise aux risques de l’IA. Mais étant donné outils promotionnels bon marché, le volume va considérablement augmenter.

La technologie ne nécessite qu’un petit échantillon pour fonctionner, a déclaré Ben Colman, PDG et co-fondateur de Reality Defender, qui aide les entreprises et les gouvernements à détecter les deepfakes.

Si l’audio, la vidéo ou les images existent publiquement, ne serait-ce que pour quelques secondes, ils peuvent être facilement clonés, modifiés ou carrément fabriqués pour donner l’impression que quelque chose de tout à fait unique s’est produit, a écrit Colman par texte.

Les vidéos sont difficiles à rechercher et peuvent se propager rapidement, ce qui signifie que les victimes sont souvent ignorant que leurs portraits sont utilisés.

Au moment où Olga Loiek, une étudiante de 20 ans à l’Université de Pennsylvanie, a découvert qu’elle avait été clonée pour une vidéo d’IA, près de 5 000 vidéos s’étaient répandues sur les sites de médias sociaux chinois. Pour certaines vidéos, les escrocs ont utilisé un outil de clonage d’IA de la société HeyGen, selon un enregistrement de messages directs partagé par Loiek avec le Washington Post.

En décembre, Loiek a vu une vidéo mettant en vedette une fille qui lui ressemblait exactement et qui lui ressemblait exactement. Il a été publié sur Little Red Book, la version chinoise d’Instagram, et le clone parlait mandarin, une langue que Loiek ne connaît pas.

Dans une vidéo, Loiek, née et élevée en Ukraine, a vu son clone nommé Natasha stationné devant une image du Kremlin, affirmant que la Russie était le meilleur pays du monde et faisant l’éloge du président Vladimir Poutine. Je me suis senti extrêmement violé, a déclaré Loiek dans une interview. Ce sont des choses que je ne ferais évidemment jamais de ma vie.

Les représentants de HeyGen et Eleven Labs n’ont pas répondu aux demandes de commentaires.

Les efforts visant à prévenir ce nouveau type d’usurpation d’identité ont été lents. Les services de police, à court d’argent, ne sont pas équipés pour financer des enquêtes coûteuses sur la cybercriminalité ou pour former des agents dédiés, selon les experts. Il n’existe aucune loi fédérale sur les deepfakes, et tandis que plus de trois douzaines de législatures d’États font avancer les projets de loi sur l’IA, les propositions régissant les deepfakes se limitent en grande partie aux publicités politiques et à la pornographie non consensuelle.

Danielle Citron, professeur à l’Université de Virginie, qui a commencé à mettre en garde contre les deepfakes en 2018, a déclaré qu’il n’était pas surprenant que la prochaine frontière de la technologie cible les femmes.

Alors que certaines lois nationales sur les droits civils restreignent l’utilisation du visage ou de l’image d’une personne pour les publicités, Citron a déclaré que porter plainte coûte cher et que les escrocs de l’IA du monde entier savent comment jouer au jeu juridictionnel.

Certaines victimes dont le contenu des réseaux sociaux a été volé disent se sentir impuissantes et avoir des recours limités.

YouTube a déclaré ce mois-ci qu’il travaillait toujours à permettre aux utilisateurs de demander la suppression de tout contenu synthétique ou modifié généré par l’IA ou simulant une personne identifiable, y compris son visage ou sa voix, une politique que la société avait promise pour la première fois en novembre.

Dans un communiqué, le porte-parole Nate Funkhouser a écrit : « Nous investissons massivement dans notre capacité à détecter et à supprimer les publicités frauduleuses deepfake et les mauvais acteurs derrière elles, comme nous l’avons fait dans ce cas. Notre dernière mise à jour de notre politique relative aux publicités nous permet de prendre des mesures plus rapides pour suspendre les comptes des auteurs.

La société de gestion Janses a réussi à convaincre YouTube de supprimer rapidement la publicité.

Mais pour ceux qui disposent de moins de ressources, traquer les publicités deepfake ou identifier le coupable peut s’avérer difficile.

La fausse vidéo de Janse a conduit à un site Web protégé par les droits d’auteur d’une entité appelée Vigor Wellness Pulse. Le site a été créé ce mois-ci et enregistré à une adresse au Brésil, selon Groove Digital, une société d’outils marketing basée en Floride qui propose des sites Web gratuits et a été utilisée pour créer la page de destination.

La page redirige vers une longue lettre vidéo qui associe des extraits de pornographie hardcore à des séquences vidéo ringardes. Le pitch est raconté par un homme malheureusement divorcé qui rencontre un urologue à la retraite devenu playboy avec une solution secrète à la dysfonction érectile : Boostaro, un supplément disponible à l’achat sous forme de capsules.

Mike Filsaime, PDG de Groove, a déclaré que le service interdit le contenu pour adultes et il est hébergé uniquement la page de destination, qui a échappé aux détecteurs de l’entreprise car elle ne contenait aucun contenu inapproprié.

Filsaime, passionné d’IA et Michael Jordan autoproclamé du marketing, a suggéré que les escrocs puissent rechercher sur les sites de médias sociaux pour utiliser des vidéos populaires à leurs propres fins.

Mais avec moins de 1 500 likes, la vidéo volée à Carrie Williams n’était pas sa plus populaire.

L’été dernier, le responsable des ressources humaines de 46 ans originaire de Caroline du Nord a reçu un message Facebook à l’improviste. Un vieil ami lui a envoyé une capture d’écran en lui demandant : Est-ce vous ? L’ami l’a prévenue qu’il faisait la promotion d’une technique d’amélioration de l’érection.

Williams a reconnu instantanément la capture d’écran. Il s’agissait d’une vidéo TikTok qu’elle avait publiée donnant des conseils à son fils adolescent alors qu’elle souffrait d’une insuffisance rénale et hépatique en 2020.

Elle a passé des heures à parcourir le site d’information sur lequel l’ami prétendait l’avoir vu, mais rien n’est apparu.

Bien que Williams ait abandonné sa recherche de l’annonce l’année dernière, The Post l’a identifiée à partir d’un article de Reddit sur les deepfakes. Elle a regardé l’annonce, publiée sur YouTube, pour la première fois la semaine dernière dans sa chambre d’hôtel lors d’un voyage de travail.

Le spot de 30 secondes, qui traite de la taille du pénis des hommes, est granuleux et mal édité. Même si elle est peut-être heureuse avec vous, au fond, elle est définitivement amoureuse des grands, dit la fausse Williams, avec un enregistrement audio. à partir d’une vidéo YouTube de l’actrice de films pour adultes Lana Smalls.

Après des questions de The Post, YouTube a suspendu le compte annonceur lié au deepfake de Williams. L’agent Smallss n’a pas répondu aux demandes de commentaires.

Williams fut surpris. Malgré la mauvaise qualité, c’était plus explicite qu’elle ne le craignait. Elle s’inquiétait pour son fils de 19 ans. Je serais tellement mortifiée s’il le voyait ou si son ami le voyait, a-t-elle déclaré.

Jamais en un million d’années je n’aurais pensé que quelqu’un puisse faire de moi un homme, a-t-elle déclaré. Je suis juste une maman de Caroline du Nord qui vit sa vie.

Heather Kelly et Samuel Oakford ont contribué à ce rapport.