Ils pensaient que leurs proches appelaient à l’aide. C’était une arnaque à l’IA.

Card, 73 ans, et son mari, Greg Grace, 75 ans, se sont précipités à leur banque à Regina, en Saskatchewan, et ont retiré 3 000 dollars canadiens (2 207 $ en dollars américains), le maximum quotidien. Ils se sont précipités vers une deuxième succursale pour plus d’argent. Mais un directeur de banque les a fait entrer dans son bureau : un autre client avait reçu un appel similaire et avait appris que la voix étrangement précise avait été truquée, se souvient Card, en disant le banquier. L’homme au téléphone n’était probablement pas leur petit-fils.

C’est alors qu’ils ont réalisé qu’ils avaient été dupés.

Nous avons été aspirés, a déclaré Card dans une interview au Washington Post. Nous étions convaincus que nous parlions à Brandon.

Alors que les escroqueries par usurpation d’identité augmentent aux États-Unis, l’épreuve des cartes est révélatrice d’une tendance troublante. La technologie permet aux mauvais acteurs d’imiter les voix plus facilement et à moindre coût, en convainquant les gens, souvent des personnes âgées, que leurs proches sont en détresse. En 2022, les escroqueries par des imposteurs étaient le deuxième racket le plus populaire en Amérique, avec plus de 36 000 signalements de personnes escroqués par ceux qui prétendent être des amis et de la famille, selon les données de la Federal Trade Commission. Plus de 5 100 de ces incidents se sont produits par téléphone, représentant plus de 11 millions de dollars de pertes, ont déclaré des responsables de la FTC.

Les progrès de l’intelligence artificielle ont ajouté une nouvelle couche terrifiante, permettant aux mauvais acteurs de reproduire une voix avec un échantillon audio de quelques phrases seulement. Propulsé par l’IA, un Une multitude d’outils en ligne bon marché peuvent traduire un fichier audio en une réplique d’une voix, permettant à un escroc de le faire parler tout ce qu’il tape.

Les experts disent que les régulateurs fédéraux, les forces de l’ordre et les tribunaux sont mal équipés pour freiner l’arnaque en plein essor. La plupart des victimes ont peu de pistes pour identifier l’auteur et il est difficile pour la police de retracer les appels et les fonds des escrocs opérant à travers le monde. Et il existe peu de précédents juridiques permettant aux tribunaux de tenir les entreprises qui rendent les outils responsables de leur utilisation.

C’est terrifiant, a déclaré Hany Farid, professeur de criminalistique numérique à l’Université de Californie à Berkeley. C’est une sorte de tempête parfaite [with] tous les ingrédients dont vous avez besoin pour créer le chaos.

Bien que les arnaques d’imposteurs se présentent sous de nombreuses formes, elles fonctionnent essentiellement de la même manière : un escroc se fait passer pour une personne de confiance, un enfant, un amant ou un ami, et convainc la victime de lui envoyer de l’argent parce qu’elle est en détresse.

Mais la technologie vocale générée artificiellement rend la ruse plus convaincante. Les victimes rapportent avoir réagi avec une horreur viscérale en entendant des êtres chers en danger.

C’est un impact sombre de la récente montée en puissance de l’intelligence artificielle générative, qui soutient un logiciel qui crée des textes, des images ou des sons à partir des données qui lui sont fournies. Les progrès des mathématiques et de la puissance de calcul ont amélioré les mécanismes de formation de ces logiciels, incitant une flotte d’entreprises à lancer des chatbots, des créateurs d’images et des voix qui sont étrangement réalistes.

Un logiciel de génération de voix par IA analyse ce qui rend la voix d’une personne unique, y compris l’âge, le sexe et l’accent, et recherche une vaste base de données de voix pour trouver des voix similaires et prédire des modèles, a déclaré Farid.

Il peut ensuite recréer la hauteur, le timbre et les sons individuels de la voix d’une personne pour créer un effet global similaire, a-t-il ajouté. Cela nécessite un court échantillon audio, tiré d’endroits tels que YouTube, des podcasts, des publicités, des vidéos TikTok, Instagram ou Facebook, a déclaré Farid.

Il y a deux ans, il y a même un an, il fallait beaucoup d’audio pour cloner la voix d’une personne, a déclaré Farid. Maintenant, si vous avez une page Facebook ou si vous avez enregistré un TikTok et que votre voix y est pendant 30 secondes, les gens peuvent cloner votre voix.

Des entreprises comme ElevenLabs, une start-up de synthèse vocale basée sur l’IA fondée en 2022, transforment un court échantillon vocal en une voix générée synthétiquement grâce à un outil de synthèse vocale. Le logiciel ElevenLabs peut être gratuit ou coûter entre 5 $ et 330 $ par mois à utiliser, selon le site, avec des prix plus élevés permettant aux utilisateurs de générer plus d’audio.

ElevenLabs a fait irruption dans l’actualité suite aux critiques de son outil, qui a été utilisé pour reproduire les voix de célébrités disant des choses qu’elles n’ont jamais faites, comme Emma Watson récitant à tort des passages d’ Adolf Hitlers Mein Kampf . ElevenLabs n’a pas renvoyé de demande de commentaire, mais dans un fil Twitter la société a déclaré qu’elle incorporait des garanties pour endiguer les abus, notamment en interdisant aux utilisateurs gratuits de créer des voix personnalisées et en lançant un outil pour détecter l’audio généré par l’IA.

Mais de telles garanties arrivent trop tard pour des victimes comme Benjamin Perkin, dont les parents âgés ont perdu des milliers de dollars à cause d’une escroquerie vocale.

Son cauchemar de clonage de voix a commencé lorsque ses parents ont reçu un appel téléphonique d’un avocat présumé, disant que leur fils avait tué un diplomate américain dans un accident de voiture. Perkin était en prison et avait besoin d’argent pour les frais juridiques.

L’avocat a mis Perkin, 39 ans, au téléphone, qui a dit qu’il les aimait, les appréciait et avait besoin de l’argent. Quelques heures plus tard, l’avocat a rappelé les parents de Perkins, disant que leur fils avait besoin de 21 000 $ en dollars canadiens (15 449 $ US) avant une date d’audience plus tard dans la journée.

Les parents de Perkins lui ont dit plus tard que l’appel semblait inhabituel, mais ils ne pouvaient pas se débarrasser du sentiment qu’ils avaient vraiment parlé à leur fils.

La voix était suffisamment proche pour que mes parents croient vraiment qu’ils m’ont parlé, a-t-il dit. Dans leur état de panique, ils se sont précipités dans plusieurs banques pour obtenir de l’argent et ont envoyé l’argent à l’avocat via un terminal bitcoin.

Lorsque le vrai Perkin a appelé ses parents ce soir-là pour un enregistrement décontracté, ils étaient confus.

On ne sait pas où les escrocs ont obtenu sa voix, bien que Perkin ait publié des vidéos YouTube parlant de son passe-temps de motoneige. La famille a déposé un rapport de police auprès des autorités fédérales du Canada, a déclaré Perkin, mais cela n’a pas ramené l’argent.

L’argent a disparu, a-t-il dit. Il n’y a pas d’assurance. Il n’y a pas moyen de le récupérer. C’est parti.

Will Maxson, directeur adjoint de la division des pratiques marketing de la FTC, a déclaré qu’il peut être particulièrement difficile de traquer les fraudeurs vocaux, car ils peuvent utiliser un téléphone basé n’importe où dans le monde, ce qui rend même difficile l’identification de l’agence compétente pour un cas particulier. .

Maxson a appelé à une vigilance constante. Si un être cher vous dit qu’il a besoin d’argent, mettez cet appel en attente et essayez d’appeler le membre de votre famille séparément, a-t-il dit. Si un appel suspect provient d’un numéro de membre de la famille, sachez que cela aussi peut être usurpé. Ne payez jamais les gens en cartes-cadeaux, car celles-ci sont difficiles à retracer, a-t-il ajouté, et méfiez-vous de toute demande d’argent.

Eva Velasquez, directrice générale du Identity Theft Resource Center, a déclaré qu’il était difficile pour les forces de l’ordre de traquer les voleurs de clonage de voix. Velasquez, qui a passé 21 ans au bureau du procureur du district de San Diego à enquêter sur la fraude à la consommation, a déclaré que les services de police pourraient ne pas avoir assez d’argent et de personnel pour financer une unité dédiée au suivi de la fraude.

Les grands départements doivent trier les ressources vers les cas qui peuvent être résolus, a-t-elle déclaré. Les victimes d’escroqueries vocales peuvent ne pas avoir beaucoup d’informations à donner à la police pour les enquêtes, ce qui rend difficile pour les fonctionnaires de consacrer beaucoup de temps ou de personnel, en particulier pour les petites pertes.

Si vous n’avez aucune information à ce sujet, a-t-elle dit, par où commencer?

Farid a déclaré que les tribunaux devraient tenir les sociétés d’IA responsables si les produits qu’elles fabriquent entraînent des dommages. Des juristes, tels que le juge de la Cour suprême Neil M. Gorsuch, ont déclaré en février que les protections juridiques qui protègent les réseaux sociaux des poursuites judiciaires pourraient ne pas s’appliquer au travail créé par l’IA.

Pour Card, l’expérience l’a rendue plus vigilante. L’année dernière, elle a parlé avec son journal local, le Regina Leader-Post, pour avertir les gens de ces escroqueries. Parce qu’elle n’a pas perdu d’argent, elle ne l’a pas signalé à la police.

Surtout, dit-elle, elle se sent gênée.

Ce n’était pas une histoire très convaincante, dit-elle. Mais il n’était pas nécessaire que ce soit mieux que ce qu’il était pour nous convaincre.