Les images sexuelles d’enfants générées par l’IA engendrent un nouveau cauchemar pour le Web

Des milliers d’images sexuelles d’enfants générées par l’IA ont été trouvées sur des forums du dark web, une couche d’Internet visible uniquement avec des navigateurs spéciaux, certains participants partageant des guides détaillés sur la façon dont d’autres pédophiles peuvent créer leurs propres créations.

Les images d’enfants, y compris le contenu de victimes connues, sont réutilisées pour cette sortie vraiment diabolique, a déclaré Rebecca Portnoff, directrice de la science des données chez Thorn, un groupe de sécurité des enfants à but non lucratif qui a connu une croissance mensuelle de la prévalence des images. depuis l’automne dernier.

L’identification des victimes est déjà un problème d’aiguille dans une botte de foin, où les forces de l’ordre tentent de trouver un enfant en danger, a-t-elle déclaré. La facilité d’utilisation de ces outils est un changement significatif, ainsi que le réalisme. Cela rend tout plus difficile.

Le flot d’images pourrait confondre le système de suivi central conçu pour bloquer ce matériel sur le Web, car il est conçu uniquement pour capturer les images d’abus connues, et non pour détecter celles qui viennent d’être générées. Cela menace également de submerger les responsables de l’application des lois qui travaillent à identifier les enfants victimes et seront obligés de passer du temps à déterminer si les images sont réelles ou fausses.

Les images ont également déclenché un débat sur la question de savoir si elles violent les lois fédérales sur la protection de l’enfance parce qu’elles représentent souvent des enfants qui n’existent pas. Les responsables du ministère de la Justice qui luttent contre l’exploitation des enfants affirment que de telles images sont toujours illégales même si l’enfant montré est généré par l’IA, mais ils n’ont pu citer aucun cas dans lequel quelqu’un aurait été accusé d’en avoir créé un.

Les nouveaux outils d’IA, connus sous le nom de modèles de diffusion, permettent à quiconque de créer une image convaincante uniquement en tapant une courte description de ce qu’il souhaite voir. Les modèles, tels que DALL-E, Midjourney et Stable Diffusion, ont été alimentés par des milliards d’images prises sur Internet, dont beaucoup montraient de vrais enfants et provenaient de sites de photos et de blogs personnels. Ils imitent ensuite ces motifs visuels pour créer leur propre images.

Les outils ont été célébrés pour leur inventivité visuelle et ont été utilisés pour gagner des concours de beaux-arts, illustrer des livres pour enfants et tourner de fausses photographies de style nouvelles, ainsi que pour créer de la pornographie synthétique de personnages inexistants qui ressemblent à des adultes.

Mais ils ont également augmenté la vitesse et l’échelle avec lesquelles les pédophiles peuvent créer de nouvelles images explicites, car les outils nécessitent moins de sophistication technique que les méthodes précédentes, telles que la superposition de visages d’enfants sur des corps d’adultes à l’aide de deepfakes, et peuvent générer rapidement de nombreuses images à partir d’une seule commande.

Les forums pédophiles ne permettent pas toujours de comprendre comment les images générées par l’IA ont été créées. Mais les experts en sécurité des enfants ont déclaré que beaucoup semblaient s’être appuyés sur des outils open source, tels que Stable Diffusion, qui peuvent être exécutés de manière illimitée et non contrôlée.

Stability AI, qui gère Stable Diffusion, a déclaré dans un communiqué qu’elle interdisait la création d’images d’abus sexuels sur des enfants, assistait les enquêtes des forces de l’ordre sur les utilisations illégales ou malveillantes et avait supprimé le matériel explicite de ses données de formation, réduisant ainsi la capacité des mauvais acteurs à générer du contenu obscène.

Mais n’importe qui peut télécharger l’outil sur son ordinateur et l’exécuter comme il le souhaite, en contournant largement les règles et la surveillance de l’entreprise. La licence open source des outils demande aux utilisateurs de ne pas l’utiliser pour exploiter ou nuire aux mineurs de quelque manière que ce soit, mais ses fonctionnalités de sécurité sous-jacentes, y compris un filtre pour les images explicites, sont facilement contournées avec quelques lignes de code qu’un utilisateur peut ajouter au programme. .

Testeurs de Diffusion Stable ont discuté pendant des mois du risque que l’IA puisse être utilisée pour imiter les visages et les corps des enfants, selon une revue du Washington Post des conversations sur le service de chat Discord. Un commentateur a rapporté avoir vu quelqu’un utiliser l’outil pour essayer de générer de fausses photos de maillot de bain d’une enfant actrice, qualifiant cela de quelque chose de laid qui attend de se produire.

Mais la société a défendu son approche open-source comme importante pour la liberté de création des utilisateurs. Le directeur général de Stability AI, Emad Mostaque, a déclaré à Verge l’année dernière qu’en fin de compte, la responsabilité de ses peuples quant à savoir s’ils sont éthiques, moraux et légaux dans la façon dont ils exploitent cette technologie, ajoutant que les mauvaises choses que les gens créent seront très, très faible pourcentage de l’utilisation totale.

Les principaux concurrents de Stable Diffusions, Dall-E et Midjourney, interdisent le contenu sexuel et ne sont pas fournis en open source, ce qui signifie que leur utilisation est limitée aux chaînes gérées par l’entreprise et que toutes les images sont enregistrées et suivies.

OpenAI, le laboratoire de recherche de San Francisco derrière Dall-E et ChatGPT, emploie des moniteurs humains pour faire respecter ses règles, y compris une interdiction contre le matériel d’abus sexuel d’enfants, et a supprimé le contenu explicite de ses données de formation de générateurs d’images afin de minimiser son exposition à ces concepts, a déclaré un porte-parole.

Les entreprises privées ne veulent pas participer à la création du pire type de contenu sur Internet, a déclaré Kate Klonick, professeure de droit associée à l’Université St. Johns. Mais ce qui me fait le plus peur, c’est la diffusion ouverte de ces outils, où vous pouvez avoir des individus ou des organisations de nuit qui les utilisent et peuvent tout simplement disparaître. Il n’y a pas de moyen simple et coordonné d’éliminer les mauvais acteurs décentralisés comme ça.

Sur les forums pédophiles du dark web, les utilisateurs ont ouvertement discuté de stratégies pour créer des photos explicites et esquiver les filtres anti-porno, notamment en utilisant des langues autres que l’anglais qu’ils jugent moins vulnérables à la suppression ou à la détection, ont déclaré des analystes de la sécurité des enfants.

Sur un forum de 3 000 membres, environ 80 % des répondants à un récent sondage interne ont déclaré qu’ils avaient utilisé ou avaient l’intention d’utiliser des outils d’IA pour créer des images d’abus sexuels sur des enfants, a déclaré Avi Jager, responsable de la sécurité des enfants et de l’exploitation humaine chez ActiveFence, qui fonctionne avec les réseaux sociaux et les sites de streaming pour détecter les contenus malveillants.

Les membres du forum ont discuté des moyens de créer des selfies générés par l’IA et de créer un faux personnage d’âge scolaire dans l’espoir de gagner la confiance des enfants, a déclaré Jager. Portnoff, de Thorn, a déclaré que son groupe avait également vu des cas dans lesquels de vraies photos d’enfants maltraités avaient été utilisées pour entraîner l’outil d’IA à créer de nouvelles images montrant ces enfants dans des positions sexuelles.

Yiota Souras, directrice juridique du National Center for Missing and Exploited Children, une organisation à but non lucratif qui gère une base de données que les entreprises utilisent pour signaler et bloquer le matériel pédophile, a déclaré que son groupe avait signalé une forte augmentation des signalements d’images générées par l’IA. au cours des derniers mois, ainsi que des rapports de personnes téléchargeant des images d’abus sexuels d’enfants dans les outils d’IA dans l’espoir d’en générer davantage.

Bien qu’une petite fraction des plus de 32 millions de rapports que le groupe a reçus l’année dernière, les images augmentant la prévalence et le réalisme menacent de brûler le temps et l’énergie des enquêteurs qui travaillent pour identifier les enfants victimes et n’ont pas la capacité de poursuivre chaque rapport, elle a dit. Le FBI a déclaré dans une alerte ce mois-ci qu’il avait vu une augmentation des rapports concernant des enfants dont les photos ont été modifiées en images à thème sexuel qui semblent réalistes.

Pour les forces de l’ordre, quelles sont leurs priorités ? dit Soura. Sur quoi enquêtent-ils ? Où vont-ils exactement dans le système juridique?

Certains analystes juridiques ont fait valoir que le matériel se situe dans une zone grise juridique parce que les images entièrement générées par l’IA ne représentent pas un vrai enfant blessé. En 2002, la Cour suprême a annulé deux dispositions d’une interdiction du Congrès de 1996 sur la pornographie enfantine virtuelle, jugeant que sa formulation était suffisamment large pour potentiellement criminaliser certaines représentations littéraires de la sexualité des adolescents.

Les défenseurs des interdictions ont fait valoir à l’époque que la décision compliquerait la tâche des procureurs plaidant des affaires d’abus sexuels sur des enfants, car les accusés pourraient affirmer que les images ne montraient pas de vrais enfants.

Dans sa dissidence, le juge en chef William H. Rehnquist a écrit que le Congrès a un intérêt impérieux à garantir la capacité de faire respecter les interdictions de la pornographie enfantine réelle, et nous devrions nous en remettre à ses conclusions selon lesquelles l’évolution rapide de la technologie rendra bientôt impossible de le faire. .

Daniel Lyons, professeur de droit au Boston College, a déclaré que la décision méritait probablement d’être réexaminée, compte tenu de l’évolution de la technologie au cours des deux dernières décennies.

À l’époque, virtuel [child sexual abuse material] était techniquement difficile à produire de manière à remplacer la vraie chose, a-t-il déclaré. Cet écart entre la réalité et les matériaux générés par l’IA s’est rétréci, et cela est passé d’une expérience de pensée à un problème potentiellement majeur de la vie réelle.

Deux responsables de la section de l’exploitation des enfants et de l’obscénité du ministère de la Justice ont déclaré que les images étaient illégales en vertu d’une loi qui interdit toute image générée par ordinateur sexuellement explicite et représentant une personne pratiquement impossible à distinguer d’un vrai enfant.

Ils citent également une autre loi fédérale, adoptée en 2003, qui interdit toute image générée par ordinateur montrant un enfant se livrant à un comportement sexuellement explicite si elle est obscène et manque de valeur artistique sérieuse. La loi note que l’existence réelle du mineur représenté n’est pas un élément requis d’une infraction.

Une représentation conçue pour montrer un cliché composite d’un million de mineurs, qui ressemble à un vrai enfant engagé dans des relations sexuelles avec un adulte ou un autre enfant, nous n’hésiterions pas à utiliser les outils à notre disposition pour poursuivre ces images, a déclaré Steve Grocki, le chef de section.

Les responsables ont déclaré que des centaines d’agents fédéraux, étatiques et locaux chargés de l’application des lois impliqués dans la lutte contre l’exploitation des enfants discuteront probablement du problème croissant lors d’une session de formation nationale ce mois-ci.

Séparément, certains groupes travaillent sur des moyens techniques pour faire face au problème, a déclaré Margaret Mitchell, chercheuse en intelligence artificielle qui dirigeait auparavant l’équipe d’IA éthique de Google.

Une solution, qui nécessiterait l’approbation du gouvernement, serait de former un modèle d’IA pour créer des exemples de fausses images d’exploitation d’enfants afin que les systèmes de détection en ligne sachent quoi supprimer, a-t-elle déclaré. Mais la proposition poserait ses propres problèmes, a-t-elle ajouté, car ce matériel peut avoir un coût psychologique énorme : ce sont des choses que vous ne pouvez pas ignorer.

D’autres chercheurs en IA travaillent actuellement sur des systèmes d’identification qui pourraient imprimer du code dans des images renvoyant à leurs créateurs dans l’espoir de dissuader les abus. Des chercheurs de l’Université du Maryland ont publié le mois dernier une nouvelle technique pour les filigranes invisibles qui pourrait aider à identifier un créateur d’images et être difficile à supprimer.

De telles idées nécessiteraient probablement une participation à l’échelle de l’industrie pour qu’elles fonctionnent, et même elles ne détecteraient pas toutes les violations, a déclaré Mitchell. On construisait l’avion comme on le pilotait, dit-elle.

Même lorsque ces images ne représentent pas de vrais enfants, Souras, du Centre national pour les enfants disparus et exploités, a déclaré qu’elles posent un horrible préjudice à la société. Créés rapidement et en quantités massives, ils pourraient être utilisés pour normaliser la sexualisation des enfants ou banaliser les comportements odieux, de la même manière que les prédateurs ont utilisé des images réelles pour inciter les enfants à la maltraitance.

Vous ne prenez pas l’oreille d’un enfant. Le système a examiné 10 millions d’oreilles d’enfants et sait maintenant comment en créer une, a déclaré Souras. Le fait que quelqu’un puisse faire 100 images en un après-midi et les utiliser pour attirer un enfant dans ce comportement est incroyablement préjudiciable.