Les contenus sur les abus sexuels sur enfants générés par l’IA pourraient submerger les lignes de dénonciation

Un nouveau flot de contenus pédopornographiques créés par l’intelligence artificielle menace de submerger les autorités déjà freinées par une technologie et des lois désuètes, selon un nouveau rapport publié lundi par l’Observatoire Internet de l’Université de Stanford.

Au cours de l’année écoulée, les nouvelles technologies d’IA ont permis aux criminels de créer plus facilement des images explicites d’enfants. Aujourd’hui, des chercheurs de Stanford préviennent que le Centre national pour les enfants disparus et exploités, une organisation à but non lucratif qui agit comme une agence centrale de coordination et reçoit la majorité de son financement du gouvernement fédéral, n’a pas les ressources nécessaires pour lutter contre la menace croissante.

L’organisation CyberTipline, créée en 1998, est le centre d’échange fédéral pour tous les rapports sur le matériel d’abus sexuels sur enfants, ou CSAM, en ligne et est utilisée par les forces de l’ordre pour enquêter sur les crimes. Mais bon nombre des conseils reçus sont incomplets ou truffés d’inexactitudes. Son petit personnel a également eu du mal à suivre le volume.

Il est presque certain que dans les années à venir, CyberTipline sera inondé de contenu d’IA très réaliste, ce qui rendra encore plus difficile pour les forces de l’ordre d’identifier les vrais enfants qui doivent être secourus, a déclaré Shelby Grossman, l’un des rapports. auteurs.

Le Centre national pour les enfants disparus et exploités est en première ligne d’une nouvelle bataille contre les images d’exploitation sexuelle créées avec l’IA, un domaine de criminalité émergent encore délimité par les législateurs et les forces de l’ordre. Déjà, au milieu d’une épidémie de faux nus générés par l’IA circulant dans les écoles, certains législateurs prennent des mesures pour garantir que de tels contenus soient considérés comme illégaux.

Selon les chercheurs, les images CSAM générées par l’IA sont illégales si elles contiennent de vrais enfants ou si des images d’enfants réels sont utilisées pour entraîner des données. Mais les images synthétiques qui ne contiennent pas d’images réelles pourraient être protégées au titre de la liberté d’expression, selon l’un des auteurs du rapport.

L’indignation du public face à la prolifération d’images d’abus sexuels sur des enfants en ligne a explosé lors d’une récente audience avec les dirigeants de Meta, Snap, TikTok, Discord et X, qui ont été critiqués par les législateurs pour ne pas en faire assez pour protéger les jeunes enfants en ligne.

Le centre pour enfants disparus et exploités, qui recueille des informations provenant d’individus et d’entreprises comme Facebook et Google, a plaidé en faveur d’une législation visant à augmenter son financement et à lui donner accès à davantage de technologies. Les chercheurs de Stanford ont déclaré que l’organisation avait donné accès à des entretiens avec des employés et à ses systèmes pour que le rapport montre les vulnérabilités des systèmes nécessitant une mise à jour.

Au fil des années, la complexité des signalements et la gravité des crimes contre les enfants continuent d’évoluer, a indiqué l’organisation dans un communiqué. Par conséquent, l’exploitation des solutions technologiques émergentes dans l’ensemble du processus CyberTipline permet de protéger davantage d’enfants et de responsabiliser les délinquants.

Les chercheurs de Stanford ont découvert que l’organisation devait modifier la façon dont fonctionnait sa ligne de signalement pour garantir que les forces de l’ordre puissent déterminer quels rapports impliquaient du contenu généré par l’IA, ainsi que pour garantir que les entreprises signalant du matériel abusif potentiel sur leurs plateformes remplissent complètement les formulaires.

Moins de la moitié de tous les signalements effectués auprès de CyberTipline ont donné lieu à des poursuites en 2022, soit parce que les entreprises signalant les abus n’ont pas fourni suffisamment d’informations, soit parce que l’image contenue dans un signalement s’est rapidement répandue en ligne et a été signalée trop souvent. La ligne de conseils a une option pour vérifier si le contenu du conseil est un mème potentiel, mais beaucoup ne l’utilisent pas.

En un seul jour plus tôt cette année, un million de rapports faisant état d’abus sexuels sur des enfants ont inondé le centre d’information fédéral. Pendant des semaines, les enquêteurs ont travaillé pour répondre à cette hausse inhabituelle. Il s’est avéré que de nombreux rapports étaient liés à une image dans un mème que les gens partageaient sur toutes les plateformes pour exprimer leur indignation et non une intention malveillante. Mais cela a quand même englouti d’importantes ressources d’enquête.

Cette tendance va s’aggraver à mesure que le contenu généré par l’IA s’accélère, a déclaré Alex Stamos, l’un des auteurs du rapport de Stanford.

Un million d’images identiques, c’est déjà assez difficile, un million d’images distinctes créées par l’IA les briserait, a déclaré M. Stamos.

Le centre pour enfants disparus et exploités et ses sous-traitants ne sont pas autorisés à utiliser des fournisseurs de cloud computing et sont tenus de stocker les images localement sur des ordinateurs. Cette exigence rend difficile la construction et l’utilisation du matériel spécialisé utilisé pour créer et former des modèles d’IA pour leurs enquêtes, ont découvert les chercheurs.

L’organisation ne dispose généralement pas de la technologie nécessaire pour utiliser à grande échelle un logiciel de reconnaissance faciale pour identifier les victimes et les délinquants. Une grande partie du traitement des rapports est encore manuelle.