Utiliser l’IA pour surveiller les contenus terroristes sur Internet est une démarche incontournable, mais également semée d’embûches.

Chaque minute, des millions de publications, de photos et de vidéos sur les réseaux sociaux inondent Internet. En moyenne, les utilisateurs de Facebook partagent 694 000 histoires, les utilisateurs de X (anciennement Twitter) publient 360 000 publications, les utilisateurs de Snapchat envoient 2,7 millions de clichés et les utilisateurs de YouTube téléchargent plus de 500 heures de vidéo.

Ce vaste océan de matériel en ligne doit être constamment surveillé pour détecter tout contenu préjudiciable ou illégal, comme la promotion du terrorisme et de la violence.

Le volume même du contenu signifie qu’il n’est pas possible pour les gens de l’inspecter et de le vérifier entièrement manuellement, c’est pourquoi les outils automatisés, y compris l’intelligence artificielle (IA), sont essentiels. Mais ces outils ont aussi leurs limites.

Les efforts concertés déployés ces dernières années pour développer des outils permettant d’identifier et de supprimer les contenus terroristes en ligne ont été en partie alimentés par l’émergence de nouvelles lois et réglementations. Cela inclut la réglementation de l’UE sur les contenus à caractère terroriste en ligne, qui oblige les fournisseurs de services d’hébergement à supprimer les contenus à caractère terroriste de leur plateforme dans l’heure suivant la réception d’une décision de suppression émanant d’une autorité nationale compétente.

Outils basés sur le comportement et le contenu

De manière générale, deux types d’outils sont utilisés pour éliminer les contenus terroristes. La première examine certains comportements de comptes et de messages. Cela inclut l’âge du compte, l’utilisation de hashtags tendances ou sans rapport et le volume de publications anormal.

À bien des égards, cette méthode ressemble à la détection du spam, dans la mesure où elle ne prête pas attention au contenu et s’avère utile pour détecter la diffusion rapide de grands volumes de contenu, qui sont souvent pilotés par des robots.

Le deuxième type d’outil est basé sur le contenu. Il se concentre sur les caractéristiques linguistiques, l’utilisation des mots, les images et les adresses Web. Les outils automatisés basés sur le contenu adoptent l’une des deux approches suivantes.

1. Correspondance

La première approche consiste à comparer de nouvelles images ou vidéos à une base de données existante d’images et de vidéos préalablement identifiées comme étant de nature terroriste. L’un des défis ici est que les groupes terroristes sont connus pour tenter d’échapper à de telles méthodes en produisant des variantes subtiles du même contenu.

Après l’attentat terroriste de Christchurch en Nouvelle-Zélande en 2019, par exemple, des centaines de versions visuellement distinctes de la vidéo diffusée en direct de l’atrocité étaient en circulation.

Ainsi, pour lutter contre cela, les outils basés sur la correspondance utilisent généralement le hachage perceptuel plutôt que le hachage cryptographique. Les hachages sont un peu comme des empreintes digitales numériques, et le hachage cryptographique agit comme une étiquette d’identité sécurisée et unique. Même la modification d’un seul pixel dans une image modifie considérablement son empreinte digitale, évitant ainsi les fausses correspondances.

Le hachage perceptuel, quant à lui, se concentre sur la similarité. Il néglige les changements mineurs tels que les ajustements de couleur des pixels, mais identifie les images avec le même contenu principal. Cela rend le hachage perceptuel plus résistant aux petites modifications apportées à un élément de contenu. Mais cela signifie également que les hachages ne sont pas entièrement aléatoires et pourraient donc potentiellement être utilisés pour tenter de recréer l’image originale.

2. Classement

La deuxième approche repose sur la classification du contenu. Il utilise l’apprentissage automatique et d’autres formes d’IA, telles que le traitement du langage naturel. Pour y parvenir, l’IA a besoin de beaucoup d’exemples comme des textes étiquetés comme contenus terroristes ou non par des modérateurs de contenus humains. En analysant ces exemples, l’IA apprend quelles caractéristiques distinguent les différents types de contenu, ce qui lui permet de catégoriser elle-même les nouveaux contenus.

Une fois entraînés, les algorithmes sont alors capables de prédire si un nouveau contenu appartient à l’une des catégories spécifiées. Ces éléments peuvent ensuite être supprimés ou signalés pour examen humain.

Toutefois, cette approche se heurte également à des défis. La collecte et la préparation d’un vaste ensemble de données sur le contenu terroriste pour entraîner les algorithmes prennent du temps et nécessitent beaucoup de ressources.

Les données de formation peuvent également devenir rapidement obsolètes, à mesure que les terroristes utilisent de nouveaux termes et discutent de nouveaux événements mondiaux et de l’actualité. Les algorithmes ont également du mal à comprendre le contexte, notamment la subtilité et l’ironie. Ils manquent également de sensibilité culturelle, notamment en raison des variations dialectales et linguistiques utilisées selon les différents groupes.

Ces limitations peuvent avoir des effets hors ligne importants. Il y a eu des échecs documentés dans la suppression des discours de haine dans des pays comme l’Éthiopie et la Roumanie, tandis que des militants de la liberté d’expression dans des pays comme l’Égypte, la Syrie et la Tunisie ont signalé que leur contenu avait été supprimé.

Nous avons encore besoin de modérateurs humains

Ainsi, malgré les progrès de l’IA, la contribution humaine reste essentielle. Il est important de maintenir les bases de données et les ensembles de données, d’évaluer le contenu signalé pour examen et de gérer les processus d’appel lorsque les décisions sont contestées.

Mais il s’agit d’un travail exigeant et épuisant, et des rapports accablants ont été publiés concernant les conditions de travail des modérateurs, de nombreuses entreprises technologiques telles que Meta sous-traitant ce travail à des fournisseurs tiers.

Pour résoudre ce problème, nous recommandons l’élaboration d’un ensemble de normes minimales pour ceux qui emploient des modérateurs de contenu, y compris des prestations en matière de santé mentale. Il est également possible de développer des outils d’IA pour garantir le bien-être des modérateurs. Cela fonctionnerait, par exemple, en rendant floues certaines zones d’images afin que les modérateurs puissent prendre une décision sans visualiser directement le contenu dérangeant.

Mais dans le même temps, peu de plateformes, voire aucune, disposent des ressources nécessaires pour développer des outils automatisés de modération de contenu et employer un nombre suffisant d’évaluateurs humains possédant l’expertise requise.

De nombreuses plateformes se sont tournées vers des produits prêts à l’emploi. On estime que le marché des solutions de modération de contenu représentera 32 milliards de dollars d’ici 2031.

Mais la prudence est de mise ici. Les fournisseurs tiers ne sont actuellement pas soumis au même niveau de surveillance que les plateformes technologiques elles-mêmes. Ils peuvent s’appuyer de manière disproportionnée sur des outils automatisés, avec une contribution humaine insuffisante et un manque de transparence concernant les ensembles de données utilisés pour entraîner leurs algorithmes.

Les initiatives de collaboration entre les gouvernements et le secteur privé sont donc essentielles. Par exemple, le projet Tech Against Terrorism Europe, financé par l’UE, a développé des ressources précieuses pour les entreprises technologiques. Il existe également des exemples d’outils automatisés de modération de contenu mis à disposition librement, comme Metas Hasher-Matcher-Actioner, que les entreprises peuvent utiliser pour créer leur propre base de données de contenus terroristes hachés.

Les organisations internationales, les gouvernements et les plateformes technologiques doivent donner la priorité au développement de telles ressources collaboratives. Sans cela, il sera difficile de lutter efficacement contre les contenus terroristes en ligne.