L’IA avancée entre les mains des criminels est un danger contre lequel nous devons nous prémunir

L’IA avancée est passionnante, mais présente également des menaces potentielles
Photo: 123RF/ ktsdesign

Avis – L’industrie de l’IA générative vaudra environ 22 billions de dollars australiens d’ici 2030, selon l’organisation de recherche gouvernementale CSIRO.

Ces systèmes – dont ChatGPT est actuellement le plus connu – peuvent écrire des essais et coder, générer de la musique et des illustrations, et avoir des conversations entières. Mais que se passe-t-il lorsqu’ils sont détournés vers des usages illégaux ?

La semaine dernière, la communauté du streaming a été secouée par un titre qui renvoie à l’utilisation abusive de l’IA générative. Le streamer Twitch populaire Atrioc a publié une vidéo d’excuses, les larmes aux yeux, après avoir été surpris en train de regarder de la pornographie avec les visages superposés d’autres femmes streamers.

La technologie « deepfake » nécessaire pour Photoshoper la tête d’une célébrité sur le corps d’un acteur porno existe depuis un certain temps, mais les progrès récents l’ont rendue beaucoup plus difficile à détecter.

Et c’est la pointe de l’iceberg. Entre de mauvaises mains, l’IA générative pourrait faire des dégâts incalculables. Nous avons beaucoup à perdre si les lois et les réglementations ne suivent pas.

De la polémique au crime pur et simple

Le mois dernier, l’application d’IA générative Lensa a été critiquée pour avoir permis à son système de créer des images entièrement nues et hyper-sexualisées à partir des portraits des utilisateurs. De manière controversée, il blanchissait également la peau des femmes de couleur et rendait leurs traits plus européens.

Le contrecoup a été rapide. Mais ce qui a été relativement négligé, c’est le vaste potentiel d’utilisation de l’IA générative artistique dans les escroqueries. À l’extrémité du spectre, certains rapports indiquent que ces outils sont capables de simuler des empreintes digitales et des scans faciaux (la méthode que la plupart d’entre nous utilisons pour verrouiller nos téléphones).

Les criminels trouvent rapidement de nouvelles façons d’utiliser l’IA générative pour améliorer les fraudes qu’ils commettent déjà. L’attrait de l’IA générative dans les escroqueries vient de sa capacité à trouver des modèles dans de grandes quantités de données.

La cybersécurité a vu une augmentation des « bad bots » : des programmes automatisés malveillants qui imitent le comportement humain pour commettre des crimes. L’IA générative les rendra encore plus sophistiqués et difficiles à détecter.

Avez-vous déjà reçu un SMS frauduleux du « bureau des impôts » affirmant que vous aviez un remboursement en attente ? Ou peut-être avez-vous reçu un appel affirmant qu’un mandat d’arrêt était délivré contre vous ?

Dans de telles escroqueries, l’IA générative pourrait être utilisée pour améliorer la qualité des textes ou des e-mails, les rendant beaucoup plus crédibles. Par exemple, ces dernières années, nous avons vu des systèmes d’IA être utilisés pour usurper l’identité de personnalités importantes dans des attaques de « voice spoofing ».

Ensuite, il y a les escroqueries amoureuses, où les criminels se font passer pour des intérêts amoureux et demandent de l’argent à leurs cibles pour les aider à sortir de la détresse financière. Ces escroqueries sont déjà répandues et souvent lucratives. La formation de l’IA sur les messages réels entre partenaires intimes pourrait aider à créer un chatbot frauduleux qui ne se distingue pas d’un humain.

L’IA générative pourrait également permettre aux cybercriminels de cibler plus sélectivement les personnes vulnérables. Par exemple, la formation d’un système sur les informations volées aux grandes entreprises, comme lors des piratages d’Optus ou de Medibank l’année dernière, pourrait aider les criminels à cibler les personnes âgées, les personnes handicapées ou les personnes en difficulté financière.

De plus, ces systèmes peuvent être utilisés pour améliorer le code informatique, ce qui, selon certains experts en cybersécurité, rendra les logiciels malveillants et les virus plus faciles à créer et plus difficiles à détecter pour les logiciels antivirus.

La technologie est là, et nous ne sommes pas préparés

Les gouvernements australien et néo-zélandais ont publié des cadres relatifs à l’IA, mais ce ne sont pas des règles contraignantes. Les lois des deux pays relatives à la vie privée, à la transparence et à l’absence de discrimination ne sont pas à la hauteur de la tâche, en ce qui concerne l’impact de l’IA. Cela nous place derrière le reste du monde.

Les États-Unis ont mis en place une initiative législative nationale sur l’intelligence artificielle depuis 2021. Et depuis 2019, il est illégal en Californie pour un bot d’interagir avec des utilisateurs à des fins commerciales ou électorales sans divulguer qu’il n’est pas humain.

L’Union européenne est également en bonne voie pour promulguer la première loi sur l’IA au monde. La loi sur l’IA interdit certains types de programmes d’IA présentant un « risque inacceptable » – tels que ceux utilisés par le système de crédit social chinois – et impose des restrictions obligatoires sur les systèmes « à haut risque ».

cela me semble tout à fait correct. pic.twitter.com/hNXEDdN0Yn

Kareem Carr | Scientifique des données (@kareem_carr) 29 janvier 2023

Bien que demander à ChatGPT d’enfreindre la loi entraîne des avertissements indiquant que « la planification ou la perpétration d’un crime grave peut entraîner de graves conséquences juridiques », le fait est qu’il n’est pas nécessaire que ces systèmes aient un « code moral » programmé.

Il n’y a peut-être pas de limite à ce qu’on peut leur demander de faire, et les criminels trouveront probablement des solutions de contournement pour toute règle visant à empêcher leur utilisation illégale. Les gouvernements doivent travailler en étroite collaboration avec l’industrie de la cybersécurité pour réglementer l’IA générative sans étouffer l’innovation, par exemple en exigeant des considérations éthiques pour les programmes d’IA.

Le gouvernement australien devrait utiliser la prochaine révision de la loi sur la protection des renseignements personnels pour devancer les menaces potentielles de l’IA générative sur nos identités en ligne. Pendant ce temps, le cadre néo-zélandais sur la confidentialité, les droits de l’homme et l’éthique est une étape positive.

Nous devons également être plus prudents en tant que société pour croire ce que nous voyons en ligne, et nous rappeler que les humains sont traditionnellement mauvais pour détecter la fraude.

Pouvez-vous repérer une arnaque?

Alors que les criminels ajoutent des outils d’IA génératifs à leur arsenal, la détection des escroqueries deviendra de plus en plus délicate. Les conseils classiques s’appliqueront toujours. Mais au-delà de cela, nous apprendrons beaucoup en évaluant les lacunes de ces outils.

L’IA générative est mauvaise pour le raisonnement critique et la transmission d’émotions. Il peut même être amené à donner de mauvaises réponses. Savoir quand et pourquoi cela se produit pourrait nous aider à développer des méthodes efficaces pour attraper les cybercriminels utilisant l’IA à des fins d’extorsion.

Des outils sont également en cours de développement pour détecter les sorties d’IA d’outils tels que ChatGPT. Ceux-ci pourraient contribuer grandement à prévenir la cybercriminalité basée sur l’IA s’ils s’avèrent efficaces.

* Brendan Walker-Munro est chercheur principal à l’Université du Queensland

Déclaration de divulgation : Brendan Walker-Munro reçoit un financement du gouvernement australien par le biais de Trusted Autonomous Systems, un centre de recherche coopérative de défense financé par le Fonds pour les technologies de la prochaine génération.

Cette histoire a été initialement publiée sur La conversation.