Nous nous précipitons vers un Internet glitchy, spammy, scammy, alimenté par l’IA

Cette histoire a paru à l’origine dans The Algorithm, notre newsletter hebdomadaire sur l’IA. Pour recevoir d’abord des histoires comme celle-ci dans votre boîte de réception, inscrivez-vous ici.

La semaine dernière, les initiés de l’IA ont débattu avec passion d’une lettre ouverte signée par Elon Musk et divers poids lourds de l’industrie affirmant que l’IA pose un risque existentiel pour l’humanité. Ils ont appelé les laboratoires à introduire un moratoire de six mois sur le développement de toute technologie plus puissante que GPT-4.

Je suis d’accord avec les critiques de la lettre qui disent que s’inquiéter des risques futurs nous détourne des dommages très réels que l’IA cause déjà aujourd’hui. Des systèmes biaisés sont utilisés pour prendre des décisions sur la vie des gens qui les piègent dans la pauvreté ou conduisent à des arrestations injustifiées. Les modérateurs de contenu humains doivent passer au crible des montagnes de contenu traumatisant généré par l’IA pour seulement 2 $ par jour. Les modèles d’IA du langage utilisent tellement de puissance de calcul qu’ils restent d’énormes pollueurs.

Mais les systèmes qui sont sortis à la hâte aujourd’hui vont causer un tout autre type de ravages dans un avenir très proche.

Je viens de publier une histoire qui présente certaines des façons dont les modèles de langage d’IA peuvent être utilisés à mauvais escient. J’ai de mauvaises nouvelles : c’est stupidement facile, cela ne nécessite aucune compétence en programmation et il n’y a pas de correctifs connus. Par exemple, pour un type d’attaque appelé injection d’invite indirecte, tout ce que vous avez à faire est de masquer une invite dans un message intelligemment conçu sur un site Web ou dans un e-mail, en texte blanc qui (sur fond blanc) n’est pas visible pour le œil humain. Une fois que vous avez fait cela, vous pouvez commander le modèle AI pour faire ce que vous voulez.

Les entreprises technologiques intègrent ces modèles profondément défectueux dans toutes sortes de produits, des programmes qui génèrent du code aux assistants virtuels qui passent au crible nos e-mails et nos calendriers.

Ce faisant, ils nous envoient précipitamment vers un Internet glitchy, spammy, scammy et alimenté par l’IA.

Permettre à ces modèles de langage d’extraire des données d’Internet donne aux pirates la possibilité de les transformer en un moteur super puissant pour le spam et le phishing, explique Florian Tramr, professeur adjoint d’informatique à l’ETH Zrich qui travaille sur la sécurité informatique, la confidentialité et apprentissage automatique.

Laissez-moi vous expliquer comment cela fonctionne. Tout d’abord, un attaquant cache une invite malveillante dans un message dans un e-mail qu’un assistant virtuel alimenté par l’IA ouvre. L’invite des attaquants demande à l’assistant virtuel d’envoyer à l’attaquant la liste de contacts ou les e-mails des victimes, ou de diffuser l’attaque à toutes les personnes figurant dans la liste de contacts des destinataires. Contrairement aux spams et aux e-mails frauduleux d’aujourd’hui, où les gens doivent être amenés à cliquer sur des liens, ces nouveaux types d’attaques seront invisibles à l’œil humain et automatisés.

C’est la recette du désastre si l’assistant virtuel a accès à des informations sensibles, comme des données bancaires ou de santé. La possibilité de modifier le comportement de l’assistant virtuel alimenté par l’IA signifie que les gens pourraient être amenés à approuver des transactions qui semblent assez proches de la réalité, mais qui sont en fait plantées par un attaquant.

Surfer sur Internet à l’aide d’un navigateur avec un modèle de langage d’IA intégré va également être risqué. Lors d’un test, un chercheur a réussi à faire en sorte que le chatbot Bing génère un texte donnant l’impression qu’un employé de Microsoft vendait des produits Microsoft à prix réduit, dans le but d’essayer d’obtenir les détails de la carte de crédit des gens. Faire apparaître la tentative d’escroquerie ne nécessiterait pas que la personne utilisant Bing fasse quoi que ce soit, sauf visiter un site Web avec l’injection d’invite cachée.

Il existe même un risque que ces modèles soient compromis avant d’être déployés dans la nature.Les modèles d’IA sont formés sur de grandes quantités de données extraites d’Internet. Cela inclut également une variété de bogues logiciels, qu’OpenAI a découverts à la dure. La société a dû fermer temporairement ChatGPT après qu’un bogue extrait d’un ensemble de données open source a commencé à divulguer les historiques de discussion des utilisateurs de bots. Le bogue était vraisemblablement accidentel, mais le cas montre à quel point un bogue dans un ensemble de données peut causer des problèmes.

L’équipe de Tramrs a découvert qu’il était facile et bon marché d’empoisonner des ensembles de données avec du contenu qu’ils avaient planté. Les données compromises ont ensuite été récupérées dans un modèle de langage d’IA.

Plus quelque chose apparaît dans un ensemble de données, plus l’association dans le modèle d’IA devient forte. En semant suffisamment de contenu néfaste dans les données de formation, il serait possible d’influencer à jamais le comportement et les sorties des modèles.

Ces risques seront aggravés lorsque des outils de langage d’IA sont utilisés pour générer du code qui est ensuite intégré dans le logiciel.

Si vous construisez un logiciel sur ce truc et que vous ne connaissez pas l’injection rapide, vous allez faire des erreurs stupides et vous allez construire des systèmes non sécurisés, déclare Simon Willison, chercheur indépendant et développeur de logiciels, qui a étudié l’injection rapide.

À mesure que l’adoption des modèles de langage d’IA augmente, l’incitation des acteurs malveillants à les utiliser pour le piratage augmente également. C’est une tempête de merde à laquelle nous ne sommes même pas préparés à distance.

Apprentissage plus approfondi

Des créateurs chinois utilisent Midjourneys AI pour générer de la photographie urbaine rétro

ZHANG HAIJUN VIA MIDJOURNEY

Un certain nombre d’artistes et de créateurs génèrent des photographies nostalgiques de la Chine avec l’aide de l’IA. Même si ces images se trompent sur certains détails, elles sont suffisamment réalistes pour tromper et impressionner de nombreux adeptes des médias sociaux.

Mon collègue Zeyi Yang a parlé avec des artistes utilisant Midjourney pour créer ces images. Une nouvelle mise à jour de Midjourney a changé la donne pour ces artistes, car elle crée des humains plus réalistes (avec cinq doigts !) et dépeint mieux les visages asiatiques. Pour en savoir plus, consultez sa newsletter hebdomadaire sur la technologie chinoise, China Report.

Apprentissage encore plus approfondi

IA générative : produits de consommation

Pensez-vous à la façon dont l’IA va changer le développement de produits ? MIT Technology Review propose un rapport de recherche spécial sur la façon dont l’IA générative façonne les produits de consommation. Le rapport explore comment les outils d’IA générative pourraient aider les entreprises à raccourcir les cycles de production et à garder une longueur d’avance sur l’évolution des goûts des consommateurs, ainsi qu’à développer de nouveaux concepts et à réinventer les gammes de produits existantes. Nous nous penchons également sur ce à quoi ressemble une intégration réussie des outils d’IA générative dans le secteur des biens de consommation.

Ce qui est inclu:Le rapport comprend deux études de cas, une infographie sur la façon dont la technologie pourrait évoluer à partir d’ici et des conseils pratiques pour les professionnels sur la façon de réfléchir à son impact et à sa valeur. Partagez le rapport avec votre équipe.

Bits et octets

L’Italie a interdit ChatGPT pour violation présumée de la vie privée
L’autorité italienne de protection des données a déclaré qu’elle enquêterait pour savoir si ChatGPT a violé le régime européen strict de protection des données, le RGPD. C’est parce que les modèles de langage d’IA comme ChatGPT récupèrent des masses de données sur Internet, y compris des données personnelles, comme je l’ai signalé l’année dernière. On ne sait pas combien de temps cette interdiction pourrait durer, ou si elle est exécutoire. Mais l’affaire créera un précédent intéressant sur la manière dont la technologie est réglementée en Europe. (BBC)

Google et DeepMind s’associent pour concurrencer OpenAI
Cet article examine comment les modèles de langage d’IA ont provoqué des conflits au sein d’Alphabet, et comment Google et DeepMind ont été contraints de travailler ensemble sur un projet appelé Gemini, un effort pour créer un modèle de langage pour rivaliser avec GPT-4.(The Information)

BuzzFeed publie discrètement des articles entiers générés par l’IA
Plus tôt cette année, lorsque BuzzFeed a annoncé qu’il allait utiliser ChatGPT pour générer des quiz, il a déclaré qu’il ne remplacerait pas les rédacteurs humains pour les articles réels. Cela n’a pas duré longtemps. La société affirme maintenant que les pièces générées par l’IA font partie d’une expérience qu’elle mène pour voir dans quelle mesure l’assistance à l’écriture par l’IA fonctionne. (Futurisme)