La course aux armements liée à l’IA entraînera-t-elle la pollution d’Internet ?

La course aux armements entre les entreprises axées sur la création de modèles d’intelligence artificielle (IA) en supprimant le contenu publié et les créateurs qui souhaitent défendre leur propriété intellectuelle en polluant ces données pourrait conduire à l’effondrement de l’écosystème actuel de l’apprentissage automatique, préviennent les experts.

Dans un article universitaire publié en août, des informaticiens de l’Université de Chicago ont proposé des techniques pour se défendre contre les efforts massifs visant à supprimer le contenu, en particulier les œuvres d’art, et à déjouer l’utilisation de ces données pour entraîner des modèles d’IA. Le résultat de cet effort polluerait les modèles d’IA formés sur les données et les empêcherait de créer des œuvres d’art stylistiquement similaires.

Un deuxième article souligne toutefois qu’une telle pollution intentionnelle coïncidera avec l’adoption massive de l’IA par les entreprises et par les consommateurs, une tendance qui fera passer la composition du contenu en ligne de celui généré par l’homme à celui généré par la machine. À mesure que de plus en plus de modèles s’entraînent sur des données créées par d’autres machines, la boucle récursive pourrait conduire à un « effondrement du modèle », dans lequel les systèmes d’IA se dissocient de la réalité.

La dégénérescence des données est déjà en cours et pourrait poser des problèmes pour les futures applications de l’IA, en particulier les grands modèles de langage (LLM), explique Gary McGraw, co-fondateur du Berryville Institute of Machine Learning (BIML).

« Si nous voulons avoir de meilleurs LLM, nous devons faire en sorte que les modèles fondamentaux ne consomment que de bonnes choses », dit-il. « Si vous pensez que les erreurs qu’ils commettent sont mauvaises maintenant, attendez simplement de voir ce qui se passe lorsqu’ils rongent leurs propres erreurs et commettent des erreurs encore plus claires. »

Ces inquiétudes surviennent alors que les chercheurs continuent d’étudier la question de l’empoisonnement des données, qui, selon le contexte, peut constituer une défense contre une utilisation non autorisée de contenu, une attaque contre des modèles d’IA ou la progression naturelle suite à une utilisation non réglementée de systèmes d’IA. L’Open Worldwide Application Security Project (OWASP), par exemple, a publié son Liste des 10 principaux problèmes de sécurité pour les applications de modèles de langage étendus le 1er août, classant l’empoisonnement des données de formation comme la troisième menace la plus importante pour les LLM.

Un article sur les défenses visant à empêcher les efforts visant à imiter les styles d’artistes sans autorisation met en évidence la double nature de l’empoisonnement des données. Un groupe de chercheurs de l’Université de Chicago a créé des « style cloaks », une technique d’IA contradictoire consistant à modifier les œuvres d’art de telle sorte que les modèles d’IA formés sur les données produisent des résultats inattendus. Leur approche, surnommé Glazea été transformée en application gratuite sous Windows et Mac et a été téléchargée plus de 740 000 fois, selon l’étude qui a remporté le prix Internet Defense 2023 au USENIX Security Symposium.

S’il espère que les sociétés d’IA et les communautés de créateurs parviendront à un équilibre équilibré, les efforts actuels entraîneront probablement plus de problèmes que de solutions, déclare Steve Wilson, directeur des produits de la société de sécurité logicielle Contrast Security et responsable du Top-10 OWASP pour Projet d’applications LLM.

« Tout comme un acteur malveillant pourrait introduire des données trompeuses ou nuisibles pour compromettre un modèle d’IA, l’utilisation généralisée de ‘perturbations’ ou de ‘masques de style’ pourrait avoir des conséquences inattendues », dit-il. « Ces conséquences pourraient aller de la dégradation des performances des services d’IA bénéfiques à la création de dilemmes juridiques et éthiques. »

Le bon, le méchant et le venimeux

Ces tendances soulignent les enjeux pour les entreprises qui se concentrent sur la création de la prochaine génération de modèles d’IA si les créateurs de contenu humain ne sont pas impliqués. Les modèles d’IA s’appuient sur du contenu créé par des humains, et l’utilisation généralisée de contenu sans autorisation a créé une rupture dissociative : les créateurs de contenu cherchent des moyens de défendre leurs données contre des utilisations involontaires, tandis que les entreprises à l’origine des systèmes d’IA visent à consommer ce contenu à des fins de formation.

Les efforts défensifs, ainsi que le passage du contenu Internet créé par l’homme à celui créé par la machine, pourraient avoir un impact durable. L’effondrement du modèle est défini comme « un processus dégénératif affectant des générations de modèles génératifs appris, où les données générées finissent par polluer l’ensemble d’apprentissage de la prochaine génération de modèles », selon un document publié par un groupe de chercheurs d’universités du Canada et du Royaume-Uni.

L’effondrement du modèle « doit être pris au sérieux si nous voulons pérenniser les avantages de la formation à partir de données à grande échelle récupérées sur le Web », ont déclaré les chercheurs. « En effet, la valeur des données collectées sur les interactions humaines authentiques avec les systèmes sera de plus en plus précieuse en présence de contenu généré par les LLM dans les données extraites d’Internet. »

Des solutions pourraient émerger… ou pas

Les grands modèles d’IA actuels en supposant qu’ils gagner les batailles juridiques intentées par les créateurs trouvera probablement des moyens de contourner les défenses mises en œuvre, déclare Wilson de Contrast Security. À mesure que les techniques d’IA et d’apprentissage automatique évolueront, elles trouveront des moyens de détecter certaines formes d’empoisonnement des données, ce qui rendra cette approche défensive moins efficace, dit-il.

De plus, des solutions plus collaboratives, comme Firefly d’Adobe, qui étiquette le contenu avec des « étiquettes nutritionnelles » numériques fournissant des informations sur la source et les outils utilisés pour créer une image, pourraient suffire à défendre la propriété intellectuelle sans trop polluer l’écosystème.

Ces approches constituent toutefois « une solution créative à court terme » [but are] « Il est peu probable qu’il s’agisse d’une solution miracle dans la défense à long terme contre le mimétisme ou le vol généré par l’IA », déclare Wilson. « L’accent devrait peut-être être mis sur le développement de systèmes d’IA plus robustes et éthiques, associés à des cadres juridiques solides pour protéger la propriété intellectuelle. »

McGraw du BIML soutient que les grandes entreprises travaillant aujourd’hui sur les LLM devraient investir massivement dans la prévention de la pollution des données sur Internet et qu’il est dans leur intérêt de travailler avec des créateurs humains.

« Ils vont devoir trouver un moyen de marquer le contenu comme » nous l’avons créé, alors ne l’utilisez pas pour la formation. Essentiellement, ils peuvent résoudre le problème par eux-mêmes », dit-il. « Ils devraient vouloir faire cela. … Il n’est pas sûr pour moi qu’ils aient encore assimilé ce message. »