L’application d’avatar AI virale Lensa m’a déshabillé sans mon consentement
Stability.AI, la société qui a développé Stable Diffusion, a lancé fin novembre une nouvelle version du modèle d’IA. Un porte-parole dit que le modèle original a été publié avec un filtre de sécurité, que Lensa ne semble pas avoir utilisé, car il supprimerait ces sorties. Une façon dont Stable Diffusion 2.0 filtre le contenu consiste à supprimer les images qui se répètent souvent. Plus quelque chose est répété, comme les femmes asiatiques dans des scènes sexuellement graphiques, plus l’association devient forte dans le modèle de l’IA.
Caliskan a étudié CLIP (Contrastive Language Image Pretraining), qui est un système qui aide Stable Diffusion à générer des images. CLIP apprend à faire correspondre les images d’un ensemble de données à des invites textuelles descriptives. Caliskan a constaté qu’il était plein de préjugés sexistes et raciaux problématiques.
Les femmes sont associées au contenu sexuel, tandis que les hommes sont associés au contenu professionnel lié à la carrière dans n’importe quel domaine important comme la médecine, la science, les affaires, etc., dit Caliskan.
Curieusement, mes avatars Lensa étaient plus réalistes lorsque mes photos passaient par des filtres de contenu masculin. J’ai des avatars de moi portant des vêtements (!) et dans des poses neutres. Sur plusieurs images, je portais une blouse blanche qui semblait appartenir soit à un chef, soit à un médecin.
Mais ce ne sont pas seulement les données d’entraînement qui sont à blâmer. Les entreprises qui développent ces modèles et applications font des choix actifs sur la façon dont elles utilisent les données, explique Ryan Steed, doctorant à l’Université Carnegie Mellon, qui a étudié les biais dans les algorithmes de génération d’images.
Quelqu’un doit choisir les données de formation, décider de construire le modèle, décider de prendre certaines mesures pour atténuer ou non ces biais, dit-il.
Les développeurs d’applications ont choisi que les avatars masculins apparaissent dans des combinaisons spatiales, tandis que les avatars féminins reçoivent des strings cosmiques et des ailes de fée.
Un porte-parole de Prisma Labs dit que la sexualisation sporadique des photos arrive à des personnes de tous les sexes, mais de différentes manières.