Ces robots ont été entraînés à l’IA. Ils sont devenus racistes et sexistes.
L’étude, publiée le mois dernier et menée par des institutions telles que l’Université Johns Hopkins et le Georgia Institute of Technology, montre que les préjugés racistes et sexistes intégrés aux systèmes d’intelligence artificielle peuvent se traduire par des robots qui les utilisent pour guider leurs opérations.
Les entreprises ont investi des milliards de dollars dans le développement de plus de robots pour aider à remplacer les humains pour des tâches telles que le stockage des étagères, la livraison de marchandises ou même les soins aux patients hospitalisés. Renforcée par la pandémie et la pénurie de main-d’œuvre qui en résulte, les experts décrivent l’atmosphère actuelle de la robotique comme une sorte de ruée vers l’or. Mais les éthiciens et les chercheurs en technologie préviennent que l’adoption rapide de la nouvelle technologie pourrait entraîner des conséquences imprévues à mesure que la technologie deviendra plus avancée et omniprésente.
Avec le codage, il suffit souvent de créer le nouveau logiciel par-dessus l’ancien, a déclaré Zac Stewart Rogers, professeur de gestion de la chaîne d’approvisionnement à la Colorado State University. Ainsi, lorsque vous arrivez au point où les robots en font plus et qu’ils sont construits sur des racines défectueuses, vous pourriez certainement nous voir rencontrer des problèmes.
Les chercheurs de ces dernières années ont documenté plusieurs cas d’algorithmes d’intelligence artificielle biaisés. Cela inclut des algorithmes de prédiction des crimes ciblant injustement les Noirs et les Latinos pour des crimes qu’ils n’ont pas commis, ainsi que des systèmes de reconnaissance faciale ayant du mal à identifier avec précision les personnes de couleur.
Mais jusqu’à présent, les robots ont échappé à une grande partie de cet examen minutieux, perçu comme plus neutre, selon les chercheurs. Cela découle en partie de la nature parfois limitée des tâches qu’ils effectuent : par exemple, déplacer des marchandises dans un entrepôt.
Abeba Birhane, chercheur principal à la Fondation Mozilla qui étudie les stéréotypes raciaux dans les modèles de langage, a déclaré que les robots peuvent toujours fonctionner sur une technologie problématique similaire et présenter un mauvais comportement.
En ce qui concerne les systèmes robotiques, ils ont le potentiel de passer pour des objets objectifs ou neutres par rapport aux systèmes algorithmiques, a-t-elle déclaré. Cela signifie que les dégâts qu’ils causent peuvent passer inaperçus pendant longtemps.
Pendant ce temps, l’industrie de l’automatisation devrait passer de 18 milliards de dollars à 60 milliards de dollars d’ici la fin de la décennie, alimentée en grande partie par la robotique, a déclaré Rogers. Au cours des cinq prochaines années, l’utilisation de robots dans les entrepôts devrait augmenter de 50 % ou plus, selon le Material Handling Institute, un groupement professionnel de l’industrie. En avril, Amazon a investi 1 milliard de dollars dans un fonds d’innovation qui investit massivement dans les entreprises de robotique. (Le fondateur d’Amazon, Jeff Bezos, est propriétaire du Washington Post.)
L’équipe de chercheurs étudiant l’IA dans les robots, qui comprenait des membres de l’Université de Washington et de l’Université technique de Munich en Allemagne, a formé des robots virtuels sur CLIP, un modèle d’intelligence artificielle à grand langage créé et dévoilé par OpenAI l’année dernière.
Le modèle populaire, qui classe visuellement les objets, est construit en grattant des milliards d’images et de légendes de texte sur Internet. Bien qu’encore à ses débuts, il est moins cher et moins exigeant en main-d’œuvre pour les entreprises de robotique que de créer leur propre logiciel à partir de zéro, ce qui en fait une option potentiellement intéressante.
Les chercheurs ont donné aux robots virtuels 62 commandes. Lorsque les chercheurs ont demandé à des robots d’identifier des blocs comme femmes au foyer, les femmes noires et latines étaient plus souvent sélectionnées que les hommes blancs, a montré l’étude. Lors de l’identification des criminels, les hommes noirs ont été choisis 9% plus souvent que les hommes blancs. En réalité, selon les scientifiques, les robots n’auraient pas dû réagir, car ils n’ont pas reçu d’informations pour porter ce jugement.
Pour les concierges, les blocs avec des hommes latinos ont été choisis 6% de plus que les hommes blancs. Les femmes étaient moins susceptibles d’être identifiées comme médecin que les hommes, ont découvert les chercheurs. (Les scientifiques n’avaient pas de blocs représentant des personnes non binaires en raison des limites de l’ensemble de données d’images faciales qu’ils utilisaient, ce qu’ils ont reconnu comme une lacune de l’étude. )
Andrew Hundt, boursier postdoctoral du Georgia Institute of Technology et chercheur principal de l’étude, a déclaré que ce type de biais pourrait avoir des implications dans le monde réel. Imaginez, a-t-il dit, un scénario où des robots sont invités à retirer des produits des étagères. Dans de nombreux cas, les livres, les jouets pour enfants et les emballages alimentaires comportent des images de personnes. Si des robots entraînés sur certaines IA étaient utilisés pour choisir des choses, ils pourraient se diriger vers des produits qui présentent plus d’hommes ou de Blancs que d’autres, a-t-il déclaré.
Dans un autre scénario, la coéquipière de recherche de Hundt, Vicky Zeng de l’Université Johns Hopkins, a déclaré qu’un enfant pourrait demander à des robots domestiques d’aller chercher une belle poupée et de revenir avec une poupée blanche.
C’est vraiment problématique, a déclaré Hundt.
Miles Brundage, responsable de la recherche sur les politiques chez OpenAI, a déclaré dans un communiqué que la société avait noté que des problèmes de biais étaient apparus dans la recherche de CLIP, et qu’elle savait « qu’il y a beaucoup de travail à faire ». Brundage a ajouté qu’une étude plus approfondie une analyse du modèle serait nécessaire pour le déployer sur le marché.
Birhane a ajouté qu’il est presque impossible que l’intelligence artificielle utilise des ensembles de données qui ne soient pas biaisés, mais cela ne signifie pas que les entreprises doivent abandonner. Birhane a déclaré que les entreprises doivent auditer les algorithmes qu’elles utilisent et diagnostiquer la manière dont elles présentent un comportement défectueux, en créant des moyens de diagnostiquer et d’améliorer ces problèmes.
Cela peut sembler radical, dit-elle. Mais cela ne signifie pas que nous ne pouvons pas rêver.
Rogers, de l’Université d’État du Colorado, a déclaré que ce n’était pas encore un gros problème en raison de la façon dont les robots sont actuellement utilisés, mais cela pourrait l’être d’ici une décennie. Mais si les entreprises attendent pour apporter des changements, a-t-il ajouté, il pourrait être trop tard.
C’est une ruée vers l’or, a-t-il ajouté. Ils ne vont pas ralentir maintenant.