Les chasseurs de primes numériques veulent aider les entreprises à traquer les biais cachés de l’IA qui peuvent empêcher les gens d’obtenir des emplois et des prêts

Un programme d’IA pourrait-il vous empêcher de décrocher un emploi de rêve ? Le conseil municipal de New York veut s’assurer que ce n’est pas le cas pour les personnes cherchant du travail dans la Big Apple. Le conseil a récemment adopté un projet de loi qui obligerait les fournisseurs d’outils de décision d’emploi automatisés aux recruteurs de la ville à faire auditer leurs algorithmes d’IA sous-jacents chaque année et à partager les résultats avec les entreprises utilisant leurs services.

Si la mesure est promulguée, ce sera l’une des premières mesures juridiques importantes aux États-Unis qui tentera de garantir que les outils logiciels basés sur l’IA ne contiennent pas de préjugés discriminatoires à l’encontre des personnes pour des motifs raciaux, ethniques ou autres. Si d’autres mesures dans ce sens sont adoptées, elles pourraient déclencher un boom de la demande de chasseurs de primes numériques qui utilisent des ordinateurs pour traquer leur carrière.

De nombreuses entreprises offrent désormais des primes aux bogues de cybersécurité, qui peuvent parfois atteindre des centaines de milliers de dollars ou plus, aux personnes qui les aident à trouver des failles de sécurité non détectées auparavant dans leurs logiciels. L’entreprise s’est développée au point où elle a engendré des startups telles que Bugcrowd et HackerOne qui aident les DSI et autres cadres à lancer des programmes de primes et à recruter des hackers éthiques pour y travailler.

Maintenant, les plateformes disent qu’elles constatent un intérêt croissant pour les programmes qui récompensent les pirates et les chercheurs éthiques pour avoir signalé des biais algorithmiques imprévus. En plus de conduire à des préjugés à l’embauche, de tels biais peuvent affecter tout, des demandes de prêt aux stratégies de maintien de l’ordre. Ils peuvent être introduits délibérément ou par inadvertance par les développeurs eux-mêmes ou par le choix des ensembles de données sur lesquels les algorithmes sont entraînés.

Presque toutes les initiatives de primes de l’IA à ce jour sont restées privées, avec de petits groupes de pirates informatiques invités à y travailler afin que les entreprises puissent avoir une idée de ce qui est possible. Il se passe beaucoup de coups de pied dans les pneus, déclare Casey Ellis, fondateur et président de Bugcrowd.

Primes Twitter

Twitter est une entreprise qui est allée plus loin et a mené une expérience publique. En juillet, le géant des médias sociaux a lancé un programme de primes de biais algorithmique qui versait des récompenses allant jusqu’à 3 500 $ pour l’analyse d’un algorithme de recadrage de photos. La société avait déjà reconnu que l’algorithme recadrait à plusieurs reprises les visages noirs au profit des blancs et favorisait les hommes par rapport aux femmes. Ces résultats sont intervenus après qu’un tollé général au sujet d’un biais potentiel a conduit Twitter à lancer une révision de l’algorithme.

Certains critiques ont vu la décision ultérieure de lancer publiquement le programme de primes de biais de l’IA comme un mouvement de relations publiques, mais les ingénieurs de Twitter ont fait valoir que le fait d’amener un groupe diversifié de personnes à examiner ses algorithmes serait plus susceptible de l’aider à faire apparaître les biais. La société a fini attribution de 7 000 $ en primes, le premier prix étant décerné à une personne qui a montré que le modèle d’IA de Twitter avait tendance à favoriser les traits de beauté stéréotypés, comme une préférence pour les visages plus minces, plus jeunes, féminins et à la peau plus claire.

La société a souligné que l’une des raisons pour lesquelles l’exercice avait été utile était qu’il a attiré une large répartition géographique des contributeurs. Alex Rice, le directeur technique de HackerOne, qui a aidé Twitter à exécuter son programme, pense que les primes peuvent aider d’autres entreprises à identifier les problèmes liés aux algorithmes en soumettant les modèles d’IA à ce type d’examen plus large. L’idée est de mettre autant de diversité que possible sur le problème dans l’environnement le plus réel que nous puissions créer, dit-il.

Bien que Twitter ne se soit pas encore engagé à lancer un autre programme, la société de recherche technologique Forrester prédit qu’au moins cinq grandes entreprises, dont des banques et des entreprises de soins de santé, lanceront leurs propres offres de primes de biais d’IA l’année prochaine. Brandon Purcell, l’un des analystes du cabinet, pense que d’ici quelques années, le nombre de programmes commencera à croître de façon exponentielle et affirme que les DSI en seront probablement les principaux promoteurs, ainsi que les directeurs des ressources humaines.

Recherché : chasseurs de primes IA

Pour répondre à la demande future, les mondes auront besoin de beaucoup plus de détectives d’IA. Les experts en cybersécurité sont rares, mais il y a encore moins de personnes ayant une compréhension approfondie du fonctionnement des modèles d’IA. Certains pirates informatiques axés sur la sécurité sont également susceptibles de rechercher les biais de l’IA, en supposant que les primes sont suffisamment importantes, mais les experts affirment qu’il existe des différences clés qui rendent la recherche de biais plus difficile.

L’un d’eux est que les algorithmes évoluent constamment au fil du temps à mesure qu’ils se nourrissent de plus de données. Les systèmes de cybersécurité se transforment également, mais généralement à un rythme plus lent. Les chasseurs de biais d’IA doivent également être plus disposés à examiner comment les algorithmes interagissent avec des systèmes plus larges au sein d’une entreprise, alors que de nombreux cyberdéfis sont plus circonscrits.

Certains pirates éthiques qui ont également recherché des bogues de sécurité disent que ces défis sont ce qui rend la chasse aux biais de l’IA si stimulante sur le plan intellectuel. C’est plus un processus créatif et moins un processus logique qui consiste à essayer de casser quelque chose en utilisant de nombreuses méthodes prédéfinies, explique Megan Howell, l’une des chasseurs de primes qui ont participé au défi Twitter.

Les personnes possédant une expertise approfondie de l’industrie dans des domaines tels que l’évaluation du crédit et le dépistage médical, mais qui n’ont pas encore de compétences en IA, pourraient aider à combler le fossé des talents. Bugcrowds Ellis souligne que certains des chasseurs de bugs de sécurité les plus accomplis dans le domaine automobile sont des passionnés de voitures qui se sont tellement intéressés aux problèmes de sécurité auxquels l’industrie est confrontée qu’ils ont appris eux-mêmes à utiliser des outils de codage.

L’idée est de mettre autant de diversité que possible sur le problème dans l’environnement le plus réel que nous puissions créer.

Alors que les programmes de primes pourraient être utiles pour identifier les biais, les DSI disent qu’ils ne devraient jamais être traités comme une première ligne de défense. Au lieu de cela, l’objectif devrait être d’utiliser des outils et des processus pour créer des algorithmes de manière à permettre aux entreprises d’expliquer clairement les résultats qu’elles produisent. Par exemple, l’apprentissage d’algorithmes à l’aide d’un apprentissage supervisé, qui consiste à leur fournir des ensembles de données pré-étiquetés, plutôt qu’un apprentissage non supervisé, qui laisse les algorithmes déterminer eux-mêmes la structure des données, peut aider à réduire le risque d’apparition de biais.

Les leaders technologiques dans des secteurs tels que la banque accordent une attention particulière à la façon dont leurs algorithmes sont construits et fonctionnent. Notre industrie étant réglementée. . . se prête naturellement à être plus strict avec les modèles d’IA, déclare Sathish Muthukrishnan, responsable de l’information, des données et du numérique d’Ally Financial, une capitalisation boursière de 16,8 milliards de dollars. Nous commençons par développer des modèles supervisés pour des cas d’utilisation orientés client.

HackerOnes Rice convient que beaucoup peut et doit être fait pour éliminer les biais dans les modèles d’IA au cours de leur développement. Pourtant, il pense que les programmes de primes sont quelque chose que les DSI et autres cadres devraient toujours envisager en complément de leurs efforts initiaux. Vous voulez trouver [biases] grâce à l’automatisation, à l’analyse, à la formation des développeurs et aux outils de gestion des vulnérabilités, explique Rice. Le problème est que tout cela est insuffisant.