Pourquoi la ville de New York sévit contre l’IA lors de l’embauche

Le conseil municipal de New York a voté 38 contre 4 le 10 novembre 2021 pour adopter un projet de loi qui obligerait les fournisseurs à embaucher à effectuer des audits annuels de biais de l’utilisation de l’intelligence artificielle (IA) dans les processus et outils de la ville. Les entreprises utilisant des ressources générées par l’IA seront chargées de divulguer aux candidats à l’emploi comment la technologie a été utilisée dans le processus d’embauche et doivent permettre aux candidats d’opter pour des approches alternatives, telles que le traitement de leur candidature par une personne à la place. Pour la première fois, une ville de la taille de New York imposera des amendes pour une utilisation non divulguée ou biaisée de l’IA, imposant jusqu’à 1 500 $ par violation aux employeurs et aux fournisseurs. Entré en vigueur sans la signature du maire sortant DeBlasios, la législation devrait maintenant entrer en vigueur en 2023. C’est une mesure révélatrice de la façon dont le gouvernement a commencé à réprimer l’utilisation de l’IA dans les processus de recrutement et préfigure ce que d’autres villes peuvent faire pour lutter contre l’IA. généré des préjugés et de la discrimination.

Utilisation de l’IA dans l’embauche

Ces dernières années, les entreprises ont accéléré le déploiement de l’IA dans leurs processus de recrutement. Alors que l’économie se remet des effets dévastateurs de COVID-19 et de la grande démission qui a suivi, les technologies émergentes comme l’IA ont aidé les entreprises à rationaliser les embauches de masse, tout en réduisant certains coûts opérationnels. Mais dans la précipitation pour déployer de nouveaux outils technologiques, les professionnels du recrutement n’ont pas suffisamment pris en compte les conséquences prévues et imprévues de l’utilisation accrue de l’IA, y compris les biais systématisés que les algorithmes d’apprentissage automatique peuvent perpétuer dans les pratiques de sélection et d’embauche.

En 2018, Amazon a découvert que son logiciel d’embauche d’IA déclassait les curriculum vitae qui incluaient le mot femmes et ceux des candidats des collèges réservés aux femmes, car l’entreprise n’avait pas beaucoup d’antécédents en matière d’embauche d’ingénieures et d’informaticiennes. Une étude de 2018 a révélé que Face++ et Microsoft AI, des logiciels de reconnaissance faciale populaires qui pourraient être utilisés pour analyser les émotions des candidats à la recherche de traits souhaitables, se sont avérés attribuer aux hommes noirs plus d’émotions négatives que leurs homologues blancs. Si rien n’est fait, ces biais dans les systèmes automatisés entraînent le verrouillage injustifié d’opportunités pour les candidats issus de groupes historiquement défavorisés.

Avec l’aide d’universitaires, de leaders de l’industrie et d’organisations de la société civile, les dirigeants de la ville de New York font avancer la législation dans ce domaine qui aidera à identifier et à atténuer les inconvénients potentiels de l’utilisation de l’IA. Ce projet de loi pourrait être une étape importante dans la lutte contre les biais de l’IA dans le recrutement, mais les experts se sont également méfiés de ses diverses lacunes. Des groupes comme le Center for Democracy and Technology (CDT) ont exprimé des inquiétudes concernant la conception et l’exécution d’audits de discrimination basés uniquement sur la race et le sexe, et non sur d’autres variables comme le handicap, l’âge et d’autres facteurs. CDT soutient également que la loi ne s’applique qu’au processus d’embauche, laissant la place à l’utilisation non divulguée de l’IA lors de la détermination de la rémunération, des horaires, des conditions de travail et des promotions.

L’utilisation des audits

Le CDT a également fait part de ses préoccupations concernant le manque de détails des projets de loi sur la manière dont les audits de partialité devraient être effectués. Tel que défini dans la législation, l’audit de partialité est une évaluation impartiale par un auditeur indépendant . . . [which tests the] outil automatisé de décision d’emploi pour évaluer l’impact disparate des outils. Universités de New York Julia Stoyanovich a signalé que ces exigences seront faciles à satisfaire ; les vendeurs auront une grande latitude pour l’interprétation, ce qui peut par la suite diluer les lignes de violations exécutoires.

Sur ce point, Deb Raji, membre de la Fondation Mozilla et de l’Algorithmic Justice League et titulaire d’un doctorat de l’UC Berkeley. étudiant, a fait valoir que les audits annuels ne devraient pas être un processus ponctuel dont les fournisseurs sont seuls responsables. Au lieu de cela, elle propose que davantage d’infrastructures pourraient guider un système d’audit plus responsable. Cela comprendrait un conseil de surveillance des audits qui pourrait aider à contrôler et à soutenir les acteurs tiers accrédités et un système de signalement national qui signalerait les cas de discrimination et les violations potentielles. L’universitaire de Brookings Alex Engler a également évoqué des considérations similaires concernant l’intégrité de l’audit des algorithmes d’emploi, affirmant que les données et la documentation collectées par les auditeurs devraient également être examinées pour leurs éventuels biais. De telles réclamations sont pertinentes pour la loi de la ville de New York qui limite l’application aux préjudices algorithmiques identifiables dans les demandes d’emploi.

Les données sur lesquelles les systèmes de recrutement d’IA sont formés s’ajoutent à la complexité de l’application. Malgré les efforts déployés par des entités fédérales comme l’Equal Opportunity Employment Commission (EEOC) pour identifier et atténuer les préjugés et la discrimination en personne sur le lieu de travail, ils continuent. Ainsi, même si un algorithme pourrait être moins hostile aux groupes démographiques, la multiplicité des variables collectées et l’utilisation de proxys masqués comme les codes postaux permettront toujours audit algorithme de tirer des conclusions sur leur race et d’autres catégories protégées avec une grande précision. Par exemple, bien que l’algorithme d’embauche d’Amazon n’ait pas été programmé pour ignorer intentionnellement les candidatures féminines, les choix universitaires et les expériences passées des candidats étaient suffisants pour indiquer qu’ils n’étaient pas des hommes, différents des employés précédents et ont donc été déclassés.

Les meilleures pratiques en matière d’emploi ont travaillé dur pour masquer les traits qui peuvent biaiser un employeur dans le processus d’embauche, y compris la race, la religion, le statut de handicap et l’identité de genre des employés potentiels. L’utilisation d’entretiens à l’aveugle, en particulier lors de la présélection, est un exemple de stratégies visant à rendre le processus équitable. Mais grâce à l’utilisation de l’IA dans le processus d’embauche, ces gains peuvent être inversés par l’accès et l’examen des photos accessibles au public, des groupes d’affinité et de l’hypertexte associés de manière causale aux candidats.

De plus en plus d’États et de municipalités emboîtent le pas

Au-delà de New York, d’autres États et municipalités ont pris des mesures pour limiter l’utilisation de l’IA pendant le processus d’embauche. En 2019, l’Illinois a adopté la loi sur les entretiens vidéo sur l’intelligence artificielle (HB 2557), qui oblige les employeurs à divulguer le moment où l’IA est utilisée dans un entretien vidéo et permet aux candidats de supprimer leurs données. Suite à cela, le Maryland a adopté le HB 1202, qui interdit l’utilisation de la reconnaissance faciale lors des entretiens préalables à l’emploi jusqu’à ce que l’employeur ait reçu le consentement du demandeur. Le projet de loi en attente de la Californie, le SB 1241, le Talent Equity for Competitive Hiring (TECH) Act, est similaire au projet de loi de la ville de New York et exige que l’IA utilisée pour l’embauche soit pré-testée pour déceler les préjugés sur une base annuelle. Plus tôt ce mois-ci, le procureur général du district de Columbia a envoyé un projet de loi similaire au conseil municipal, qui tiendrait les entreprises responsables de l’utilisation d’algorithmes d’IA biaisés dans l’éducation, l’emploi, la finance et plus encore par le biais d’audits obligatoires.

Alors que le titre VII du Civil Rights Act de 1964 interdit explicitement la discrimination en matière d’emploi fondée sur la race, la couleur, la religion, le sexe, l’origine nationale et autres, il reste beaucoup à faire pour appliquer la loi. En décembre 2020, dix sénateurs américains, dont le sénateur Michael Bennet (D-Colo.), Cory Booker (DN.J.) et Sherrod Brown (D-Ohio), ont adressé une lettre à la présidente de l’EEOC, Janet Dhillon, exhortant la Commission à enquêter sur les biais dans les technologies de recrutement basées sur l’IA. En réponse, l’EEOC a annoncé en octobre 2021 qu’il lançait une initiative pour examiner les biais de l’IA dans l’embauche et s’assurer que ces outils sont conformes aux lois anti-discrimination et aux droits civils.

Bien que la loi de la ville de New York semble être une première étape, de nombreuses conséquences potentielles de l’utilisation de l’IA tout au long du processus d’embauche et d’emploi restent sans réponse. Les décideurs politiques intéressés à s’appuyer sur le travail de NYC doivent s’assurer que la législation d’audit ultérieure examine de manière approfondie les biais dans les résultats de l’IA et explore le potentiel de déclencher automatiquement des audits tiers lorsqu’un traitement disparate est supposé s’être produit.

Amazon est un donateur général et illimité à la Brookings Institution. Les découvertes, interprétations et conclusions publiées dans cet article sont uniquement celles de l’auteur et ne sont influencées par aucun don.