Le mouvement pour tenir l’IA responsable gagne plus de vapeur

Un prochain rapport de l’Algorithmic Justice League (AJL), une organisation privée à but non lucratif, recommande d’exiger la divulgation lorsqu’un modèle d’IA est utilisé et de créer un référentiel public des incidents où l’IA a causé des dommages. Le référentiel pourrait aider les auditeurs à détecter les problèmes potentiels liés aux algorithmes et aider les régulateurs à enquêter ou à sanctionner les récidivistes. La fondatrice d’AJL, Joy Buolamwini, a co-écrit un audit influent de 2018 qui a révélé que les algorithmes de reconnaissance faciale fonctionnent mieux sur les hommes blancs et pire sur les femmes à la peau foncée.

Le rapport indique qu’il est crucial que les auditeurs soient indépendants et que les résultats soient publiquement révisables. Sans ces garanties, il n’y a aucun mécanisme de responsabilisation, déclare Sasha Costanza-Chock, responsable de la recherche à l’AJL. S’ils le veulent, ils peuvent simplement l’enterrer ; si un problème est détecté, il n’y a aucune garantie qu’il soit résolu. C’est édenté, c’est secret, et les auditeurs n’ont aucun pouvoir.

Deb Raji est boursière à l’AJL qui évalue les audits, et elle a participé à l’audit 2018 des algorithmes de reconnaissance faciale. Elle met en garde contre le fait que les grandes entreprises technologiques semblent adopter une approche plus contradictoire vis-à-vis des auditeurs externes, menaçant parfois de poursuites judiciaires fondées sur la confidentialité ou des motifs anti-piratage. En août, Facebook a empêché les universitaires de NYU de surveiller les dépenses publicitaires politiques et a contrecarré les efforts d’un chercheur allemand pour enquêter sur l’algorithme d’Instagram.

Raji appelle à la création d’un conseil de surveillance de l’audit au sein d’une agence fédérale pour faire des choses comme faire respecter les normes ou arbitrer les différends entre les auditeurs et les entreprises. Un tel conseil pourrait être inspiré des normes du Financial Accounting Standards Board ou des Food and Drug Administrations pour l’évaluation des dispositifs médicaux.

Les normes pour les audits et les auditeurs sont importantes car les appels croissants à réglementer l’IA ont conduit à la création d’un certain nombre de startups d’audit, certaines par des critiques de l’IA, et d’autres qui pourraient être plus favorables aux entreprises qu’elles auditent. En 2019, une coalition de chercheurs en IA de 30 organisations a recommandé des audits et une réglementation externes qui créent un marché pour les auditeurs dans le cadre de la création d’une IA à laquelle les gens font confiance avec des résultats vérifiables.

Cathy ONeil a créé une entreprise, O’Neil Risk Consulting & Algorithmic Auditing (Orcaa), en partie pour évaluer l’IA invisible ou inaccessible au public. Par exemple, Orcaa travaille avec les procureurs généraux de quatre États américains pour évaluer des algorithmes de produits financiers ou de consommation. Mais ONeil dit qu’elle perd des clients potentiels parce que les entreprises veulent maintenir un déni plausible et ne veulent pas savoir si ou comment leur IA nuit aux gens.

Plus tôt cette année, Orcaa a réalisé un audit d’un algorithme utilisé par HireVue pour analyser les visages des personnes lors des entretiens d’embauche. Un communiqué de presse de la société a affirmé que l’audit n’avait trouvé aucun problème d’exactitude ou de biais, mais l’audit n’a fait aucune tentative pour évaluer le code du système, les données de formation ou les performances pour différents groupes de personnes. Les critiques ont déclaré que la caractérisation de l’audit par HireVues était trompeuse et fallacieuse. Peu de temps avant la publication de l’audit, HireVue a déclaré qu’il cesserait d’utiliser l’IA dans les entretiens d’embauche vidéo.

ONeil pense que les audits peuvent être utiles, mais elle dit à certains égards qu’il est trop tôt pour adopter l’approche prescrite par l’AJL, en partie parce qu’il n’y a pas de normes pour les audits et que nous ne comprenons pas pleinement les manières dont l’IA nuit aux gens. Au lieu de cela, ONeil privilégie une autre approche : les évaluations d’impact algorithmiques.

Alors qu’un audit peut évaluer le résultat d’un modèle d’IA pour voir si, par exemple, il traite les hommes différemment des femmes, une évaluation d’impact peut se concentrer davantage sur la façon dont un algorithme a été conçu, qui pourrait être blessé et qui est responsable si les choses tournent mal. . Au Canada, les entreprises doivent évaluer le risque pour les individus et les communautés de déployer un algorithme ; aux États-Unis, des évaluations sont en cours d’élaboration pour décider quand l’IA est à faible ou à haut risque et pour quantifier à quel point les gens font confiance à l’IA.

L’idée de mesurer l’impact et les dommages potentiels a commencé dans les années 1970 avec la National Environmental Protection Act, qui a conduit à la création de déclarations d’impact environnemental. Ces rapports prennent en compte des facteurs allant de la pollution à la découverte potentielle d’artefacts anciens ; de même, les évaluations d’impact des algorithmes prendraient en compte un large éventail de facteurs.