Cet étudiant utilise un logiciel d’examen « biaisé »

Pocornie et sa lampe se tenaient devant l’Institut néerlandais des droits de l’homme, un tribunal spécialisé dans les plaintes pour discrimination, en octobre 2022. Mais la première fois qu’elle a rencontré un logiciel de surveillance à distance, c’était deux ans plus tôt, pendant la pandémie, lorsque son cours à Dutch l’université VU Amsterdam organisait des examens en ligne obligatoires. Pour empêcher les étudiants de tricher, l’université avait acheté un logiciel à la société de technologie Proctorio, qui utilise la détection de visage pour vérifier l’identité de la personne qui passe l’examen. Mais quand Pocornie, qui est noire, a essayé de scanner son visage, le logiciel n’arrêtait pas de dire qu’il ne pouvait pas la reconnaître : indiquant « aucun visage trouvé ». C’est là qu’intervient la lampe Ikea.

Pour ce premier examen en septembre 2020, et les neuf autres qui ont suivi, la seule façon pour Pocornie de faire en sorte que le logiciel de Proctorio la reconnaisse était de faire briller la lampe inconfortablement près de son visage, inondant ses traits de lumière blanche au milieu de la journée. . Elle s’est imaginée comme un écrivain dans un dessin animé, blottie sur son bureau sous un projecteur lumineux. Avoir une lumière dure brillant sur son visage alors qu’elle essayait de se concentrer était inconfortable, dit-elle, mais elle a persévéré. « J’avais peur d’être expulsé de l’examen si j’éteignais la lampe. »

Sur Google, Pocornie a rapidement trouvé d’autres étudiants noirs partageant des expériences similaires, affirmant qu’ils devaient utiliser des lampes ou des lampes de poche ou s’asseoir près des fenêtres pour que le logiciel d’examen les reconnaisse. Partout dans le monde, les étudiants de couleur étaient obligés de créer des arrangements lumineux compliqués juste pour passer leurs examens.

Les examens de Pocornie sont terminés, mais elle a décidé de contester l’utilisation par l’université d’un logiciel qu’elle qualifie de discriminatoire en portant son université devant le tribunal néerlandais des droits de l’homme. Les logiciels d’examen de ce type ont déjà survécu aux verrouillages pandémiques qui l’ont rendu courant, et Pocornie dit que toutes les universités utilisant un logiciel de détection de visage doivent tenir compte de la façon dont cette technologie discrimine les personnes à la peau plus foncée.

« Si l’éducation ne répond pas aux besoins de chacun, dit-elle, alors ça ne marche tout simplement pas.

VU Amsterdam et Proctorio ont refusé de commenter.

Il y a eu des contestations judiciaires de l’utilisation de logiciels anti-triche aux États-Unis et aux Pays-Bas, mais jusqu’à présent, elles se sont principalement concentrées sur la confidentialité, et non sur la race. Un cas d’août à Cleveland, Ohio, a révélé que la façon dont le logiciel de surveillance scanne les chambres des étudiants pendant les tests à distance est inconstitutionnelle. Une autre affaire néerlandaise en 2020 a tenté en vain de prouver que le logiciel de surveillance des examens violait les règles de confidentialité de l’Union européenne. Le cas de Pocornie est différent car il se concentre sur ce qu’elle décrit comme un biais intégré dans le logiciel. « Si [these systems] ne fonctionnent pas aussi bien pour les Noirs que pour les Blancs, cela nous semble discriminatoire », déclare Naomi Appelman, cofondatrice du Racism and Technology Center, géré par des bénévoles, qui a aidé Pocornie dans son cas.

L’affaire judiciaire de Pocornie est toujours en cours. En décembre, l’Institut néerlandais des droits de l’homme a rendu une décision provisoire indiquant qu’il soupçonnait fortement que le logiciel utilisé par VU Amsterdam était discriminatoire et accordant à l’université 10 semaines pour déposer sa défense. Cette défense n’a pas encore été rendue publique, mais VU Amsterdam a précédemment fait valoir que les données du journal de Pocornie – montrant combien de temps elle a mis pour se connecter à son examen et combien de fois elle a dû redémarrer le logiciel – impliquent que ses problèmes étaient dus à un Internet instable. connexion, par opposition aux problèmes avec la technologie de détection de visage. Une décision est attendue plus tard cette année.

Les producteurs de logiciels anti-triche comme celui de Proctorio ont été stimulés par la pandémie, car les salles d’examen ont été remplacées par les maisons des étudiants. La surveillance numérique était censée aider les écoles et les universités à maintenir leurs activités comme d’habitude tout au long du verrouillage, sans créer une opportunité pour les étudiants non supervisés de tricher. Mais la pandémie est terminée et le logiciel est toujours utilisé, alors même que les étudiants du monde entier retournent à l’enseignement en personne. « Nous ne pensons pas que cela va disparaître », a déclaré Jason Kelly, qui se concentre sur la surveillance des étudiants à l’Electronic Frontier Foundation, basée aux États-Unis, dans un examen de 2022 de l’état de la vie privée des étudiants en décembre.

Aux États-Unis, Amaya Ross affirme que son université de l’Ohio utilise toujours un logiciel anti-triche. Mais chaque fois qu’elle se connecte, elle a peur que son expérience pendant la pandémie se répète. Ross, qui est noire, dit également qu’elle n’a pas pu accéder à son test lorsqu’elle a rencontré le logiciel pour la première fois en 2021. « Il n’arrêtait pas de dire : nous ne pouvons pas reconnaître votre visage », explique Ross, qui avait 20 ans à l’époque. Après avoir reçu ce message trois ou quatre fois, elle a commencé à jouer avec les lampes à proximité et les stores. Elle a même essayé de passer un test debout, directement sous son plafonnier.

Finalement, elle a découvert que si elle équilibrait une lampe de poche à DEL sur une étagère près de son bureau et la dirigeait directement vers son visage, elle pouvait passer son examen de sciences, même si la lumière était presque aveuglante. Elle compare l’expérience à la conduite de nuit avec une voiture venant de l’autre sens avec ses phares en plein faisceau. « Il fallait juste avancer jusqu’à ce que ce soit fait », dit-elle.

Ross refuse de nommer la société qui a fabriqué le logiciel qu’elle utilise encore (Proctorio a poursuivi au moins un de ses détracteurs). Mais après sa mère, Janice Wyatt-Ross, posté à propos de ce qui s’est passé sur Twitter, Ross dit qu’un représentant de l’entreprise l’a contactée, lui conseillant d’arrêter de passer des tests devant des murs blancs. Maintenant, elle passe des tests avec une tenture murale multicolore derrière elle, qui jusqu’à présent semble fonctionner. Lorsque Ross a interrogé certains de ses amis noirs ou à la peau plus foncée sur le logiciel, beaucoup d’entre eux avaient rencontré des problèmes similaires. « Mais ensuite j’ai demandé à mes amis blancs et ils m’ont dit: » Je passe des tests dans le noir «  », dit-elle.

En règle générale, la technologie de reconnaissance et de détection des visages ne parvient pas à reconnaître les personnes à la peau plus foncée lorsque les entreprises utilisent des modèles qui n’ont pas été formés sur divers ensembles de données, explique Deborah Raji, membre de la Fondation Mozilla. En 2019, Raji a copublié un audit des produits de reconnaissance faciale déployés commercialement, qui a révélé que certains d’entre eux étaient jusqu’à 30 % moins performants pour reconnaître les femmes à la peau plus foncée que les hommes blancs. « Beaucoup d’ensembles de données qui étaient largement utilisés dans l’espace de reconnaissance faciale avant [2019] contenait plus de 90% de sujets à la peau plus claire, plus de 70% de sujets masculins », dit-elle, ajoutant que des progrès ont été réalisés depuis lors, mais ce n’est pas un problème qui a été «résolu».

« Avant que nous puissions atteindre un degré de performance acceptable dans ces différents groupes démographiques… cela n’a aucun sens pour nous de déployer cette technologie dans des scénarios à enjeux élevés tels que la surveillance », déclare Raji, en particulier lorsque les étudiants n’ont aucun moyen d’opter. sortie ou appel.

Après avoir passé plus d’un an à chercher un responsable universitaire qui prendrait au sérieux ses inquiétudes concernant Proctorio, Pocornie espère que cette affaire forcera VU Amsterdam à créer un processus que les étudiants pourront utiliser pour se plaindre de logiciels discriminatoires.

Pour elle, Pocornie dit que cette affaire judiciaire consiste à s’assurer que d’autres étudiants ne subissent pas la même expérience ou ne doivent pas déployer des lampes Ikea juste pour passer un test. Elle ne veut pas repasser ses examens, même si elle pense que le logiciel a eu un impact sur ses notes. Parce qu’elle suivait deux cours de maîtrise à temps plein en même temps, elle dit qu’elle a pu comparer les notes qu’elle a reçues dans les deux (un seul cours a remplacé les examens en personne par un logiciel de surveillance pendant la pandémie ; l’autre a utilisé des cours). Le stress de la surveillance en ligne, dit Pocornie, signifie que les notes qu’elle a reçues pour son cours VU Amsterdam étaient nettement inférieures aux notes qu’elle a reçues de l’Université de Maastricht. Pour protéger sa vie privée, elle a demandé à WIRED de ne pas partager la différence exacte.

« C’est donc l’effet quantitatif, » dit-elle. « Mais en plus de cela, il y a évidemment aussi la détresse, et je pense que cela devrait compter pour quelque chose. »

Mis à jour le 06/04/2023, 13 h 05 HNE : Corrigé pour clarifier que Proctorio n’était pas directement impliqué dans une affaire d’août à Cleveland, Ohio dans laquelle l’utilisation d’un logiciel de surveillance a été déclarée inconstitutionnelle.