Cet étudiant utilise un logiciel d’examen biaisé
Ross refuse de nommer la société qui a fabriqué le logiciel qu’elle utilise encore (Proctorio a poursuivi au moins un de ses détracteurs). Mais après sa mère, Janice Wyatt-Ross,posté à propos de ce qui s’est passé sur Twitter, Ross dit qu’un représentant de l’entreprise l’a contactée, lui conseillant d’arrêter de passer des tests devant des murs blancs. Maintenant, elle passe des tests avec une tenture murale multicolore derrière elle, qui jusqu’à présent semble fonctionner. Lorsque Ross a interrogé certains de ses amis noirs ou à la peau plus foncée sur le logiciel, beaucoup d’entre eux avaient rencontré des problèmes similaires. Mais ensuite, j’ai demandé à mes amis blancs et ils ont dit, je passe des tests dans le noir, dit-elle.
En règle générale, la technologie de reconnaissance et de détection des visages ne parvient pas à reconnaître les personnes à la peau plus foncée lorsque les entreprises utilisent des modèles qui n’ont pas été formés sur divers ensembles de données, explique Deborah Raji, membre de la Fondation Mozilla. En 2019, Rajico a publié un audit des produits de reconnaissance faciale déployés dans le commerce, qui a révélé que certains d’entre eux étaient jusqu’à 30 % moins performants pour reconnaître les femmes à la peau plus foncée que les hommes blancs. Un grand nombre des ensembles de données qui étaient largement utilisés dans l’espace de reconnaissance faciale avant [2019] contenait plus de 90% de sujets à peau plus claire, plus de 70% de sujets masculins, dit-elle, ajoutant que des progrès ont été réalisés depuis lors, mais ce n’est pas un problème qui a été résolu.
Avant de pouvoir atteindre un degré de performance acceptable dans ces différents groupes démographiques, il n’est pas logique pour nous de déployer cette technologie dans des scénarios à enjeux élevés tels que la surveillance, a déclaré Raji, en particulier lorsque les étudiants n’ont aucun moyen de se retirer ou de faire appel.
Après avoir passé plus d’un an à chercher un responsable universitaire qui prendrait au sérieux ses inquiétudes concernant Proctorio, Pocornie espère que cette affaire forcera VU Amsterdam à créer un processus que les étudiants pourront utiliser pour se plaindre de logiciels discriminatoires.
Pour elle, Pocornie dit que cette affaire judiciaire consiste à s’assurer que d’autres étudiants ne subissent pas la même expérience ou ne doivent pas déployer des lampes Ikea juste pour passer un test. Elle ne veut pas repasser ses examens, même si elle pense que le logiciel a eu un impact sur ses notes. Parce qu’elle suivait deux cours de maîtrise à temps plein en même temps, elle dit qu’elle a pu comparer les notes qu’elle a reçues dans les deux (un seul cours a remplacé les examens en personne par un logiciel de surveillance pendant la pandémie ; l’autre a utilisé des cours). Le stress de la surveillance en ligne, dit Pocornie, signifie que les notes qu’elle a reçues pour son cours VU Amsterdam étaient nettement inférieures aux notes qu’elle a reçues de l’Université de Maastricht. Pour protéger sa vie privée, elle a demandé à WIRED de ne pas partager la différence exacte.
C’est donc l’effet quantitatif, dit-elle. Mais en plus de ça, il y a évidemment aussi la détresse, et je pense que ça doit compter pour quelque chose.
Mis à jour le 06/04/2023, 13 h 05 HNE : Corrigé pour clarifier que Proctorio n’était pas directement impliqué dans une affaire d’août à Cleveland, Ohio dans laquelle l’utilisation d’un logiciel de surveillance a été déclarée inconstitutionnelle.