AI a un problème de discrimination. Dans le secteur bancaire, les conséquences peuvent être graves

AMSTERDAM L’intelligence artificielle a un problème de préjugés raciaux.

Des systèmes d’identification biométrique qui identifient de manière disproportionnée les visages des Noirs et des minorités aux applications de logiciels de reconnaissance vocale qui ne parviennent pas à distinguer les voix avec des accents régionaux distincts, l’IA a beaucoup à faire en matière de discrimination.

Et le problème de l’amplification des biais existants peut être encore plus grave lorsqu’il s’agit de services bancaires et financiers.

Deloitte note que les systèmes d’IA ne sont finalement aussi bons que les données qui leur sont fournies : des ensembles de données incomplets ou non représentatifs pourraient limiter l’objectivité de l’IA, tandis que les biais dans les équipes de développement qui forment ces systèmes pourraient perpétuer ce cycle de biais.

Nabil Manji, responsable de la cryptographie et du Web3 chez Worldpay by FIS, a déclaré qu’une chose clé à comprendre à propos des produits d’IA est que la force de la technologie dépend beaucoup du matériel source utilisé pour la former.

« En ce qui concerne la qualité d’un produit d’IA, il y a en quelque sorte deux variables », a déclaré Manji à CNBC dans une interview. « Le premier est les données auxquelles il a accès, et le deuxième est la qualité du grand modèle de langage. C’est pourquoi du côté des données, vous voyez des entreprises comme Reddit et d’autres, elles sont sorties publiquement et ont dit que nous n’allons pas autoriser entreprises pour récupérer nos données, vous allez devoir nous payer pour cela. »

En ce qui concerne les services financiers, Manji a déclaré que de nombreux systèmes de données back-end sont fragmentés dans différentes langues et formats.

« Rien n’est consolidé ou harmonisé », a-t-il ajouté. « Cela va rendre les produits basés sur l’IA beaucoup moins efficaces dans les services financiers que dans d’autres secteurs verticaux ou d’autres entreprises où ils ont une uniformité et des systèmes plus modernes ou un accès aux données. »

Manji a suggéré que la blockchain, ou la technologie des registres distribués, pourrait servir de moyen d’avoir une vision plus claire des données disparates cachées dans les systèmes encombrés des banques traditionnelles.

Cependant, il a ajouté que les banques étant des institutions fortement réglementées et lentes, il est peu probable qu’elles évoluent à la même vitesse que leurs homologues technologiques plus agiles dans l’adoption de nouveaux outils d’IA.

« Vous avez Microsoft et Google, qui, au cours des deux dernières décennies, ont été considérés comme des moteurs de l’innovation. Ils ne peuvent pas suivre cette vitesse. Et puis vous pensez aux services financiers. Les banques ne sont pas connues pour être rapides,  » dit Manji.

Rumman Chowdhury, ancien responsable de l’éthique, de la transparence et de la responsabilité de l’apprentissage automatique chez Twitter, a déclaré que le prêt est un excellent exemple de la façon dont le parti pris d’un système d’IA contre les communautés marginalisées peut se manifester.

« La discrimination algorithmique est en fait très tangible dans les prêts », a déclaré Chowdhury lors d’un panel à Money20/20 à Amsterdam. « Chicago avait l’habitude de nier littéralement ces [loans] dans les quartiers majoritairement noirs. »

Dans les années 1930, Chicago était connue pour la pratique discriminatoire de la «redlining», dans laquelle la solvabilité des propriétés était fortement déterminée par la démographie raciale d’un quartier donné.

« Il y aurait une carte géante sur le mur de tous les quartiers de Chicago, et ils traceraient des lignes rouges à travers tous les quartiers qui étaient principalement afro-américains, et ne leur accorderaient pas de prêts », a-t-elle ajouté.

« Avance rapide quelques décennies plus tard, et vous développez des algorithmes pour déterminer le risque de différents districts et individus. Et même si vous n’incluez pas le point de données de la race de quelqu’un, il est implicitement repris. »

En effet, Angle Bush, fondatrice de Black Women in Artificial Intelligence, une organisation visant à autonomiser les femmes noires dans le secteur de l’IA, dit à CNBC que lorsque les systèmes d’IA sont spécifiquement utilisés pour les décisions d’approbation de prêt, elle a constaté qu’il existe un risque de reproduire les biais existants présents dans les données historiques utilisées pour former les algorithmes.

« Cela peut entraîner des refus automatiques de prêt pour les personnes issues de communautés marginalisées, renforçant les disparités raciales ou de genre », a ajouté Bush.

« Il est crucial que les banques reconnaissent que la mise en œuvre de l’IA en tant que solution peut perpétuer par inadvertance la discrimination », a-t-elle déclaré.

Frost Li, un développeur qui travaille dans l’IA et l’apprentissage automatique depuis plus d’une décennie, a déclaré à CNBC que la dimension « personnalisation » de l’intégration de l’IA peut également être problématique.

« Ce qui est intéressant dans l’IA, c’est la façon dont nous sélectionnons les » fonctionnalités de base « pour la formation », a déclaré Li, qui a fondé et dirige Loup, une entreprise qui aide les détaillants en ligne à intégrer l’IA dans leurs plateformes. « Parfois, nous sélectionnons des fonctionnalités sans rapport avec les résultats que nous voulons prédire. »

Lorsque l’IA est appliquée à la banque, dit Li, il est plus difficile d’identifier le « coupable » des biais lorsque tout est alambiqué dans le calcul.

« Un bon exemple est le nombre de startups fintech spécialement destinées aux étrangers, car un diplômé de l’université de Tokyo ne pourra pas obtenir de cartes de crédit même s’il travaille chez Google ; pourtant, une personne peut facilement en obtenir une auprès d’une coopérative de crédit d’un collège communautaire parce que les banquiers mieux connaître les écoles locales », a ajouté Li.

L’IA générative n’est généralement pas utilisée pour créer des cotes de crédit ou dans la notation des risques des consommateurs.

« Ce n’est pas pour cela que l’outil a été conçu », a déclaré Niklas Guske, directeur de l’exploitation chez Taktile, une startup qui aide les fintechs à automatiser la prise de décision.

Au lieu de cela, Guske a déclaré que les applications les plus puissantes sont dans le prétraitement des données non structurées telles que les fichiers texte comme la classification des transactions.

« Ces signaux peuvent ensuite être intégrés à un modèle de souscription plus traditionnel », a déclaré Guske. « Par conséquent, l’IA générative améliorera la qualité des données sous-jacentes pour de telles décisions plutôt que de remplacer les processus de notation courants. »

Mais c’est aussi difficile à prouver. Apple et Goldman Sachs, par exemple, ont été accusés de donner aux femmes des limites inférieures pour l’Apple Card. Mais ces allégations ont été rejetées par le département des services financiers de l’État de New York après que le régulateur n’a trouvé aucune preuve de discrimination fondée sur le sexe.

Le problème, selon Kim Smouter, directeur du groupe European Network Against Racism, est qu’il peut être difficile de prouver si une discrimination basée sur l’IA a effectivement eu lieu.

« L’une des difficultés du déploiement massif de l’IA », a-t-il déclaré, « est l’opacité dans la manière dont ces décisions sont prises et quels mécanismes de recours existent si un individu racialisé remarquait même qu’il y a discrimination ».

« Les individus ont peu de connaissances sur le fonctionnement des systèmes d’IA et que leur cas individuel peut, en fait, être la pointe d’un iceberg à l’échelle du système. En conséquence, il est également difficile de détecter des cas spécifiques où les choses ont mal tourné », a-t-il ajouté.

Smourer a cité l’exemple du scandale néerlandais de la protection de l’enfance, dans lequel des milliers de demandes de prestations ont été accusées à tort d’être frauduleuses. Le gouvernement néerlandais a été contraint de démissionner après qu’un rapport de 2020 a révélé que les victimes étaient « traitées avec un parti pris institutionnel ».

Cela, a déclaré Smouter, « démontre à quelle vitesse ces dysfonctionnements peuvent se propager et à quel point il est difficile de les prouver et d’obtenir réparation une fois qu’ils sont découverts et qu’entre-temps, des dommages importants, souvent irréversibles, sont causés ».

Chowdhury dit qu’il est nécessaire qu’un organisme de réglementation mondial, comme les Nations Unies, traite certains des risques liés à l’IA.

Bien que l’IA se soit avérée être un outil innovant, certains technologues et éthiciens ont exprimé des doutes quant à la solidité morale et éthique de la technologie. Parmi les principales inquiétudes exprimées par les initiés de l’industrie figurent la désinformation ; les préjugés raciaux et sexistes intégrés dans les algorithmes d’IA ; et des « hallucinations » générées par des outils de type ChatGPT.

« Je crains un peu qu’en raison de l’IA générative, nous entrions dans ce monde de post-vérité où rien de ce que nous voyons en ligne n’est digne de confiance, ni le texte, ni la vidéo, ni l’audio, mais alors comment faire obtenons-nous nos informations ? Et comment nous assurons-nous que ces informations sont parfaitement intègres ? » dit Chowdhury.

Il est maintenant temps qu’une réglementation significative de l’IA entre en vigueur, mais sachant le temps qu’il faudra pour que des propositions réglementaires telles que la loi sur l’IA de l’Union européenne entrent en vigueur, certains craignent que cela ne se produise assez rapidement.

« Nous appelons à plus de transparence et de responsabilité des algorithmes et de leur fonctionnement et à une déclaration de profane qui permet aux personnes qui ne sont pas des experts en IA de juger par eux-mêmes, à la preuve des tests et à la publication des résultats, à un processus de plainte indépendant, à des audits et rapports périodiques, à la participation de communautés racialisées lorsque la technologie est conçue et envisagée pour le déploiement », a déclaré Smourer.

La loi sur l’IA, le premier cadre réglementaire de ce type, a intégré une approche des droits fondamentaux et des concepts tels que la réparation, selon Smouter, ajoutant que la réglementation sera appliquée dans environ deux ans.

« Ce serait formidable si cette période pouvait être raccourcie pour s’assurer que la transparence et la responsabilité sont au cœur de l’innovation », a-t-il déclaré.