Les risques posés par l’IA sont réels : l’UE prend des mesures pour battre les algorithmes qui ruinent des vies

jeCela a commencé avec un seul tweet en novembre 2019. David Heinemeier Hansson, un entrepreneur technologique de haut niveau, s’en est pris à la nouvelle carte de crédit d’Apple, l’appelant sexiste pour avoir offert à sa femme une limite de crédit 20 fois inférieure à la sienne.

Les allégations se sont répandues comme une traînée de poudre, Hansson soulignant que l’intelligence artificielle est désormais largement utilisée pour prendre des décisions de prêt était à blâmer. Peu importe l’intention des représentants individuels d’Apple, peu importe ce que fait L’ALGORITHME dans lequel ils ont mis toute leur confiance. Et ce qu’il fait, c’est discriminer. C’est foutu.

Alors qu’Apple et ses souscripteurs Goldman Sachs ont finalement été autorisés par les régulateurs américains à avoir enfreint les règles de prêt équitables l’année dernière, cela a ravivé un débat plus large sur l’utilisation de l’IA dans les secteurs publics et privés.

Les politiciens de l’Union européenne envisagent maintenant d’introduire le premier modèle mondial complet de réglementation de l’IA, alors que les institutions automatisent de plus en plus les tâches de routine dans le but d’accroître l’efficacité et, finalement, de réduire les coûts.

Cette législation, connue sous le nom de loi sur l’intelligence artificielle, aura des conséquences au-delà des frontières de l’UE et, à l’instar du règlement général sur la protection des données de l’UE, s’appliquera à toute institution, y compris les banques britanniques, qui sert des clients de l’UE. L’impact de la loi, une fois adoptée, ne peut être surestimé, a déclaré Alexandru Circiumaru, responsable des politiques publiques européennes à l’Institut Ada Lovelace.

Selon la liste finale des utilisations à haut risque de l’UE, il y a une impulsion pour introduire des règles strictes sur la façon dont l’IA est utilisée pour filtrer les demandes d’emploi, d’université ou d’aide sociale, ou dans le cas des prêteurs pour évaluer la solvabilité des emprunteurs potentiels.

Les responsables de l’UE espèrent qu’avec une surveillance supplémentaire et des restrictions sur le type de modèles d’IA qui peuvent être utilisés, les règles réduiront le type de discrimination basée sur la machine qui pourrait influencer des décisions qui changent la vie, comme si vous pouvez vous permettre une maison ou un prêt étudiant. .

L’IA peut être utilisée pour analyser l’ensemble de votre santé financière, y compris les dépenses, l’épargne, les autres dettes, pour arriver à une image plus globale, a déclaré Sarah Kocianski, consultante indépendante en technologie financière. S’ils sont conçus correctement, ces systèmes peuvent offrir un accès plus large à un crédit abordable.

Mais l’un des plus grands dangers est le biais involontaire, dans lequel les algorithmes finissent par refuser des prêts ou des comptes à certains groupes, notamment les femmes, les migrants ou les personnes de couleur.

Une partie du problème est que la plupart des modèles d’IA ne peuvent apprendre qu’à partir des données historiques qui leur ont été fournies, ce qui signifie qu’ils apprendront à quel type de client a déjà été prêté et quels clients ont été marqués comme non fiables. Il y a un danger qu’ils soient biaisés en termes de ce à quoi ressemble un bon emprunteur, a déclaré Kocianski. Notamment, le sexe et l’ethnicité jouent souvent un rôle dans les processus de prise de décision des IA sur la base des données sur lesquelles elles ont été enseignées : des facteurs qui ne sont en aucun cas pertinents pour la capacité d’une personne à rembourser un prêt.

De plus, certains modèles sont conçus pour ne pas tenir compte des caractéristiques dites protégées, ce qui signifie qu’ils ne sont pas censés tenir compte de l’influence du sexe, de la race, de l’ethnicité ou du handicap. Mais ces modèles d’IA peuvent toujours discriminer en raison de l’analyse d’autres points de données tels que les codes postaux, qui peuvent être en corrélation avec des groupes historiquement défavorisés qui n’ont jamais demandé, obtenu ou remboursé de prêts ou d’hypothèques auparavant.

Et dans la plupart des cas, lorsqu’un algorithme prend une décision, il est difficile pour quiconque de comprendre comment il en est arrivé à cette conclusion, ce qui entraîne ce que l’on appelle communément le syndrome de la boîte noire. Cela signifie que les banques, par exemple, pourraient avoir du mal à expliquer ce qu’un demandeur aurait pu faire différemment pour se qualifier pour un prêt ou une carte de crédit, ou si le fait de changer le sexe d’un demandeur d’homme à femme pourrait entraîner un résultat différent.

Circiumaru a déclaré que la loi sur l’IA, qui pourrait entrer en vigueur fin 2024, profiterait aux entreprises technologiques qui ont réussi à développer ce qu’il a appelé des modèles d’IA fiables et conformes aux nouvelles règles de l’UE.

Darko Matovski, directeur général et co-fondateur de la startup d’IA basée à Londres causaLens, pense que son entreprise en fait partie.

La startup, qui a été lancée publiquement en janvier 2021, a déjà autorisé sa technologie à des sociétés comme le gestionnaire d’actifs Aviva et la société de trading quantitatif Tibra, et affirme qu’un certain nombre de banques de détail sont en train de signer des accords avec l’entreprise avant les règles de l’UE. entrer en vigueur.

L’entrepreneur a déclaré que causaLens offre une forme d’IA plus avancée qui évite les biais potentiels en tenant compte et en contrôlant les corrélations discriminatoires dans les données. Les modèles basés sur la corrélation apprennent les injustices du passé et ils ne font que les rejouer dans le futur, a déclaré Matovski.

Il pense que la prolifération de soi-disant modèles d’IA causals comme le sien conduira à de meilleurs résultats pour les groupes marginalisés qui ont peut-être manqué des opportunités éducatives et financières.

Il est vraiment difficile de comprendre l’ampleur des dégâts déjà causés, car nous ne pouvons pas vraiment inspecter ce modèle, a-t-il déclaré. Nous ne savons pas combien de personnes ne sont pas allées à l’université à cause d’un algorithme détraqué. Nous ne savons pas combien de personnes n’ont pas pu obtenir leur hypothèque à cause des biais de l’algorithme. Nous ne savons tout simplement pas.

Matovski a déclaré que la seule façon de se protéger contre une discrimination potentielle était d’utiliser des caractéristiques protégées telles que le handicap, le sexe ou la race comme entrée, mais de garantir que, quelles que soient ces entrées spécifiques, la décision ne changeait pas.

Il a déclaré qu’il s’agissait de s’assurer que les modèles d’IA reflétaient nos valeurs sociales actuelles et évitaient de perpétuer toute prise de décision raciste, capacitiste ou misogyne du passé. La société pense que nous devrions traiter tout le monde de la même manière, quel que soit leur sexe, leur code postal, leur race. Alors les algorithmes doivent non seulement essayer de le faire, mais ils doivent le garantir, a-t-il dit.

Alors que les nouvelles règles de l’UE sont susceptibles d’être un grand pas en avant dans la lutte contre les préjugés basés sur les machines, certains experts, y compris ceux de l’Institut Ada Lovelace, font pression pour que les consommateurs aient le droit de se plaindre et de demander réparation s’ils pensent qu’ils ont été mis désavantagées.

Les risques posés par l’IA, en particulier lorsqu’elle est appliquée dans certaines circonstances spécifiques, sont réels, importants et déjà présents, a déclaré Circiumaru.

La réglementation de l’IA devrait garantir que les individus seront protégés de manière appropriée contre les préjudices en approuvant ou non les utilisations de l’IA et disposer de recours en cas de dysfonctionnement ou de préjudice des systèmes d’IA approuvés. Nous ne pouvons pas prétendre que les systèmes d’IA approuvés fonctionneront toujours parfaitement et ne se prépareront pas aux cas où ils ne le feront pas.