Une technique pour améliorer à la fois l’équité et la précision de l’intelligence artificielle

Pour les travailleurs qui utilisent des modèles d’apprentissage automatique pour les aider à prendre des décisions, savoir quand faire confiance aux prédictions d’un modèle n’est pas toujours une tâche facile, d’autant plus que ces modèles sont souvent si complexes que leur fonctionnement interne reste un mystère.

Les utilisateurs emploient parfois une technique, connue sous le nom de régression sélective, dans laquelle le modèle estime son niveau de confiance pour chaque prédiction et rejette les prédictions lorsque sa confiance est trop faible. Ensuite, un humain peut examiner ces cas, recueillir des informations supplémentaires et prendre une décision manuellement pour chacun d’entre eux.

Mais alors qu’il a été démontré que la régression sélective améliore les performances globales d’un modèle, des chercheurs du MIT et du MIT-IBM Watson AI Lab ont découvert que la technique peut avoir l’effet inverse pour les groupes de personnes sous-représentés dans un ensemble de données. À mesure que la confiance du modèle augmente avec la régression sélective, ses chances de faire la bonne prédiction augmentent également, mais cela ne se produit pas toujours pour tous les sous-groupes.

Par exemple, un modèle suggérant que les approbations de prêt peuvent faire moins d’erreurs en moyenne, mais il peut en fait faire plus de prédictions erronées pour les candidats noirs ou féminins. L’une des raisons pour lesquelles cela peut se produire est due au fait que la mesure de confiance des modèles est formée à l’aide de groupes surreprésentés et peut ne pas être précise pour ces groupes sous-représentés.

Une fois ce problème identifié, les chercheurs du MIT ont développé deux algorithmes capables de remédier au problème. À l’aide d’ensembles de données du monde réel, ils montrent que les algorithmes réduisent les disparités de performances qui avaient affecté les sous-groupes marginalisés.

En fin de compte, il s’agit d’être plus intelligent quant aux échantillons que vous confiez à un humain pour qu’il les traite. Plutôt que de simplement minimiser un certain taux d’erreur général pour le modèle, nous voulons nous assurer que le taux d’erreur entre les groupes est pris en compte de manière intelligente, déclare l’auteur principal du MIT, Greg Wornell, professeur Sumitomo en ingénierie au Département de génie électrique et Computer Science (EECS) qui dirige le Laboratoire des signaux, de l’information et des algorithmes du Laboratoire de recherche en électronique (RLE) et est membre du MIT-IBM Watson AI Lab.

Les co-auteurs principaux Abhin Shah, étudiant diplômé de l’EECS, et Yuheng Bu, postdoctorant en RLE, se joignent à Wornell pour l’article ; ainsi que Joshua Ka-Wing Lee SM 17, ScD 21 et Subhro Das, Rameswar Panda et Prasanna Sattigeri, membres du personnel de recherche du MIT-IBM Watson AI Lab. L’article sera présenté ce mois-ci à la Conférence internationale sur l’apprentissage automatique.

Prévoir ou ne pas prévoir

La régression est une technique qui estime la relation entre une variable dépendante et des variables indépendantes. Dans l’apprentissage automatique, l’analyse de régression est couramment utilisée pour les tâches de prédiction, telles que la prévision du prix d’une maison en fonction de ses caractéristiques (nombre de chambres, superficie en pieds carrés, etc.) Avec la régression sélective, le modèle d’apprentissage automatique peut faire l’un des deux choix pour chaque entrée, il peut faire une prédiction ou s’abstenir d’une prédiction s’il n’a pas suffisamment confiance dans sa décision.

Lorsque le modèle s’abstient, il réduit la fraction d’échantillons sur laquelle il fait des prédictions, ce que l’on appelle la couverture. En ne faisant des prédictions que sur des entrées dont il est très sûr, les performances globales du modèle devraient s’améliorer. Mais cela peut également amplifier les biais qui existent dans un ensemble de données, qui se produisent lorsque le modèle ne dispose pas de suffisamment de données de certains sous-groupes. Cela peut entraîner des erreurs ou de mauvaises prédictions pour les personnes sous-représentées.

Les chercheurs du MIT visaient à garantir que, à mesure que le taux d’erreur global du modèle s’améliore avec la régression sélective, les performances de chaque sous-groupe s’améliorent également. Ils appellent cela le risque sélectif monotone.

Il était difficile de trouver la bonne notion d’équité pour ce problème particulier. Mais en appliquant ce critère, le risque sélectif monotone, nous pouvons nous assurer que les performances du modèle s’améliorent réellement dans tous les sous-groupes lorsque vous réduisez la couverture, explique Shah.

Mettre l’accent sur l’équité

L’équipe a développé deux algorithmes de réseau de neurones qui imposent ce critère d’équité pour résoudre le problème.

Un algorithme garantit que les caractéristiques utilisées par le modèle pour faire des prédictions contiennent toutes les informations sur les attributs sensibles de l’ensemble de données, tels que la race et le sexe, qui sont pertinentes pour la variable cible d’intérêt. Les attributs sensibles sont des fonctionnalités qui ne peuvent pas être utilisées pour prendre des décisions, souvent en raison de lois ou de politiques organisationnelles. Le deuxième algorithme utilise une technique d’étalonnage pour garantir que le modèle effectue la même prédiction pour une entrée, que des attributs sensibles soient ajoutés ou non à cette entrée.

Les chercheurs ont testé ces algorithmes en les appliquant à des ensembles de données du monde réel qui pourraient être utilisés dans la prise de décision à enjeux élevés. Le premier, un ensemble de données d’assurance, est utilisé pour prédire le total des dépenses médicales annuelles facturées aux patients à l’aide de statistiques démographiques ; un autre, un ensemble de données sur la criminalité, est utilisé pour prédire le nombre de crimes violents dans les communautés à l’aide d’informations socio-économiques. Les deux ensembles de données contiennent des attributs sensibles pour les individus.

Lorsqu’ils ont mis en œuvre leurs algorithmes en plus d’une méthode standard d’apprentissage automatique pour la régression sélective, ils ont pu réduire les disparités en obtenant des taux d’erreur plus faibles pour les sous-groupes minoritaires dans chaque ensemble de données. De plus, cela a été accompli sans impact significatif sur le taux d’erreur global.

Nous voyons que si nous n’imposons pas certaines contraintes, dans les cas où le modèle est vraiment fiable, il pourrait en fait faire plus d’erreurs, ce qui pourrait être très coûteux dans certaines applications, comme les soins de santé. Donc, si nous inversons la tendance et la rendons plus intuitive, nous attraperons beaucoup de ces erreurs. L’un des principaux objectifs de ce travail est d’éviter que des erreurs ne soient détectées en silence, explique Sattigeri.

Les chercheurs prévoient d’appliquer leurs solutions à d’autres applications, telles que la prévision des prix des logements, la GPA des étudiants ou le taux d’intérêt des prêts, pour voir si les algorithmes doivent être calibrés pour ces tâches, explique Shah. Ils veulent également explorer des techniques qui utilisent des informations moins sensibles pendant le processus de formation du modèle pour éviter les problèmes de confidentialité.

Et ils espèrent améliorer les estimations de confiance dans la régression sélective pour éviter les situations où la confiance du modèle est faible, mais sa prédiction est correcte. Cela pourrait réduire la charge de travail des humains et rationaliser davantage le processus de prise de décision, explique Sattigeri.

Cette recherche a été financée, en partie, par le MIT-IBM Watson AI Lab et ses sociétés membres Boston Scientific, Samsung et Wells Fargo, et par la National Science Foundation.