Il y a plus de biais d’IA que de données biaisées, points forts du rapport NIST
Les biais dans les systèmes d’IA sont souvent considérés comme un problème technique, mais le rapport du NIST reconnaît qu’une grande partie des biais de l’IA découle également de biais humains et de biais systémiques et institutionnels.
Crédit:
N. Hanacek/NIST
Afin d’améliorer notre capacité à identifier et à gérer les effets néfastes des biais dans les systèmes d’intelligence artificielle (IA), les chercheurs du National Institute of Standards and Technology (NIST) recommandent d’élargir la portée de la recherche de la source de ces biais. au-delà des processus d’apprentissage automatique et des données utilisées pour former les logiciels d’IA aux facteurs sociétaux plus larges qui influencent la façon dont la technologie est développée.
La recommandation est un message central d’une publication révisée du NIST, Vers une norme d’identification et de gestion des biais en intelligence artificielle (NIST Special Publication 1270), qui reflète les commentaires publics que l’agence a reçus sur sa version provisoire publiée l’été dernier. Dans le cadre d’un effort plus large visant à soutenir le développement d’une IA fiable et responsable, le document propose des conseils liés au cadre de gestion des risques liés à l’IA que le NIST est en train de développer.
Selon Reva Schwartz du NIST, la principale distinction entre les versions préliminaire et finale de la publication est le nouvel accent mis sur la façon dont les biais se manifestent non seulement dans les algorithmes d’IA et les données utilisées pour les former, mais aussi dans le contexte sociétal dans lequel les systèmes d’IA sont utilisés.
Le contexte est primordial, a déclaré Schwartz, chercheur principal sur les biais de l’IA et l’un des auteurs du rapport. Les systèmes d’IA ne fonctionnent pas isolément. Ils aident les gens à prendre des décisions qui affectent directement la vie des autres. Si nous voulons développer des systèmes d’IA fiables, nous devons tenir compte de tous les facteurs qui peuvent ébranler la confiance du public dans l’IA. Bon nombre de ces facteurs vont au-delà de la technologie elle-même et concernent les impacts de la technologie, et les commentaires que nous avons reçus d’un large éventail de personnes et d’organisations ont souligné ce point.
« >
Biais dans l’IA
Le NIST contribue à la recherche, aux normes et aux données nécessaires pour réaliser pleinement la promesse de l’intelligence artificielle (IA) en tant que catalyseur de l’innovation américaine dans tous les secteurs industriels et économiques. En collaboration avec la communauté de l’IA, le NIST cherche à identifier les exigences techniques nécessaires pour cultiver la confiance que les systèmes d’IA sont précis et fiables, sûrs et sécurisés, explicables et exempts de préjugés.
Les biais de l’IA peuvent nuire aux humains. L’IA peut prendre des décisions qui affectent si une personne est admise dans une école, autorisée pour un prêt bancaire ou acceptée comme demandeur de location. Il est relativement connu que les systèmes d’IA peuvent présenter des biais qui découlent de leur programmation et de leurs sources de données ; par exemple, un logiciel d’apprentissage automatique pourrait être formé sur un ensemble de données qui sous-représente un sexe ou un groupe ethnique particulier. La publication révisée du NIST reconnaît que même si ces informatique et statistique les sources de biais restent très importantes, elles ne représentent pas l’image complète.
Une compréhension plus complète du biais doit tenir compte humain et systémique biais, qui occupent une place importante dans la nouvelle version. Les préjugés systémiques résultent d’institutions qui fonctionnent de manière à désavantager certains groupes sociaux, comme la discrimination contre des individus en raison de leur race. Les préjugés humains peuvent être liés à la façon dont les gens utilisent les données pour compléter les informations manquantes, comme le quartier de résidence d’une personne qui influence la probabilité que les autorités considèrent la personne comme un suspect de crime. Lorsque les biais humains, systémiques et informatiques se combinent, ils peuvent former un mélange pernicieux, en particulier lorsque des conseils explicites font défaut pour faire face aux risques associés à l’utilisation des systèmes d’IA.
Si nous voulons développer des systèmes d’IA fiables, nous devons tenir compte de tous les facteurs qui peuvent ébranler la confiance du public dans l’IA. Bon nombre de ces facteurs vont au-delà de la technologie elle-même et concernent les impacts de la technologie. Reva Schwartz, chercheuse principale pour le biais de l’IA
Pour résoudre ces problèmes, les auteurs du NIST plaident en faveur d’une approche sociotechnique pour atténuer les biais dans l’IA. Cette approche implique la reconnaissance du fait que l’IA opère dans un contexte social plus large et que les efforts purement techniques pour résoudre le problème de la partialité échoueront.
Les organisations utilisent souvent par défaut des solutions trop techniques pour les problèmes de biais de l’IA, a déclaré Schwartz. Mais ces approches ne rendent pas suffisamment compte de l’impact sociétal des systèmes d’IA. L’expansion de l’IA dans de nombreux aspects de la vie publique nécessite d’élargir notre vision pour considérer l’IA dans le système social plus large dans lequel elle opère.
Les approches socio-techniques de l’IA sont un domaine émergent, a déclaré Schwartz, et l’identification de techniques de mesure pour prendre ces facteurs en considération nécessitera un large éventail de disciplines et de parties prenantes.
Il est important de faire appel à des experts de divers domaines, pas seulement de l’ingénierie, et d’écouter d’autres organisations et communautés sur l’impact de l’IA, a-t-elle déclaré.
Le NIST prévoit une série d’ateliers publics au cours des prochains mois visant à rédiger un rapport technique pour lutter contre les biais de l’IA et relier le rapport au cadre de gestion des risques de l’IA. Pour plus d’informations et pour vous inscrire, visitez la page de l’atelier AI RMF.