Intégrer l’explicabilité dans les composants des modèles d’apprentissage automatique
Les méthodes d’explication qui aident les utilisateurs à comprendre et à faire confiance aux modèles d’apprentissage automatique décrivent souvent dans quelle mesure certaines fonctionnalités utilisées dans le modèle contribuent à sa prédiction. Par exemple, si un modèle prédit qu’un patient risque de développer une maladie cardiaque, un médecin peut vouloir savoir dans quelle mesure les données de fréquence cardiaque du patient influencent cette prédiction.
Mais si ces fonctionnalités sont si complexes ou alambiquées que l’utilisateur ne peut pas les comprendre, la méthode d’explication est-elle utile ?
Les chercheurs du MIT s’efforcent d’améliorer l’interprétabilité des fonctionnalités afin que les décideurs soient plus à l’aise avec les résultats des modèles d’apprentissage automatique. S’appuyant sur des années de travail sur le terrain, ils ont développé une taxonomie pour aider les développeurs à créer des fonctionnalités qui seront plus faciles à comprendre pour leur public cible.
Nous avons découvert que dans le monde réel, même si nous utilisions des méthodes de pointe pour expliquer les modèles d’apprentissage automatique, il y a encore beaucoup de confusion provenant des fonctionnalités, pas du modèle lui-même, explique Alexandra Zytek , étudiant au doctorat en génie électrique et en informatique et auteur principal d’un article présentant la taxonomie.
Pour construire la taxonomie, les chercheurs ont défini des propriétés qui rendent les fonctionnalités interprétables pour cinq types d’utilisateurs, des experts en intelligence artificielle aux personnes affectées par une prédiction de modèles d’apprentissage automatique. Ils offrent également des instructions sur la façon dont les créateurs de modèles peuvent transformer des fonctionnalités en formats qui seront plus faciles à comprendre pour un profane.
Ils espèrent que leur travail inspirera les constructeurs de modèles à envisager d’utiliser des fonctionnalités interprétables dès le début du processus de développement, plutôt que d’essayer de revenir en arrière et de se concentrer sur l’explicabilité après coup.
Les co-auteurs du MIT incluent Dongyu Liu, un post-doctorant ; professeure invitée Laure Berti-quille, directrice de recherche à l’IRD ; et l’auteur principal Kalyan Veeramachaneni, chercheur principal au Laboratoire des systèmes d’information et de décision (LIDS) et chef du groupe Data to AI. Ils sont rejoints par Ignacio Arnaldo, principal data scientist chez Corelight. La recherche est publiée dans l’édition de juin du groupe d’intérêt spécial de l’Association for Computing Machinery sur la découverte de connaissances et l’exploration de données. Bulletin des explorations.
Leçons du monde réel
Les caractéristiques sont des variables d’entrée qui alimentent les modèles d’apprentissage automatique ; ils sont généralement tirés des colonnes d’un jeu de données. Les scientifiques des données sélectionnent et élaborent généralement des fonctionnalités pour le modèle, et ils se concentrent principalement sur le développement de fonctionnalités pour améliorer la précision du modèle, et non sur la capacité d’un décideur à les comprendre, explique Veeramachaneni.
Pendant plusieurs années, lui et son équipe ont travaillé avec des décideurs pour identifier les défis d’utilisabilité de l’apprentissage automatique. Ces experts du domaine, dont la plupart manquent de connaissances en apprentissage automatique, ne font souvent pas confiance aux modèles car ils ne comprennent pas les fonctionnalités qui influencent les prédictions.
Pour un projet, ils se sont associés à des cliniciens d’une unité de soins intensifs d’un hôpital qui ont utilisé l’apprentissage automatique pour prédire le risque qu’un patient soit confronté à des complications après une chirurgie cardiaque. Certaines caractéristiques ont été présentées sous forme de valeurs agrégées, comme la tendance de la fréquence cardiaque d’un patient au fil du temps. Alors que les caractéristiques codées de cette manière étaient prêtes pour le modèle (le modèle pouvait traiter les données), les cliniciens ne comprenaient pas comment elles étaient calculées. Ils préféreraient voir comment ces caractéristiques agrégées se rapportent aux valeurs d’origine, afin de pouvoir identifier les anomalies dans la fréquence cardiaque d’un patient, dit Liu.
En revanche, un groupe de scientifiques de l’apprentissage a préféré les fonctionnalités agrégées. Au lieu d’avoir une fonctionnalité comme le nombre de messages qu’un étudiant a publiés sur des forums de discussion, ils préféreraient avoir des fonctionnalités connexes regroupées et étiquetées avec des termes qu’ils ont compris, comme la participation.
Avec l’interprétabilité, une taille ne convient pas à tous. Quand on va d’une région à l’autre, les besoins sont différents. Et l’interprétabilité elle-même a de nombreux niveaux, dit Veeramachaneni.
L’idée qu’une taille unique ne convient pas à tous est la clé de la taxonomie des chercheurs. Ils définissent les propriétés qui peuvent rendre les fonctionnalités plus ou moins interprétables pour différents décideurs et décrivent les propriétés qui sont probablement les plus importantes pour des utilisateurs spécifiques.
Par exemple, les développeurs d’apprentissage automatique peuvent se concentrer sur des fonctionnalités compatibles avec le modèle et prédictives, ce qui signifie qu’ils sont censés améliorer les performances des modèles.
D’un autre côté, les décideurs sans expérience en apprentissage automatique pourraient être mieux servis par des fonctionnalités formulées par l’homme, ce qui signifie qu’elles sont décrites d’une manière naturelle pour les utilisateurs et compréhensibles, ce qui signifie qu’elles font référence à des utilisateurs de métriques du monde réel. peut raisonner.
La taxonomie dit, si vous créez des fonctionnalités interprétables, à quel niveau sont-elles interprétables ? Selon Zytek, vous n’aurez peut-être pas besoin de tous les niveaux, selon le type d’experts de domaine avec lesquels vous travaillez.
Priorité à l’interprétabilité
Les chercheurs décrivent également les techniques d’ingénierie des fonctionnalités qu’un développeur peut utiliser pour rendre les fonctionnalités plus interprétables pour un public spécifique.
L’ingénierie des fonctionnalités est un processus dans lequel les scientifiques des données transforment les données dans un format que les modèles d’apprentissage automatique peuvent traiter, en utilisant des techniques telles que l’agrégation des données ou la normalisation des valeurs. La plupart des modèles ne peuvent pas non plus traiter les données catégorielles à moins qu’elles ne soient converties en un code numérique. Ces transformations sont souvent presque impossibles à déballer pour les profanes.
La création de fonctionnalités interprétables peut impliquer d’annuler une partie de cet encodage, explique Zytek. Par exemple, une technique d’ingénierie de caractéristiques commune organise des plages de données afin qu’elles contiennent toutes le même nombre d’années. Pour rendre ces caractéristiques plus interprétables, on pourrait regrouper les tranches d’âge en utilisant des termes humains, comme nourrisson, tout-petit, enfant et adolescent. Ou plutôt que d’utiliser une caractéristique transformée comme le pouls moyen, une caractéristique interprétable pourrait simplement être les données réelles du pouls, ajoute Liu.
Dans de nombreux domaines, le compromis entre les caractéristiques interprétables et la précision du modèle est en fait très faible. Lorsque nous travaillions avec des agents de contrôle de la protection de l’enfance, par exemple, nous avons recyclé le modèle en utilisant uniquement les fonctionnalités qui répondaient à nos définitions d’interprétabilité, et la diminution des performances était presque négligeable, explique Zytek.
S’appuyant sur ces travaux, les chercheurs développent un système qui permet à un développeur de modèles de gérer des transformations de caractéristiques complexes de manière plus efficace, afin de créer des explications centrées sur l’humain pour les modèles d’apprentissage automatique. Ce nouveau système convertira également les algorithmes conçus pour expliquer les ensembles de données prêts à modéliser dans des formats compréhensibles par les décideurs.