Démystifier les systèmes d’apprentissage automatique

Les réseaux de neurones sont parfois appelés boîtes noires car, malgré le fait qu’ils peuvent surpasser les humains dans certaines tâches, même les chercheurs qui les conçoivent ne comprennent souvent pas comment ni pourquoi ils fonctionnent si bien. Mais si un réseau neuronal est utilisé en dehors du laboratoire, peut-être pour classer des images médicales qui pourraient aider à diagnostiquer des maladies cardiaques, savoir comment fonctionne le modèle aide les chercheurs à prédire comment il se comportera dans la pratique.

Les chercheurs du MIT ont maintenant développé une méthode qui éclaire le fonctionnement interne des réseaux de neurones à boîte noire. Inspirés du cerveau humain, les réseaux de neurones sont organisés en couches de nœuds interconnectés, ou neurones, qui traitent les données. Le nouveau système peut produire automatiquement des descriptions de ces neurones individuels, générées en anglais ou dans une autre langue naturelle.

Par exemple, dans un réseau neuronal formé pour reconnaître des animaux dans des images, leur méthode pourrait décrire un certain neurone comme détectant des oreilles de renards. Leur technique évolutive est capable de générer des descriptions plus précises et spécifiques pour les neurones individuels que d’autres méthodes.

Dans un nouvel article, l’équipe montre que cette méthode peut être utilisée pour auditer un réseau de neurones afin de déterminer ce qu’il a appris, ou même modifier un réseau en identifiant puis en éteignant les neurones inutiles ou incorrects.

Nous voulions créer une méthode où un praticien de l’apprentissage automatique peut donner à ce système son modèle et il lui dira tout ce qu’il sait sur ce modèle, du point de vue des neurones modèles, dans le langage. Cela vous aide à répondre à la question de base : y a-t-il quelque chose que mon modèle sait que je ne m’attendais pas à ce qu’il sache ? déclare Evan Hernandez, étudiant diplômé du Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) et auteur principal de l’article.

Les co-auteurs incluent Sarah Schwettmann, post-doctorante au CSAIL ; David Bau, un récent diplômé du CSAIL qui est professeur adjoint entrant d’informatique à la Northeastern University ; Teona Bagashvili, ancienne étudiante invitée au CSAIL ; Antonio Torralba, professeur de génie électrique et d’informatique de Delta Electronics et membre du CSAIL ; et l’auteur principal Jacob Andreas, professeur adjoint du X Consortium au CSAIL. La recherche sera présentée à la Conférence internationale sur les représentations de l’apprentissage.

Descriptions générées automatiquement

La plupart des techniques existantes qui aident les praticiens de l’apprentissage automatique à comprendre le fonctionnement d’un modèle décrivent l’ensemble du réseau neuronal ou obligent les chercheurs à identifier les concepts sur lesquels ils pensent que les neurones individuels pourraient se concentrer.

Le système développé par Hernandez et ses collaborateurs, baptisé MILAN (annotation linguistique guidée par information mutuelle des neurones), améliore ces méthodes car il ne nécessite pas une liste de concepts à l’avance et peut générer automatiquement des descriptions en langage naturel de tous les neurones d’un réseau. . Ceci est particulièrement important car un réseau de neurones peut contenir des centaines de milliers de neurones individuels.

MILAN produit des descriptions de neurones dans des réseaux de neurones entraînés pour des tâches de vision par ordinateur telles que la reconnaissance d’objets et la synthèse d’images. Pour décrire un neurone donné, le système inspecte d’abord le comportement des neurones sur des milliers d’images pour trouver l’ensemble des régions d’image dans lesquelles le neurone est le plus actif. Ensuite, il sélectionne une description en langage naturel pour chaque neurone afin de maximiser une quantité appelée information mutuelle ponctuelle entre les régions d’image et les descriptions. Cela encourage les descriptions qui capturent le rôle distinctif de chaque neurone au sein du réseau plus large.

Dans un réseau de neurones formé pour classer les images, il y aura des tonnes de neurones différents qui détectent les chiens. Mais il existe de nombreux types de chiens et de nombreuses parties différentes des chiens. Donc, même si le chien peut être une description précise d’un grand nombre de ces neurones, ce n’est pas très informatif. Nous voulons des descriptions très spécifiques à ce que fait ce neurone. Ce ne sont pas que des chiens ; c’est le côté gauche des oreilles des bergers allemands, dit Hernandez.

L’équipe a comparé MILAN à d’autres modèles et a constaté qu’il générait des descriptions plus riches et plus précises, mais les chercheurs étaient plus intéressés à voir comment il pouvait aider à répondre à des questions spécifiques sur les modèles de vision par ordinateur.

Analyser, auditer et éditer des réseaux de neurones

Tout d’abord, ils ont utilisé MILAN pour analyser quels neurones sont les plus importants dans un réseau de neurones. Ils ont généré des descriptions pour chaque neurone et les ont triés en fonction des mots dans les descriptions. Ils ont lentement retiré des neurones du réseau pour voir comment sa précision changeait et ont découvert que les neurones qui avaient deux mots très différents dans leurs descriptions (vases et fossiles, par exemple) étaient moins importants pour le réseau.

Ils ont également utilisé MILAN pour auditer des modèles afin de voir s’ils avaient appris quelque chose d’inattendu. Les chercheurs ont pris des modèles de classification d’images formés sur des ensembles de données dans lesquels les visages humains étaient flous, ont exécuté MILAN et ont compté le nombre de neurones néanmoins sensibles aux visages humains.

Brouiller les visages de cette manière réduit le nombre de neurones sensibles aux visages, mais loin de les éliminer. En fait, nous émettons l’hypothèse que certains de ces neurones faciaux sont très sensibles à des groupes démographiques spécifiques, ce qui est assez surprenant. Ces modèles n’ont jamais vu de visage humain auparavant, et pourtant toutes sortes de traitements faciaux se produisent à l’intérieur d’eux, dit Hernandez.

Dans une troisième expérience, l’équipe a utilisé MILAN pour modifier un réseau de neurones en trouvant et en supprimant les neurones qui détectaient de mauvaises corrélations dans les données, ce qui a entraîné une augmentation de 5 % de la précision des réseaux sur les entrées présentant la corrélation problématique.

Si les chercheurs ont été impressionnés par les performances de MILAN dans ces trois applications, le modèle donne parfois des descriptions encore trop vagues, ou il fera une estimation erronée lorsqu’il ne connaît pas le concept qu’il est censé identifier.

Ils prévoient de remédier à ces limitations dans des travaux futurs. Ils souhaitent également continuer à enrichir la richesse des descriptions que MILAN est capable de générer. Ils espèrent appliquer MILAN à d’autres types de réseaux de neurones et l’utiliser pour décrire ce que font les groupes de neurones, puisque les neurones travaillent ensemble pour produire une sortie.

Il s’agit d’une approche de l’interprétabilité qui part de la base. L’objectif est de générer des descriptions de fonction ouvertes et composées en langage naturel. Nous voulons puiser dans le pouvoir expressif du langage humain pour générer des descriptions beaucoup plus naturelles et riches de ce que font les neurones. Pouvoir généraliser cette approche à différents types de modèles est ce qui me passionne le plus, déclare Schwettmann.

Le test ultime de toute technique d’IA explicable est de savoir si elle peut aider les chercheurs et les utilisateurs à prendre de meilleures décisions sur le moment et la manière de déployer des systèmes d’IA, explique Andreas. Nous étions encore loin de pouvoir le faire de manière générale. Mais je suis optimiste sur le fait que MILAN et l’utilisation plus large de la langue comme outil explicatif constitueront une partie utile de la boîte à outils.

Ce travail a été financé, en partie, par le MIT-IBM Watson AI Lab et l’initiative SystemsThatLearn@CSAIL.