Apprendre en marge

Les microcontrôleurs, des ordinateurs miniatures capables d’exécuter des commandes simples, sont à la base de milliards d’appareils connectés, des appareils de l’Internet des objets (IoT) aux capteurs dans les automobiles. Mais les microcontrôleurs bon marché et à faible consommation ont une mémoire extrêmement limitée et aucun système d’exploitation, ce qui rend difficile la formation de modèles d’intelligence artificielle sur des appareils périphériques qui fonctionnent indépendamment des ressources informatiques centrales.

La formation d’un modèle d’apprentissage automatique sur un appareil de périphérie intelligent lui permet de s’adapter aux nouvelles données et de faire de meilleures prédictions. Par exemple, la formation d’un modèle sur un clavier intelligent pourrait permettre au clavier d’apprendre continuellement de l’écriture des utilisateurs. Cependant, le processus de formation nécessite tellement de mémoire qu’il est généralement effectué à l’aide d’ordinateurs puissants dans un centre de données, avant que le modèle ne soit déployé sur un appareil. Ceci est plus coûteux et pose des problèmes de confidentialité car les données des utilisateurs doivent être envoyées à un serveur central.

Pour résoudre ce problème, des chercheurs du MIT et du MIT-IBM Watson AI Lab ont développé une nouvelle technique qui permet une formation sur appareil en utilisant moins d’un quart de mégaoctet de mémoire. D’autres solutions de formation conçues pour les appareils connectés peuvent utiliser plus de 500 mégaoctets de mémoire, dépassant largement la capacité de 256 kilooctets de la plupart des microcontrôleurs (il y a 1 024 kilooctets dans un mégaoctet).

Les algorithmes intelligents et le cadre développés par les chercheurs réduisent la quantité de calculs nécessaires pour former un modèle, ce qui rend le processus plus rapide et plus efficace en termes de mémoire. Leur technique peut être utilisée pour former un modèle d’apprentissage automatique sur un microcontrôleur en quelques minutes.

Cette technique préserve également la confidentialité en conservant les données sur l’appareil, ce qui pourrait être particulièrement bénéfique lorsque les données sont sensibles, comme dans les applications médicales. Cela pourrait également permettre la personnalisation d’un modèle en fonction des besoins des utilisateurs. De plus, le cadre préserve ou améliore la précision du modèle par rapport à d’autres approches de formation.

Notre étude permet aux appareils IoT non seulement d’effectuer des inférences, mais également de mettre à jour en permanence les modèles d’IA en fonction des données nouvellement collectées, ouvrant la voie à un apprentissage permanent sur l’appareil. La faible utilisation des ressources rend l’apprentissage en profondeur plus accessible et peut avoir une portée plus large, en particulier pour les appareils de pointe à faible consommation d’énergie, explique Song Han, professeur agrégé au Département de génie électrique et d’informatique (EECS), membre du MIT- IBM Watson AI Lab et auteur principal de l’article décrivant cette innovation.

Les co-auteurs principaux et doctorants de l’EECS Ji Lin et Ligeng Zhu, ainsi que les post-doctorants du MIT Wei-Ming Chen et Wei-Chen Wang, et Chuang Gan, membre principal du personnel de recherche du MIT-IBM Watson, se joignent à Han sur l’article. Laboratoire d’IA. La recherche sera présentée à la conférence sur les systèmes de traitement de l’information neuronale.

Han et son équipe ont précédemment abordé les goulots d’étranglement de mémoire et de calcul qui existent lors de la tentative d’exécution de modèles d’apprentissage automatique sur de minuscules appareils de pointe, dans le cadre de leur initiative TinyML.

Entraînement léger

Un type courant de modèle d’apprentissage automatique est connu sous le nom de réseau de neurones. Librement basés sur le cerveau humain, ces modèles contiennent des couches de nœuds interconnectés, ou neurones, qui traitent les données pour accomplir une tâche, comme reconnaître des personnes sur des photos. Le modèle doit d’abord être formé, ce qui implique de lui montrer des millions d’exemples afin qu’il puisse apprendre la tâche. Au fur et à mesure qu’il apprend, le modèle augmente ou diminue la force des connexions entre les neurones, appelées poids.

Le modèle peut subir des centaines de mises à jour au fur et à mesure de son apprentissage, et les activations intermédiaires doivent être stockées à chaque tour. Dans un réseau de neurones, l’activation correspond aux résultats intermédiaires des couches intermédiaires. Parce qu’il peut y avoir des millions de poids et d’activations, la formation d’un modèle nécessite beaucoup plus de mémoire que l’exécution d’un modèle pré-formé, explique Han.

Han et ses collaborateurs ont utilisé deux solutions algorithmiques pour rendre le processus de formation plus efficace et moins gourmand en mémoire. La première, connue sous le nom de mise à jour parcimonieuse, utilise un algorithme qui identifie les poids les plus importants à mettre à jour à chaque cycle d’entraînement. L’algorithme commence à geler les poids un par un jusqu’à ce qu’il voit la précision tomber à un seuil défini, puis il s’arrête. Les poids restants sont mis à jour, tandis que les activations correspondant aux poids gelés n’ont pas besoin d’être stockées en mémoire.

La mise à jour de l’ensemble du modèle coûte très cher car il y a beaucoup d’activations, donc les gens ont tendance à ne mettre à jour que la dernière couche, mais comme vous pouvez l’imaginer, cela nuit à la précision. Pour notre méthode, nous mettons à jour de manière sélective ces poids importants et nous nous assurons que la précision est entièrement préservée, dit Han.

Leur deuxième solution implique un entraînement quantifié et une simplification des poids, qui sont généralement de 32 bits. Un algorithme arrondit les poids afin qu’ils ne soient que de huit bits, grâce à un processus appelé quantification, qui réduit la quantité de mémoire pour l’apprentissage et l’inférence. L’inférence est le processus d’application d’un modèle à un ensemble de données et de génération d’une prédiction. Ensuite, l’algorithme applique une technique appelée mise à l’échelle sensible à la quantification (QAS), qui agit comme un multiplicateur pour ajuster le rapport entre le poids et le gradient, afin d’éviter toute baisse de précision pouvant provenir d’un entraînement quantifié.

Les chercheurs ont développé un système, appelé un petit moteur de formation, qui peut exécuter ces innovations algorithmiques sur un simple microcontrôleur dépourvu de système d’exploitation. Ce système modifie l’ordre des étapes du processus de formation afin que davantage de travail soit effectué à l’étape de compilation, avant que le modèle ne soit déployé sur l’appareil périphérique.

Nous poussons une grande partie du calcul, comme l’auto-différenciation et l’optimisation des graphes, au temps de compilation. Nous supprimons également de manière agressive les opérateurs redondants pour prendre en charge les mises à jour clairsemées. Une fois à l’exécution, nous avons beaucoup moins de travail à faire sur l’appareil, explique Han.

Une accélération réussie

Leur optimisation ne nécessitait que 157 kilo-octets de mémoire pour former un modèle d’apprentissage automatique sur un microcontrôleur, alors que d’autres techniques conçues pour une formation légère nécessiteraient encore entre 300 et 600 mégaoctets.

Ils ont testé leur cadre en formant un modèle de vision par ordinateur pour détecter les personnes dans les images. Après seulement 10 minutes de formation, il a appris à accomplir la tâche avec succès. Leur méthode a permis de former un modèle plus de 20 fois plus rapidement que les autres approches.

Maintenant qu’ils ont démontré le succès de ces techniques pour les modèles de vision par ordinateur, les chercheurs souhaitent les appliquer à des modèles de langage et à différents types de données, comme les données de séries temporelles. Dans le même temps, ils veulent utiliser ce qu’ils ont appris pour réduire la taille de modèles plus grands sans sacrifier la précision, ce qui pourrait aider à réduire l’empreinte carbone de la formation de modèles d’apprentissage automatique à grande échelle.

L’adaptation/la formation d’un modèle d’IA sur un appareil, en particulier sur des contrôleurs embarqués, est un défi ouvert. Cette recherche du MIT a non seulement démontré avec succès les capacités, mais a également ouvert de nouvelles possibilités de personnalisation en temps réel des appareils préservant la confidentialité, déclare Nilesh Jain, ingénieur principal chez Intel qui n’a pas participé à ce travail. Les innovations de la publication ont une applicabilité plus large et déclencheront de nouvelles recherches sur la conception conjointe d’algorithmes de systèmes.

L’apprentissage sur appareil est la prochaine avancée majeure vers laquelle nous travaillons pour la périphérie intelligente connectée. Le groupe du professeur Song Hans a fait de grands progrès dans la démonstration de l’efficacité des appareils de pointe pour la formation, ajoute Jilei Hou, vice-président et responsable de la recherche sur l’IA chez Qualcomm. Qualcomm a décerné à son équipe une bourse d’innovation pour davantage d’innovation et d’avancement dans ce domaine.

Ce travail est financé par la National Science Foundation, le MIT-IBM Watson AI Lab, le MIT AI Hardware Program, Amazon, Intel, Qualcomm, Ford Motor Company et Google.