Un nouveau processeur à matrice laser pourrait considérablement améliorer l’efficacité du calcul de l’IA – USC Viterbi | École d’ingénieurs

Un nouveau processeur qui utilise la lumière, au lieu d’électrons, a le potentiel d’effectuer ses calculs jusqu’à 100 fois plus puissamment et efficacement que les processeurs existants dans les systèmes informatiques d’apprentissage automatique. C’est selon une nouvelle étude de l’USC et du MIT publiée dans la revue Nature Photonics.

Zaijun Chen

En plus d’améliorer considérablement l’évolutivité de la puissance de calcul, le processeur d’intelligence artificielle optique a augmenté l’efficacité énergétique par rapport aux technologies actuelles, a déclaré Zaijun Chen, professeur assistant de recherche au département de génie électrique et informatique Ming Hsieh de l’USC Viterbi School of Engineering. Cela pourrait changer la donne dans les efforts visant à surmonter les goulots d’étranglement électroniques pour le type d’architecture informatique nécessaire pour faire fonctionner les systèmes d’IA à l’avenir.

Chen, l’auteur principal de l’article, a effectué le travail alors qu’il était associé postdoctoral au MIT dans le Laboratoire de recherche en électronique (RLE).

La recherche examine les réseaux de neurones profonds (DNN) qui alimentent les innovations génératrices d’IA comme ChatGPT. Mais les réseaux nécessitent des quantités gigantesques d’énergie et d’espace. La formation du GPT-4 (le modèle d’apprentissage automatique derrière ChatGPT) nécessite 25 000 unités de traitement graphique (GPU) en cours d’exécution sur une période de 90 jours. Le site Web Towards Data Science estime les coûts de formation à environ 50 mégawattheures (MWh) d’électricité, soit suffisamment pour alimenter environ 2 000 foyers. Cette génération libère également environ 12 000 tonnes de dioxyde de carbone.

L’avènement des réseaux de neurones optiques (ONN), basés sur le mouvement de la lumière, permet à l’information de se déplacer plus rapidement et plus efficacement sur un espace réduit. L’équipe de recherche a décidé de voir si les ONN seraient un meilleur outil, mais ils ont reconnu qu’ils nécessitaient également une consommation d’énergie élevée en raison de leur faible efficacité de conversion électro-optique, de leur faible densité de calcul en raison des grandes empreintes de l’appareil et de la diaphonie des canaux, et de la longue latence due au manque de non-linéarité en ligne, ont écrit les auteurs.

Vue d’artiste d’un réseau de neurones optiques basé sur VCSEL avec connectivité 3D. (Illustration : Studio Ella Maru)

À l’aide d’un ONN équipé d’un réseau laser, les scientifiques ont pu surmonter ces défis. Plus de 400 lasers sont intégrés sur une surface de puce photonique de 1 centimètre carré dans la démonstration. Chaque laser, d’un diamètre de seulement un dixième du cheveu humain, peut convertir les données de la mémoire électronique vers le champ optique à la fréquence d’horloge de 10 GHz (10 milliards d’activations neuronales par seconde en langage de réseau neuronal). Et étonnamment, chaque conversion ne consomme que quelques attojoules (1 attojoule = 10^-18joules, environ l’énergie de 10 photons uniques dans les longueurs d’onde visibles). C’est cinq à six ordres de grandeur inférieurs aux modulateurs optiques de pointe.

Les auteurs de l’étude ont encore plus d’espoir d’améliorations futures : au-delà du bond de 100 fois de la production et de l’efficacité énergétique, le développement à court terme pourrait améliorer ces mesures de deux ordres de grandeur supplémentaires, ont-ils écrit. La nouvelle technologie ouvre la voie aux processeurs optoélectroniques à grande échelle pour accélérer les tâches d’apprentissage automatique des centres de données aux appareils périphériques décentralisés comme les téléphones portables, indique le document.

À propos de l’étude
Zaijun Chen de l’USC, Ryan Hamerly de NTT Research et Dirk Englund sont les auteurs correspondants. Les autres co-auteurs qui ont également contribué de manière significative sont Alexander Sludds, Ronald Davis, Ian Christen, Liane Bernstein et Lamia Ateshian de RLE. Le composant clé de ce système informatique, les matrices VCSEL, est fabriqué et fourni par Tobias Heuser, Niels Heermeier, James A. Lott et Stephan Reitzensttein de la Technische Universitat Berlin.

L’étude a été financée par le US Army Research Office, NTT Research, le National Defense Science and Engineering Graduate Fellowship Program, la National Science Foundation, le Natural Sciences and Engineering Research Council of Canada et la Volkswagen Foundation.

Publié le 8 août 2023

Dernière mise à jour le 15 août 2023