Luminous Computing, qui développe une puce accélératrice d’IA basée sur la lumière, lève 105 millions de dollars

Selon certains experts, la croissance de la puissance de calcul nécessaire pour développer les futurs systèmes d’IA pourrait se heurter à un mur avec les technologies de puces grand public. Alors que des startups comme Cerabras prétendent développer du matériel capable de gérer efficacement les systèmes de nouvelle génération, du point de vue de la consommation d’énergie, les chercheurs craignent que les systèmes d’IA hautement sophistiqués ne deviennent le domaine exclusif des entreprises et des gouvernements disposant des ressources nécessaires.

Une solution qui a été proposée est celle des puces photoniques, qui utilisent la lumière pour envoyer des signaux, plutôt que l’électricité utilisée par les processeurs conventionnels. Les puces photoniques pourraient, en théorie, conduire à de meilleures performances car la lumière produit moins de chaleur que l’électricité, peut se déplacer plus rapidement et est moins sensible aux changements de température et aux champs électromagnétiques.

Lightmatter, LightOn, Celestial AI, Intel et la société japonaise NTT font partie des entreprises développant des technologies photoniques. Il en va de même pour Luminous Computing, qui a annoncé aujourd’hui avoir levé 105 millions de dollars dans le cadre d’une série A avec la participation d’investisseurs, dont le cofondateur de Microsoft, Bill Gates, Gigafund, 8090 Partners, Neo, Third Kind Venture Capital, Alumni Ventures Group, Strawberry Creek Ventures, Horsley Bridge. , et Modern Venture Partners, entre autres. (Après l’argent, la valorisation de Luminous se situe entre 200 et 300 millions de dollars.)

C’est un moment incroyable pour faire partie de l’industrie de l’IA, a déclaré Marcus Gomez, PDG et cofondateur de Luminous, dans un communiqué. L’IA est devenue surhumaine. Nous pouvons interagir avec des ordinateurs en langage naturel et leur demander d’écrire un morceau de code ou même un essai, et le résultat sera meilleur que ce que la plupart des humains pourraient fournir. Ce qui est frustrant, c’est que nous avons le logiciel pour résoudre des problèmes monumentaux et révolutionnaires que les humains ne peuvent même pas commencer à résoudre. Nous n’avons tout simplement pas le matériel qui peut exécuter ces algorithmes.

Puces à base de lumière

Luminous a été fondée en 2018 par Michael Gao, le PDG Marcus Gomez et Mitchell Nahmias. La recherche Nahmias à Princeton est devenue la pierre angulaire du matériel Luminous. Gomez, qui a précédemment fondé une startup de technologie de la mode appelée Swan, était auparavant chercheur scientifique chez Tinder et a passé du temps à travailler sur l’intelligence artificielle et les logiciels de recherche chez Google. Quant à Gao, il est le PDG d’AlphaSheets, une plate-forme d’analyse de données destinée aux entreprises clientes.

Au cours de la dernière décennie, la demande de calcul d’IA a été multipliée par près de 10 000. Il y a dix ans, les plus gros modèles comportaient 10 millions de paramètres et pouvaient être entraînés en 1 à 2 heures sur un seul GPU ; aujourd’hui, les plus grands modèles ont plus de 10 billions de paramètres et peuvent prendre jusqu’à un an pour s’entraîner sur des dizaines de milliers de machines, a déclaré Gomez à VentureBeat par e-mail. Malheureusement, nous sommes arrivés à une impasse : le matériel n’a tout simplement pas suivi. Les grands modèles d’IA existants aujourd’hui sont notoirement difficiles et coûteux à former, car le matériel sous-jacent n’est tout simplement pas assez rapide. La formation de grands modèles d’IA est principalement reléguée à [big tech companies], car la plupart des entreprises ne peuvent même pas se permettre de louer le matériel nécessaire. Pire encore, même pour [big tech companies], la croissance du matériel ralentit tellement que l’augmentation de la taille du modèle est presque insoluble. La stagnation des progrès de l’IA arrive rapidement.

Dans le matériel traditionnel, les données sont envoyées via des câbles électriques, qui consomment beaucoup plus d’énergie et envoient beaucoup moins de données plus ils sont longs. En revanche, le matériel Luminous utilise des canaux lumineux, qui peuvent envoyer plus de données entre les puces, et les liaisons de données ne se dégradent pas beaucoup en fonction de la distance. Cela nous permet d’alimenter en données des puces de traitement sur un espace mémoire beaucoup plus grand et de faire évoluer plus facilement les algorithmes d’IA sur davantage de processeurs.

Utilisant une technologie propriétaire de photonique sur silicium, [weve] a conçu une nouvelle architecture informatique qui peut évoluer de manière considérablement plus efficace, permettant aux utilisateurs de former des modèles qui sont 100 fois à 1 000 fois plus grands dans des délais gérables, à des coûts considérablement réduits et avec un modèle de programmation considérablement plus simple, a déclaré Gomez. Autrement dit, [weve] a conçu un ordinateur qui rend la formation des algorithmes d’IA plus rapide, moins chère et plus facile.

Alors que Luminous garde un œil sur les spécifications techniques exactes de son matériel, Nahmias a publié un article scientifique en janvier 2020 qui comparait les performances du matériel photonique et électronique dans les systèmes d’IA en utilisant ce que le journal appelait des opérations de multiplication-accumulation. Nahmias et les autres co-auteurs ont découvert que le matériel photonique était nettement meilleur que le matériel électronique en termes d’énergie, de vitesse et de densité de calcul.

Si vous regardez où les ordinateurs IA modernes sont goulots d’étranglement, c’est avant tout sur la communication, à toutes les échelles entre les puces, entre les cartes et entre les racks du centre de données. Si vous ne parvenez pas à résoudre le goulot d’étranglement de la communication, vous devez en effet vivre sur ces terribles courbes de compromis, a ajouté Gomez. Luminous utilise sa technologie photonique au silicium pour résoudre directement le goulot d’étranglement de la communication à chaque échelle de la hiérarchie, et quand [we] dire résoudre, [we] signifie résoudre: [were] augmentant la bande passante de 10 à 100 fois à chaque échelle de distance.

Plans futurs

Les puces photoniques présentent des inconvénients qui doivent être résolus si la technologie doit atteindre le grand public. Ils sont physiquement plus grands que leurs homologues électroniques et difficiles à produire en masse, notamment en raison de l’immaturité des usines de fabrication de puces photoniques. De plus, les architectures photoniques reposent encore largement sur des circuits de contrôle électroniques, ce qui peut créer des goulots d’étranglement.

Pour les grandes applications, y compris l’IA et l’apprentissage automatique et l’analyse à grande échelle, la dissipation de puissance sur de nombreux composants devrait être élevée d’un ordre de grandeur supérieur aux systèmes actuels, écrit The Next Platforms Nicole Hemsoth dans une analyse de janvier 2021 des technologies photoniques. Nous sommes probablement à au moins cinq ans à une décennie [from] calcul basé sur la photonique au silicium.

Mais le pré-revenu Luminous, qui compte plus de 90 employés, affirme avoir produit des prototypes fonctionnels de ses puces, et la société vise à expédier des kits de développement à ses clients dans les 24 mois. Le financement du dernier cycle porte le capital total de Luiminous levé à 115 millions de dollars et servira principalement à doubler la taille de l’équipe d’ingénierie, à développer des puces et des logiciels Luminous et à se préparer à une production à l’échelle commerciale, a déclaré Gomez.

Les clients cibles initiaux lumineux sont les hyperscalers qui construisent leurs propres centres de données pour piloter leurs propres algorithmes d’apprentissage automatique, a poursuivi Gomez. L’ordinateur Luminous dispose de la mémoire, du calcul et de la bande passante nécessaires pour entraîner ces très grands algorithmes, et il est conçu dès le départ avec l’utilisateur de l’IA à l’esprit. Pour les utilisateurs qui utilisent de grands modèles d’IA pour générer leurs revenus de base, nous les débloquons complètement de la croissance leurs modèles, et nous éliminons des milliers d’heures autrement consacrées à la complexité de la programmation et aux frais généraux d’ingénierie.

Nahmias a ajouté : Luminous est à l’aube d’une transition de phase dans l’industrie de l’optique, loin des émetteurs-récepteurs enfichables et vers l’intégration de l’optique directement dans les systèmes. De nombreuses entreprises, dont Broadcomm, Cisco et Intel, ont construit leurs propres optiques co-packagées à mettre dans les commutateurs, qui constituent l’épine dorsale de la communication dans les centres de données. Cela peut réduire considérablement la puissance, le coût et augmenter les performances des liaisons de centre de données. Cependant, l’idée d’inclure des interconnexions optiques à l’intérieur d’un système informatique et de concevoir le système à partir de zéro est un concept relativement nouveau dans l’industrie, et qui est au cœur de ce que Luminous construit.