Meta tire le rideau sur ses puces IA pour la première fois

Mark Zuckerberg a déclaré au monde en octobre 2021 qu’il renommait Facebook en Meta alors que l’entreprise se dirigeait vers le métaverse.

Facebook | via Reuters

Meta a construit des puces informatiques personnalisées pour l’aider dans ses tâches d’intelligence artificielle et de traitement vidéo et en parle en public pour la première fois.

Le géant des réseaux sociaux a dévoilé ses projets internes de puces de silicium pour la première fois aux journalistes plus tôt cette semaine, avant un événement virtuel jeudi discutant de ses investissements dans l’infrastructure technique de l’IA.

Les investisseurs ont suivi de près les investissements de Meta dans l’IA et le matériel de centre de données connexe alors que l’entreprise se lance dans une « année d’efficacité » qui comprend au moins 21 000 licenciements et des réductions de coûts importantes.

Bien qu’il soit coûteux pour une entreprise de concevoir et de construire ses propres puces informatiques, le vice-président de l’infrastructure Alexis Bjorlin a déclaré à CNBC que Meta pense que l’amélioration des performances justifiera l’investissement. La société a également révisé la conception de ses centres de données pour se concentrer davantage sur des techniques économes en énergie, telles que le refroidissement par liquide, afin de réduire l’excès de chaleur.

L’une des nouvelles puces informatiques, le Meta Scalable Video Processor, ou MSVP, est utilisée pour traiter et transmettre la vidéo aux utilisateurs tout en réduisant les besoins en énergie. Bjorlin a déclaré « qu’il n’y avait rien de disponible dans le commerce » qui pouvait gérer la tâche de traitement et de diffusion de 4 milliards de vidéos par jour aussi efficacement que Meta le souhaitait.

L’autre processeur est le premier de la famille de puces Meta Training and Inference Accelerator, ou MTIA, destinée à faciliter diverses tâches spécifiques à l’IA. La nouvelle puce MTIA gère spécifiquement « l’inférence », c’est-à-dire lorsqu’un modèle d’IA déjà formé fait une prédiction ou entreprend une action.

Bjorlin a déclaré que la nouvelle puce d’inférence AI aide à alimenter certains des algorithmes de recommandation de Meta utilisés pour afficher le contenu et les publicités dans les fils d’actualité des gens. Elle a refusé de répondre qui fabrique la puce, mais un article de blog indique que le processeur est « fabriqué selon le processus TSMC 7 nm », indiquant que le géant des puces Taiwan Semiconductor Manufacturing produit la technologie.

Elle a déclaré que Meta avait une « feuille de route multigénérationnelle » pour sa famille de puces d’IA qui incluent des processeurs utilisés pour la tâche de formation de modèles d’IA, mais elle a refusé de fournir des détails au-delà de la nouvelle puce d’inférence. Reuters avait précédemment rapporté que Meta avait annulé un projet de puce d’inférence d’IA et en avait lancé un autre qui devait être déployé vers 2025, mais Bjorlin a refusé de commenter ce rapport.

Parce que Meta n’est pas dans le domaine de la vente de services de cloud computing comme des sociétés telles que Google parent Alphabet ou Microsoft, la société ne s’est pas sentie obligée de parler publiquement de ses projets de puces de centre de données internes, a-t-elle déclaré.

« Si vous regardez ce que nous partageons avec nos deux premières puces que nous avons développées, cela donne certainement un aperçu de ce que nous faisons en interne », a déclaré Bjorlin. « Nous n’avons pas eu à faire de publicité pour cela, et nous n’avons pas besoin de faire de publicité pour cela, mais vous savez, le monde est intéressé. »

La vice-présidente de l’ingénierie de Meta, Aparna Ramani, a déclaré que le nouveau matériel de la société avait été développé pour fonctionner efficacement avec son logiciel maison PyTorch, qui est devenu l’un des outils les plus populaires utilisés par les développeurs tiers pour créer des applications d’IA.

Le nouveau matériel sera éventuellement utilisé pour alimenter des tâches liées au métaverse, telles que la réalité virtuelle et la réalité augmentée, ainsi que le domaine en plein essor de l’IA générative, qui fait généralement référence à un logiciel d’IA capable de créer des textes, des images et des vidéos convaincants.

Ramani a également déclaré que Meta avait développé un assistant de codage génératif alimenté par l’IA pour les développeurs de l’entreprise afin de les aider à créer et à exploiter plus facilement des logiciels. Le nouvel assistant est similaire à l’outil GitHub Copilot de Microsoft qu’il a publié en 2021 avec l’aide de la startup AI OpenAI.

En outre, Meta a déclaré avoir terminé la deuxième phase, ou finale, de la construction de son superordinateur baptisé Research SuperCluster, ou RSC, que la société a détaillé l’année dernière. Meta a utilisé le supercalculateur, qui contient 16 000 GPU Nvidia A100, pour former le modèle de langage LLaMA de l’entreprise, entre autres utilisations.

Ramani a déclaré que Meta continue d’agir selon sa conviction qu’il devrait contribuer aux technologies open source et à la recherche sur l’IA afin de faire progresser le domaine de la technologie. La société a révélé que son plus grand modèle de langage LLaMA, LLaMA 65B, contient 65 milliards de paramètres et a été formé sur 1,4 billion de jetons, ce qui fait référence aux données utilisées pour la formation à l’IA.

Des entreprises telles qu’OpenAI et Google n’ont pas divulgué publiquement de métriques similaires pour leurs grands modèles de langage concurrents, bien que CNBC ait rapporté cette semaine que le modèle PaLM 2 de Google a été formé sur 3,6 billions de jetons et contient 340 milliards de paramètres.

Contrairement à d’autres entreprises technologiques, Meta a publié son modèle de langage LLaMA aux chercheurs afin qu’ils puissent apprendre de la technologie. Cependant, le modèle de langage LlaMA a ensuite été divulgué au grand public, ce qui a conduit de nombreux développeurs à créer des applications incorporant la technologie.

Ramani a déclaré que Meta « pensait toujours à toutes nos collaborations open source, et certainement, je tiens à réitérer que notre philosophie est toujours la science ouverte et la collaboration croisée ».

Montre: L’IA est un grand moteur de sentiment pour les grandes technologies