Google dévoile son tout nouveau supercalculateur IA, dit qu’il bat Nvidia
Le siège social de Google est vu à Mountain View, Californie, États-Unis, le 26 septembre 2022.
Tayfun Coskun | Agence Anadolu | Getty Images
Google a publié mercredi des détails sur l’un de ses supercalculateurs à intelligence artificielle, affirmant qu’il est plus rapide et plus efficace que les systèmes Nvidia concurrents, car les modèles d’apprentissage automatique gourmands en énergie continuent d’être la partie la plus en vogue de l’industrie technologique.
Alors que Nvidia domine le marché de la formation et du déploiement de modèles d’IA, avec plus de 90 %, Google conçoit et déploie des puces d’IA appelées Tensor Processing Units, ou TPU, depuis 2016.
Google est un pionnier majeur de l’IA, et ses employés ont développé certaines des avancées les plus importantes dans le domaine au cours de la dernière décennie. Mais certains pensent qu’elle a pris du retard en termes de commercialisation de ses inventions, et en interne, l’entreprise s’est empressée de sortir des produits et de prouver qu’elle n’a pas gaspillé son avance, une situation « code rouge » dans l’entreprise, a précédemment rapporté CNBC.
Les modèles et produits d’IA tels que Bard de Google ou ChatGPT d’OpenAI alimentés par les puces A100 de Nvidia nécessitent de nombreux ordinateurs et des centaines ou des milliers de puces pour travailler ensemble pour former des modèles, les ordinateurs fonctionnant 24 heures sur 24 pendant des semaines ou des mois.
Mardi, Google a déclaré avoir construit un système avec plus de 4 000 TPU associés à des composants personnalisés conçus pour exécuter et former des modèles d’IA. Il fonctionne depuis 2020 et a été utilisé pour former le modèle PaLM de Google, qui est en concurrence avec le modèle GPT d’OpenAI, sur 50 jours.
Le supercalculateur basé sur le TPU de Google, appelé TPU v4, est « 1,2×1,7x plus rapide et utilise 1,3×1,9x moins d’énergie que le Nvidia A100 », ont écrit les chercheurs de Google.
« Les performances, l’évolutivité et la disponibilité font des supercalculateurs TPU v4 les chevaux de bataille des grands modèles de langage », ont poursuivi les chercheurs.
Cependant, les résultats du TPU de Google n’ont pas été comparés à la dernière puce Nvidia AI, la H100, car elle est plus récente et a été fabriquée avec une technologie de fabrication plus avancée, ont déclaré les chercheurs de Google.
Les résultats et les classements d’un test de puce AI à l’échelle de l’industrie appelé MLperf ont été publiés mercredi, et le PDG de Nvidia, Jensen Huang, a déclaré que les résultats de la puce Nvidia la plus récente, la H100, étaient nettement plus rapides que la génération précédente.
« Le MLPerf 3.0 d’aujourd’hui met en évidence Hopper offrant 4 fois plus de performances que l’A100 », a écrit Huang dans un article de blog. « Le prochain niveau d’IA générative nécessite une nouvelle infrastructure d’IA pour entraîner les grands modèles de langage avec une grande efficacité énergétique.
La quantité substantielle de puissance informatique nécessaire à l’IA est coûteuse, et de nombreux acteurs de l’industrie se concentrent sur le développement de nouvelles puces, de composants tels que des connexions optiques ou de techniques logicielles qui réduisent la quantité de puissance informatique nécessaire.
Les besoins en énergie de l’IA sont également une aubaine pour les fournisseurs de cloud tels que Google, Microsoft et Amazon, qui peuvent louer du traitement informatique à l’heure et fournir des crédits ou du temps de calcul aux startups pour nouer des relations. (Le cloud de Google vend également du temps sur les puces Nvidia.) Par exemple, Google a déclaré que Midjourney, un générateur d’images AI, avait été formé sur ses puces TPU.