Découvrez la puce Nvidia à 10 000 $ qui propulse la course à l’IA

Les logiciels capables d’écrire des passages de texte ou de dessiner des images ressemblant à des créations humaines ont déclenché une ruée vers l’or dans l’industrie technologique.

Des entreprises comme Microsoft et Google se battent pour intégrer l’IA de pointe dans leurs moteurs de recherche, alors que des concurrents d’un milliard de dollars tels que OpenAI et Stable Diffusion se précipitent et publient leurs logiciels au public.

L’alimentation de bon nombre de ces applications est une puce d’environ 10 000 $ qui est devenue l’un des outils les plus critiques de l’industrie de l’intelligence artificielle : le Nvidia A100.

L’A100 est devenu le « cheval de bataille » des professionnels de l’intelligence artificielle en ce moment, a déclaré Nathan Benaich, un investisseur qui publie une newsletter et un rapport couvrant l’industrie de l’IA, y compris une liste partielle des supercalculateurs utilisant des A100. Nvidia détient 95% du marché des processeurs graphiques pouvant être utilisés pour l’apprentissage automatique, selon New Street Research.

L’A100 est parfaitement adapté au type de modèles d’apprentissage automatique qui alimentent des outils tels que ChatGPT, Bing AI ou Stable Diffusion. Il est capable d’effectuer simultanément de nombreux calculs simples, ce qui est important pour la formation et l’utilisation de modèles de réseaux neuronaux.

La technologie derrière l’A100 a été initialement utilisée pour rendre des graphismes 3D sophistiqués dans les jeux. On l’appelle souvent processeur graphique ou GPU, mais de nos jours, l’A100 de Nvidia est configuré et ciblé sur les tâches d’apprentissage automatique et s’exécute dans des centres de données, et non dans des PC de jeu brillants.

Les grandes entreprises ou les startups travaillant sur des logiciels tels que les chatbots et les générateurs d’images nécessitent des centaines ou des milliers de puces Nvidia, et les achètent elles-mêmes ou un accès sécurisé aux ordinateurs auprès d’un fournisseur de cloud.

Des centaines de GPU sont nécessaires pour former des modèles d’intelligence artificielle, comme les grands modèles de langage. Les puces doivent être suffisamment puissantes pour traiter rapidement des téraoctets de données afin de reconnaître des modèles. Après cela, des GPU comme l’A100 sont également nécessaires pour « l’inférence » ou l’utilisation du modèle pour générer du texte, faire des prédictions ou identifier des objets à l’intérieur des photos.

Cela signifie que les entreprises d’IA doivent avoir accès à de nombreux A100. Certains entrepreneurs de l’espace voient même le nombre d’A100 auxquels ils ont accès comme un signe de progrès.

« Il y a un an, nous avions 32 A100 », a déclaré Emad Mostaque, PDG de Stability AI. écrit sur Twitter en janvier. « Rêvez grand et empilez les enfants de GPU moar. Brrr. » Stability AI est la société qui a aidé à développer Stable Diffusion, un générateur d’images qui a attiré l’attention l’automne dernier et qui aurait une valorisation de plus d’un milliard de dollars.

Désormais, Stability AI a accès à plus de 5 400 GPU A100, selon une estimation du rapport State of AI, qui répertorie et suit les entreprises et les universités qui possèdent la plus grande collection de GPU A100, bien qu’elle n’inclue pas les fournisseurs de cloud, qui n’en font pas. t publier leurs numéros publiquement.

Nvidia devrait bénéficier du cycle de battage médiatique de l’IA. Lors du rapport sur les résultats du quatrième trimestre fiscal de mercredi, bien que les ventes globales aient diminué de 21%, les investisseurs ont fait grimper l’action d’environ 14% jeudi, principalement parce que l’activité de puces AI de la société a signalé que les centres de données ont augmenté de 11% pour atteindre plus de 3,6 milliards de dollars de ventes pendant du trimestre, affichant une croissance continue.

Les actions Nvidia ont augmenté de 65 % jusqu’à présent en 2023, dépassant le S&P 500 et les autres actions de semi-conducteurs.

Le PDG de Nvidia, Jensen Huang, n’a pas cessé de parler d’IA lors d’un appel avec des analystes mercredi, suggérant que le récent boom de l’intelligence artificielle est au centre de la stratégie de l’entreprise.

« L’activité autour de l’infrastructure d’intelligence artificielle que nous avons construite et l’activité autour de l’inférence utilisant Hopper et Ampere pour influencer de grands modèles de langage vient d’exploser au cours des 60 derniers jours », a déclaré Huang. « Il ne fait aucun doute que, quelle que soit notre opinion sur cette année, alors que nous entrons dans l’année, elle a été assez radicalement changée à la suite des 60, 90 derniers jours. »

Ampere est le nom de code de Nvidia pour la génération de puces A100. Hopper est le nom de code de la nouvelle génération, y compris H100, qui a récemment commencé à être expédié.

Par rapport à d’autres types de logiciels, comme la diffusion d’une page Web, qui utilise occasionnellement la puissance de traitement par rafales pendant des microsecondes, les tâches d’apprentissage automatique peuvent occuper toute la puissance de traitement de l’ordinateur., parfois pendant des heures ou des jours.

Cela signifie que les entreprises qui se retrouvent avec un produit d’IA à succès doivent souvent acquérir plus de GPU pour gérer les périodes de pointe ou améliorer leurs modèles.

Ces GPU ne sont pas bon marché. En plus d’un seul A100 sur une carte qui peut être insérée dans un serveur existant, de nombreux centres de données utilisent un système qui comprend huit GPU A100 fonctionnant ensemble.

Ce système, le DGX A100 de Nvidia, a un prix suggéré de près de 200 000 $, bien qu’il soit livré avec les puces nécessaires. Mercredi, Nvidia a annoncé qu’elle vendrait directement l’accès au cloud aux systèmes DGX, ce qui réduirait probablement le coût d’entrée pour les bricoleurs et les chercheurs.

Il est facile de voir comment le coût des A100 peut s’additionner.

Par exemple, une estimation de New Street Research a révélé que le modèle ChatGPT basé sur OpenAI dans la recherche de Bing pourrait nécessiter 8 GPU pour fournir une réponse à une question en moins d’une seconde.

À ce rythme, Microsoft aurait besoin de plus de 20 000 serveurs à 8 GPU juste pour déployer le modèle dans Bing pour tout le monde, ce qui suggère que la fonctionnalité de Microsoft pourrait coûter 4 milliards de dollars en dépenses d’infrastructure.

« Si vous êtes de Microsoft et que vous voulez faire évoluer cela, à l’échelle de Bing, cela représente peut-être 4 milliards de dollars. Si vous voulez évoluer à l’échelle de Google, qui traite 8 ou 9 milliards de requêtes chaque jour, vous avez en fait besoin dépenser 80 milliards de dollars en DGX. » a déclaré Antoine Chkaiban, analyste technologique chez New Street Research. « Les chiffres que nous avons obtenus sont énormes. Mais ils reflètent simplement le fait que chaque utilisateur qui adopte un modèle de langage aussi vaste nécessite un superordinateur massif pendant qu’il l’utilise. »

La dernière version de Stable Diffusion, un générateur d’images, a été entraînée sur 256 GPU A100, soit 32 machines avec 8 A100 chacune, selon les informations en ligne publiées par Stability AI, totalisant 200 000 heures de calcul.

Au prix du marché, la formation du modèle à lui seul coûte 600 000 $, a déclaré le PDG de Stability AI, Mostaque, sur Twitter, suggérant en un échange de tweets le prix était exceptionnellement bon marché par rapport à ses rivaux. Cela ne compte pas le coût de « l’inférence » ou du déploiement du modèle.

Huang, PDG de Nvidia, a déclaré dans une interview avec Katie Tarasov de CNBC que les produits de la société sont en fait peu coûteux pour la quantité de calculs dont ces types de modèles ont besoin.

« Nous avons pris ce qui serait autrement un centre de données de 1 milliard de dollars exécutant des processeurs, et nous l’avons réduit à un centre de données de 100 millions de dollars », a déclaré Huang. « Maintenant, 100 millions de dollars, quand vous mettez cela dans le cloud et partagé par 100 entreprises, c’est presque rien. »

Huang a déclaré que les GPU de Nvidia permettent aux startups de former des modèles pour un coût bien inférieur à celui s’ils utilisaient un processeur informatique traditionnel.

« Maintenant, vous pourriez construire quelque chose comme un grand modèle de langage, comme un GPT, pour quelque chose comme 10, 20 millions de dollars », a déclaré Huang. « C’est vraiment, vraiment abordable. »

Nvidia n’est pas la seule entreprise à fabriquer des GPU à des fins d’intelligence artificielle. AMD et Intel ont des processeurs graphiques concurrents, et de grandes sociétés de cloud comme Google et Amazon développent et déploient leurs propres puces spécialement conçues pour les charges de travail d’IA.

Pourtant, « le matériel d’IA reste fortement consolidé par NVIDIA », selon le rapport sur l’état du calcul de l’IA. En décembre, plus de 21 000 articles sur l’IA open source ont déclaré utiliser des puces Nvidia.

La plupart des chercheurs inclus dans l’indice State of AI Compute Index utilisait le V100, la puce de Nvidia sortie en 2017, mais A100 s’est rapidement développé en 2022 pour devenir la troisième puce Nvidia la plus utilisée, juste derrière une puce graphique grand public de 1500 $ ou moins initialement destinée à jeu.

L’A100 a également la particularité d’être l’une des rares puces à faire l’objet de contrôles à l’exportation pour des raisons de défense nationale. L’automne dernier, Nvidia a déclaré dans un dossier auprès de la SEC que le gouvernement américain avait imposé une exigence de licence interdisant l’exportation de l’A100 et du H100 vers la Chine, Hong Kong et la Russie.

« Le gouvernement américain a indiqué que la nouvelle exigence de licence résoudra le risque que les produits couverts puissent être utilisés ou détournés vers une » utilisation finale militaire « ou un » utilisateur final militaire « en Chine et en Russie », a déclaré Nvidia dans son dossier. Nvidia a précédemment déclaré avoir adapté certaines de ses puces pour le marché chinois afin de se conformer aux restrictions américaines à l’exportation.

La concurrence la plus féroce pour l’A100 pourrait être son successeur. L’A100 a été introduit pour la première fois en 2020, il y a une éternité dans les cycles de puces. Le H100, introduit en 2022, commence à être produit en volume en fait, Nvidia a enregistré plus de revenus des puces H100 au cours du trimestre se terminant en janvier que l’A100, a-t-il déclaré mercredi, bien que le H100 soit plus cher par unité.

Le H100, selon Nvidia, est le premier de ses GPU de centre de données à être optimisé pour les transformateurs, une technique de plus en plus importante utilisée par de nombreuses applications d’IA les plus récentes et les plus performantes. Nvidia a déclaré mercredi qu’elle souhaitait accélérer la formation à l’IA de plus d’un million de pour cent. Cela pourrait signifier qu’à terme, les entreprises d’IA n’auraient pas besoin d’autant de puces Nvidia.