NVIDIA Hopper balaie les repères d’inférence d’IA dans les débuts de MLPerf
Lors de leurs débuts sur les benchmarks IA standard de l’industrie MLPerf, les GPU NVIDIA H100 Tensor Core ont établi des records mondiaux d’inférence sur toutes les charges de travail, offrant jusqu’à 4,5 fois plus de performances que les GPU de la génération précédente.
Les résultats démontrent que Hopper est le choix premium pour les utilisateurs qui exigent des performances optimales sur les modèles d’IA avancés.
De plus, les GPU NVIDIA A100 Tensor Core et le module NVIDIA Jetson AGX Orin pour la robotique alimentée par l’IA ont continué à offrir des performances d’inférence globales de premier plan dans tous les tests MLPerf : reconnaissance d’images et de la parole, traitement du langage naturel et systèmes de recommandation.
Le H100, alias Hopper, a relevé la barre des performances par accélérateur sur les six réseaux de neurones du cycle. Il a démontré son leadership en termes de débit et de vitesse dans des scénarios de serveur et hors ligne distincts.
L’architecture NVIDIA Hopper a fourni jusqu’à 4,5 fois plus de performances que les GPU d’architecture NVIDIA Ampere, qui continuent d’assurer le leadership global dans les résultats MLPerf.
Grâce en partie à son Transformer Engine, Hopper a excellé sur le modèle populaire BERT pour le traitement du langage naturel. C’est l’un des modèles d’IA MLPerf les plus grands et les plus gourmands en performances.
Ces benchmarks d’inférence marquent la première démonstration publique des GPU H100, qui seront disponibles plus tard cette année. Les GPU H100 participeront aux futurs cycles MLPerf pour la formation.
Les GPU A100 font preuve de leadership
Les GPU NVIDIA A100, disponibles aujourd’hui auprès des principaux fournisseurs de services cloud et fabricants de systèmes, ont continué à montrer le leadership global en matière de performances grand public sur l’inférence IA lors des derniers tests.
Les GPU A100 ont remporté plus de tests que n’importe quelle soumission dans les catégories et scénarios de centres de données et d’informatique de pointe. En juin, l’A100 a également assuré le leadership global dans les benchmarks de formation MLPerf, démontrant ses capacités dans l’ensemble du flux de travail de l’IA.
Depuis leurs débuts en juillet 2020 sur MLPerf, les GPU A100 ont multiplié par 6 leurs performances, grâce aux améliorations continues du logiciel NVIDIA AI.
NVIDIA AI est la seule plate-forme à exécuter toutes les charges de travail et tous les scénarios d’inférence MLPerf dans les centres de données et l’informatique de pointe.
Les utilisateurs ont besoin de performances polyvalentes
La capacité des GPU NVIDIA à offrir des performances de pointe sur tous les principaux modèles d’IA fait des utilisateurs les vrais gagnants. Leurs applications dans le monde réel utilisent généralement de nombreux réseaux de neurones de différents types.
Par exemple, une application d’IA peut avoir besoin de comprendre une demande vocale d’un utilisateur, de classer une image, de faire une recommandation, puis de fournir une réponse sous forme de message parlé d’une voix à consonance humaine. Chaque étape nécessite un type de modèle d’IA différent.
Les benchmarks MLPerf couvrent ces charges de travail et scénarios d’IA populaires, ainsi que la vision par ordinateur, le traitement du langage naturel, les systèmes de recommandation, la reconnaissance vocale, etc. Les tests garantissent que les utilisateurs obtiendront des performances fiables et flexibles à déployer.
Les utilisateurs s’appuient sur les résultats de MLPerf pour prendre des décisions d’achat éclairées, car les tests sont transparents et objectifs. Les références bénéficient du soutien d’un large groupe comprenant Amazon, Arm, Baidu, Google, Harvard, Intel, Meta, Microsoft, Stanford et l’Université de Toronto.
Orin mène au bord
Dans le domaine de l’informatique de périphérie, NVIDIA Orin a exécuté tous les benchmarks MLPerf, remportant plus de tests que tout autre système sur puce à faible consommation d’énergie. Et il a montré jusqu’à 50% de gain d’efficacité énergétique par rapport à ses débuts sur MLPerf en avril.
Lors du tour précédent, Orin fonctionnait jusqu’à 5 fois plus vite que le module Jetson AGX Xavier de la génération précédente, tout en offrant une efficacité énergétique moyenne 2 fois supérieure.
Orin intègre dans une seule puce un GPU d’architecture NVIDIA Ampere et un cluster de puissants cœurs de processeur Arm. Il est disponible dès aujourd’hui dans le kit de développement NVIDIA Jetson AGX Orin et les modules de production pour la robotique et les systèmes autonomes, et prend en charge la pile logicielle NVIDIA AI complète, y compris les plates-formes pour les véhicules autonomes (NVIDIA Hyperion), les dispositifs médicaux (Clara Holoscan) et la robotique (Isaac) .
Vaste écosystème d’IA NVIDIA
Les résultats de MLPerf montrent que NVIDIA AI est soutenu par l’écosystème le plus large du secteur en matière d’apprentissage automatique.
Plus de 70 soumissions dans ce tour ont été exécutées sur la plate-forme NVIDIA. Par exemple, Microsoft Azure a soumis des résultats en exécutant NVIDIA AI sur ses services cloud.
De plus, 19 systèmes certifiés NVIDIA sont apparus dans cette ronde de 10 fabricants de systèmes, dont ASUS, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo et Supermicro.
Leur travail montre que les utilisateurs peuvent obtenir d’excellentes performances avec NVIDIA AI à la fois dans le cloud et sur des serveurs exécutés dans leurs propres centres de données.
Les partenaires NVIDIA participent à MLPerf car ils savent qu’il s’agit d’un outil précieux pour les clients qui évaluent les plates-formes et les fournisseurs d’IA. Les résultats du dernier cycle démontrent que les performances qu’ils offrent aux utilisateurs aujourd’hui augmenteront avec la plate-forme NVIDIA.
Tous les logiciels utilisés pour ces tests sont disponibles dans le référentiel MLPerf, afin que tout le monde puisse obtenir ces résultats de classe mondiale. Les optimisations sont continuellement repliées dans des conteneurs disponibles sur NGC, le catalogue NVIDIA pour les logiciels accélérés par GPU. C’est là que vous trouverez également NVIDIA TensorRT, utilisé par chaque soumission de ce tour pour optimiser l’inférence de l’IA.
Lisez notre blog technique pour une plongée plus approfondie dans la technologie qui alimente les performances NVIDIAs MLPerf.