PyTorch 2.0 apporte un nouveau feu à l’apprentissage automatique open source

Après des mois en avant-première, PyTorch 2.0 a été rendu généralement disponible par la Fondation PyTorch.

Le projet open source PyTorch fait partie des technologies les plus largement utilisées pour la formation en machine learning (ML). Initialement lancé par Facebook (maintenant Meta), PyTorch 1.0 est sorti en 2018 et a bénéficié d’années d’améliorations progressives.

>> Ne manquez pas notre numéro spécial : La quête du Nirvana : appliquer l’IA à grande échelle.<

En septembre 2022, la Fondation PyTorch a été créée dans le but de permettre une gouvernance plus ouverte et d’encourager davantage de collaboration et de contributions. L’effort qui a porté ses fruits, avec la version bêta de PyTorch 2.0 en avant-première en décembre 2022. PyTorch 2.0 bénéficie de 428 contributeurs différents qui ont fourni un nouveau code et de nouvelles fonctionnalités à l’effort open source.

La performance est un objectif principal pour PyTorch 2.0 et un objectif que les développeurs n’ont pas hésité à promouvoir. En fait, l’une des nouvelles fonctionnalités clés est Accelerated Transformers, anciennement connu sous le nom de Better Transformers. Ceux-ci sont au cœur des grands modèles de langage modernes (LLM) et de l’IA générative, permettant aux modèles d’établir des liens entre différents concepts.

Nous sommes particulièrement enthousiasmés par les améliorations significatives des performances de cette nouvelle génération de séries PyTorch, qui permettent aux développeurs d’innover davantage pour façonner l’avenir de PyTorch, a déclaré Ibrahim Haddad, directeur exécutif de la Fondation PyTorch dans une déclaration écrite à VentureBeat.

Comment PyTorch 2.0 va accélérer le paysage ML

L’un des objectifs du projet PyTorch est de faciliter et d’accélérer la formation et le déploiement de modèles de transformateurs de pointe.

Les transformateurs sont la technologie fondamentale qui a contribué à permettre l’ère moderne de l’IA générative, y compris les modèles OpenAI tels que GPT-3 (et maintenant GPT-4). Dans les transformateurs accélérés PyTorch 2.0, il existe une prise en charge haute performance de la formation et de l’inférence à l’aide d’une architecture de noyau personnalisée pour une approche connue sous le nom d’attention au produit scalaire (SPDA).

Comme plusieurs types de matériel peuvent prendre en charge les transformateurs, PyTorch 2.0 peut prendre en charge plusieurs noyaux personnalisés SDPA. Pour aller plus loin, PyTorch intègre une logique de sélection de noyau personnalisée qui choisira le noyau le plus performant pour un modèle et un type de matériel donnés.

L’impact de l’accélération n’est pas négligeable, car il permet aux développeurs de former des modèles plus rapidement que les itérations précédentes de PyTorch.

Avec une seule ligne de code à ajouter, PyTorch 2.0 donne une accélération entre 1,5x et 2,x dans la formation des modèles Transformers, a écrit Sylvain Gugger, responsable principal des transformateurs HuggingFace, dans une déclaration publiée par le projet PyTorch. C’est la chose la plus excitante depuis l’introduction de l’entraînement de précision mixte !

Intel aide à diriger les travaux sur l’amélioration de PyTorch pour les processeurs

Parmi les nombreux contributeurs de PyTorch 2.0, nul autre que le géant du silicium Intel.

Arun Gupta, vice-président et directeur général des écosystèmes ouverts chez Intel, a déclaré à VentureBeat que son entreprise est très favorable aux logiciels open source et à PyTorch de passer à un modèle de gouvernance ouvert au sein de la Fondation PyTorch hébergée par la Fondation Linux. Gupta a noté qu’Intel est l’un des 3 principaux contributeurs à PyTorch et est actif au sein de la communauté.

Bien que le travail de l’IA et du ML soit souvent étroitement associé aux GPU, les processeurs ont également un rôle à jouer, et cela a été un domaine d’intérêt pour Intel. Gupta a déclaré qu’Intel dirige les optimisations TorchInductor pour les processeurs. Gupta a expliqué que l’optimisation du processeur TorchInductor permet aux avantages du nouveau compilateur PyTorch qui fait partie de la version 2.0 de fonctionner sur les processeurs.

PyTorch intègre également des fonctionnalités désignées par le projet sous le nom de backend de quantification unifiée pour les plates-formes CPU x86. Le backend unifié offre à PyTorch la possibilité de choisir la meilleure implémentation de quantification pour une plate-forme de formation. Intel a développé sa propre technologie oneDNN, qui est également disponible pour la bibliothèque rivale open source TensorFlow ML. Le nouveau backend unifié prend également en charge l’approche FBGEMM développée à l’origine par Facebook/Meta.

L’avantage pour l’utilisateur final est qu’il sélectionne simplement un seul backend CPU, avec les meilleures performances et la meilleure portabilité, a déclaré Gupta. Intel considère la compilation comme une technologie puissante qui aidera les utilisateurs de PyTorch à obtenir d’excellentes performances même lorsqu’ils exécutent de nouveaux modèles innovants.