Microsoft ferme la boucle informatique confidentielle avec la puce Milan d’AMD

Microsoft a partagé des détails sur la façon dont il utilise une technologie AMD pour sécuriser l’intelligence artificielle alors qu’il construit une infrastructure d’IA sécurisée dans son service cloud Azure.

Microsoft entretient une relation étroite avec Nvidia, mais travaille également avec les puces Epyc d’AMD (y compris la nouvelle série 3D VCache), les accélérateurs MI Instinct et utilise également les FPGA Xilinx en interne pour l’inférence. Le fournisseur de cloud a mis en place une couche de sécurité dans son infrastructure informatique d’IA via une fonctionnalité disponible uniquement sur les puces Epyc de l’entreprise (en particulier, les puces « Milan » de troisième génération), a déclaré Mark Russinovich, directeur de la technologie de la division cloud Azure de Microsoft, lors de une présentation au AI Hardware Summit à Santa Clara, en Californie.

La fonction de sécurité des puces Epyc d’AMD, appelée SEV-SNP, est liée à un concept relativement nouveau d’informatique confidentielle qui sécurise les données sensibles pendant leur traitement par cryptage dans Azure. Russinovich a salué la fonctionnalité comme une percée, qui a comblé un trou géant dans la sécurisation des données tout au long du cycle de traitement de l’IA.

La fonctionnalité d’AMD crypte les données AI lorsqu’elles sont chargées dans un CPU ou un GPU. C’est important car les secteurs verticaux cherchent à mélanger des ensembles de données propriétaires et tiers pour obtenir des informations plus riches. La fonction de sécurité de la puce AMD garantit que les données ne peuvent pas être altérées au cours du cycle d’IA.

« L’informatique confidentielle permet aux utilisateurs de faire confiance au code et à l’environnement d’exécution sécurisé pour protéger la confidentialité de leurs données. Ce qui signifie que vous pouvez combiner vos ensembles de données si vous faites confiance au code et aux données », a déclaré Russinovich.

Le SEV-SNP d’AMD prend en charge les machines virtuelles et les conteneurs. Les puces chiffrent déjà les données lorsqu’elles sont au repos et en cours de transport, mais la fonction de sécurité des puces d’AMD comble un grand vide dans le chiffrement et la protection des données lorsqu’elles sont en cours de traitement.

Ce qui manque, c’est que lorsque ces données sont chargées sur le CPU ou le GPU, elles les protègent pendant leur utilisation », a déclaré Russinovich.

La fonction de sécurité d’AMD est importante pour les calculs et les analyses multipartites, a déclaré Russinovich. Il a partagé l’exemple de la Banque Royale du Canada, qui mélange en temps réel les données sécurisées des commerçants, les habitudes d’achat des consommateurs et les données tirées des cartes de crédit.

« RBC est en mesure de combiner les ensembles de données, les commerçants, les consommateurs et la banque, de manière à ce qu’aucune partie n’ait accès aux données tout en étant en mesure de proposer des publicités et des offres très ciblées à ces consommateurs. C’est l’avenir de la publicité », a déclaré Russinovich.

Cette fonctionnalité était nécessaire car la capacité de calcul des modèles d’IA a été multipliée par 200 000 depuis sept ans jusqu’à aujourd’hui. Russinovich a comparé la capacité de calcul de l’IA avec la loi de Moore, qui est un corollaire qui stipule que le nombre de transistors sur une puce double tous les deux ans.

Les besoins en matériel d’IA « doublent environ tous les deux ans et demi », lors du suivi de la loi de Moore, a déclaré Russinovich.

La loi de Moore était initialement liée aux processeurs, mais a évolué à mesure que de plus en plus d’accélérateurs tels que les GPU et les FPGA sont inclus dans les packages de puces AI.

Microsoft a construit un réseau backend dédié sur Azure pour l’informatique IA. Microsoft propose des instances de calcul AI avec huit GPU Nvidia A100 sur chaque serveur, sur lesquels les clients peuvent provisionner des machines virtuelles qui utilisent n’importe quel nombre de GPU. Les serveurs sont connectés avec NVSwitch et NVLink, et ont également des milliers de serveurs reliés à un réseau InfiniBand HDR de 200 liens gigabit.

Azure a ajouté une couche « intelligence » sous la forme de modèles d’IA pré-formés en tant que service aux clients. La couche d’intelligence, qui est une couche logicielle appelée Singularity, orchestre une utilisation efficace du matériel.

« Vous avez vraiment besoin d’une infrastructure logicielle supplémentaire capable de l’utiliser de manière efficace et efficiente, et de fournir fiabilité et efficacité », a déclaré Russinovich.

Une caractéristique essentielle de Singularity est le «point de contrôle», qui fournit l’élasticité et la fiabilité du réseau informatique d’IA. Le système de point de contrôle peut migrer des travaux à faible priorité vers des systèmes d’autres régions lorsque des travaux à haute priorité arrivent. Ceci est important pour les modèles d’IA à grande échelle, dont la formation peut prendre des semaines ou des mois.

Le processus de point de contrôle implique une synchronisation créative entre les états du CPU et du GPU, ce que Singularity fait de plusieurs manières grâce à des techniques personnalisées et du code incorporé dans Linux.

«Traditionnellement, ce travail de faible priorité est simplement tué. Si vous effectuez un point de contrôle, vous pouvez le reprendre à un moment donné plus tard lorsqu’un travail est terminé », a déclaré Russinovich, ajoutant que« cela est abstrait des développeurs via le… runtime et l’infrastructure Singularity », a déclaré Russinovich.

Microsoft dispose d’accélérateurs d’IA dans ses 65 régions Azure publiques. En fonction de la tâche IA, un planificateur IA dans Singularity peut localiser une tâche vers un accélérateur spécifique de la région ou migrer la tâche vers une autre région en fonction de la capacité disponible.

Le système Singularity prend en charge à la fois l’inférence et la formation, et peut faire évoluer les tâches vers le haut ou vers le bas, ainsi que suspendre et reprendre des tâches.

Le coup de pouce de Russinovich pour le matériel AMD a surpris les fabricants de puces Victor Peng, président du groupe d’informatique adaptative et embarquée chez AMD et ancien PDG de Xilinx, qui a présenté ensuite au AI Hardware Summit. Il avait l’air content, mais a également dit au public que leurs présentations consécutives étaient une coïncidence et non un coup marketing.

Nous ne nous sommes coordonnés d’aucune façon, a déclaré Peng.