Le Kempner Institute ajoute environ 400 GPU H100 à son cluster informatique — Harvard Gazette
L’Institut Kempner pour l’étude de l’intelligence naturelle et artificielle de Harvard a acheté 384 unités de traitement graphique (GPU) Nvidia H100-80 Go. Ces GPU seront ajoutés au cluster informatique de pointe Kempners pour soutenir la recherche en intelligence naturelle et artificielle.
Avec cet ajout, le cluster Kempners se positionne pour devenir l’un des plus grands clusters universitaires de calcul ML au monde. Le cluster élargi, spécialement conçu pour former des modèles d’IA génératifs, permettra aux chercheurs de traiter rapidement d’énormes quantités de données, ainsi que de développer et de tester de nouveaux modèles informatiques expliquant comment les cerveaux et les machines apprennent.
Le monde universitaire est particulièrement bien équipé pour repousser les frontières de la connaissance scientifique de manière ouverte et motivée par la curiosité, et ce cluster constitue une ressource particulièrement puissante pour y parvenir, a déclaré Jonathan Frankle, affilié à Kempner, qui a joué un rôle clé dans l’orientation de le cluster informatique de l’Institut. Nos étudiants seront en mesure de travailler avec des équipements de pointe et des budgets à l’échelle de l’industrie pour développer la prochaine génération de technologie d’apprentissage automatique.
Les GPU Nvidias A100 et H100 sont devenus des choix populaires dans le paysage concurrentiel du calcul haute performance, ce dernier modèle offrant près de trois fois plus de vitesse de formation et d’inférence que le modèle A100, déjà puissant. Mis en réseau à l’aide d’Infiniband, le cluster étendu de Kempners sera capable d’atteindre des vitesses de transfert de 1 600 gigaoctets/seconde, permettant aux scientifiques d’utiliser l’ensemble du cluster pour former des modèles de langage rapidement et efficacement.
Le rack actuel de Kempner, composé de 144 GPU A100-40GB, est déjà puissant, capable d’entraîner LLaMA2-7B, un grand modèle de langage open source populaire de 7 milliards de paramètres, en six semaines environ. Cependant, le cluster élargi sera capable d’entraîner le même modèle en moins d’une semaine, ou pourra entraîner LLaMA-70B, la version à 70 milliards de paramètres, en deux mois et demi, un gain de temps qui permet à Kempner de poursuivre des recherches véritablement innovantes.
Les nœuds informatiques Kempner résident au Massachusetts Green High Performance Computing Center (MGHPCC), un centre de données moderne et écologique à but non lucratif situé dans l’ouest du Massachusetts. Le MGHPCC, partagé par un certain nombre d’autres universités de la région de Boston, a été le premier centre de données de recherche universitaire à obtenir la certification LEED Platine, le plus haut niveau décerné par le programme de leadership en matière d’énergie et de conception environnementale du Green Building Councils.
À propos de Kempner
L’Institut Kempner cherche à comprendre les fondements de l’intelligence dans les systèmes naturels et artificiels en recrutant et en formant les futures générations de chercheurs pour étudier l’intelligence d’un point de vue biologique, cognitif, technique et informatique. Son principe audacieux est que les domaines de l’intelligence naturelle et artificielle sont intimement liés ; la prochaine génération d’intelligence artificielle (IA) nécessitera les mêmes principes que ceux utilisés par notre cerveau pour un raisonnement naturel rapide et flexible, et comprendre comment notre cerveau calcule et raisonne peut être élucidé par les théories développées pour l’IA.
Rejoignez la liste de diffusion Kempner pour en savoir plus et recevoir des mises à jour et des actualités.
Lire l’histoire complète