La technologie d’intelligence artificielle derrière ChatGPT a été construite dans l’Iowa avec beaucoup d’eau

DES MOINES, Iowa (AP) Le coût de création d’un produit d’intelligence artificielle comme ChatGPT peut être difficile à mesurer.

Mais une chose dont OpenAI, soutenu par Microsoft, avait besoin pour sa technologie, c’était beaucoup d’eau, puisée dans le bassin versant des rivières Raccoon et Des Moines, dans le centre de l’Iowa, pour refroidir un puissant superordinateur qui aidait ses systèmes d’IA à apprendre à imiter l’écriture humaine.

Alors qu’ils courent pour capitaliser sur un engouement pour l’IA générativedes développeurs technologiques de premier plan, notamment Microsoft, OpenAI et Google, ont reconnu que la demande croissante pour leurs outils d’IA entraîne des coûts élevés, allant des semi-conducteurs coûteux à l’augmentation de la consommation d’eau.

Mais ils restent souvent secrets sur les détails. Peu de gens dans l’Iowa connaissaient son statut de berceau du grand modèle de langage le plus avancé d’OpenAI, GPT-4, avant qu’un haut dirigeant de Microsoft ne déclare dans un discours qu’il avait été littéralement prononcé à côté de champs de maïs à l’ouest de Des Moines.

Construire un grand modèle de langage nécessite d’analyser des modèles dans un immense trésor de textes écrits par des humains. Toute cette informatique consomme beaucoup d’électricité et génère beaucoup de chaleur. Pour rester frais pendant les journées chaudes, les centres de données doivent souvent pomper de l’eau vers une tour de refroidissement située à l’extérieur de leurs bâtiments de la taille d’un entrepôt.

Dans son dernier rapport environnementalMicrosoft a révélé que sa consommation mondiale d’eau a grimpé de 34 % entre 2021 et 2022 (pour atteindre près de 1,7 milliard de gallons, soit plus de 2 500 piscines olympiques), une forte augmentation par rapport aux années précédentes que des chercheurs extérieurs associent à ses recherches sur l’IA.

Il est juste de dire que la majorité de la croissance est due à l’IA, y compris ses investissements massifs dans l’IA générative et son partenariat avec OpenAI, a déclaré Shaolei Ren, chercheur à l’Université de Californie à Riverside, qui a tenté de calculer l’impact environnemental de l’IA générative. Produits d’IA tels que ChatGPT.

Dans un article qui devrait être publié plus tard cette année, l’équipe de Rens estime que ChatGPT avale 500 millilitres d’eau (près de ce qu’il y a dans une bouteille d’eau de 16 onces) chaque fois que vous lui posez une série de 5 à 50 invites ou questions. La gamme varie en fonction de l’endroit où se trouvent ses serveurs et de la saison. L’estimation inclut la consommation indirecte d’eau que les entreprises ne mesurent pas, comme pour refroidir les centrales électriques qui alimentent les centres de données en électricité.

La plupart des gens ne sont pas conscients de l’utilisation des ressources sous-jacentes à ChatGPT, a déclaré Ren. Si vous n’êtes pas au courant de l’utilisation des ressources, nous ne pouvons en aucun cas vous aider à conserver les ressources.

Google signalé une croissance de 20 % de la consommation d’eau au cours de la même période, que Ren attribue également en grande partie à son travail en matière d’IA. Le pic de Google n’était pas uniforme : il était stable dans l’Oregon, où il l’utilisation de l’eau a attiré l’attention du public, tout en doublant en dehors de Las Vegas. L’Iowa avait également soif et aspirait plus d’eau potable vers ses centres de données de Council Bluffs que partout ailleurs.

En réponse aux questions de l’Associated Press, Microsoft a déclaré cette semaine dans un communiqué qu’il investissait dans la recherche pour mesurer l’énergie et l’empreinte carbone de l’IA, tout en travaillant sur les moyens de rendre les grands systèmes plus efficaces, tant dans la formation que dans les applications.

Nous continuerons de surveiller nos émissions, d’accélérer les progrès tout en augmentant notre utilisation d’énergie propre pour alimenter les centres de données, en achetant de l’énergie renouvelable et d’autres efforts pour atteindre nos objectifs de développement durable consistant à être négatif en carbone, positif en eau et zéro déchet d’ici 2030, déclare l’entreprise. dit.

OpenAI a fait écho à ces commentaires dans sa propre déclaration vendredi, affirmant qu’elle réfléchissait considérablement à la meilleure utilisation de la puissance de calcul.

Nous reconnaissons que la formation de grands modèles peut être gourmande en énergie et en eau et nous travaillons à améliorer l’efficacité, indique-t-il.

Microsoft a réalisé son premier investissement d’un milliard de dollars dans OpenAI, basé à San Francisco, en 2019, plus de deux ans avant que la startup n’introduise ChatGPT et ne se propage dans le monde entier. fascination pour les progrès de l’IA. Dans le cadre de cet accord, le géant du logiciel fournirait la puissance de calcul nécessaire à la formation des modèles d’IA.

Pour réaliser au moins une partie de ce travail, les deux sociétés se sont tournées vers West Des Moines, dans l’Iowa, une ville de 68 000 habitants où Microsoft rassemble des centres de données pour alimenter ses services de cloud computing depuis plus d’une décennie. Ses quatrième et cinquième centres de données devraient y ouvrir leurs portes plus tard cette année.

Ils les construisent aussi vite que possible, a déclaré Steve Gaer, qui était maire de la ville lorsque Microsoft est arrivé en ville. Gaer a déclaré que l’entreprise était attirée par l’engagement de la ville à construire des infrastructures publiques et qu’elle avait contribué une somme d’argent colossale sous forme de paiements d’impôts pour soutenir cet investissement.

Mais vous savez, ils étaient assez secrets sur ce qu’ils faisaient là-bas, a-t-il ajouté.

Microsoft a déclaré pour la première fois qu’il développait l’un des superordinateurs les plus puissants au monde pour OpenAI en 2020, refusant de révéler son emplacement à AP à l’époque, mais le décrivant comme un système unique avec plus de 285 000 cœurs de semi-conducteurs conventionnels et 10 000 processeurs graphiques en quelque sorte. de puce qui devient cruciale aux charges de travail d’IA.

Les experts ont déclaré qu’il peut être judicieux de pré-entraîner un modèle d’IA en un seul endroit en raison des grandes quantités de données qui doivent être transférées entre les cœurs de calcul.

Ce n’est que fin mai que le président de Microsoft, Brad Smith, a révélé qu’il avait construit son centre de données de supercalcul d’IA avancé dans l’Iowa, exclusivement pour permettre à OpenAI de former ce qui est devenu son modèle de quatrième génération, GPT-4. Le modèle alimente désormais les versions premium de ChatGPT et certains produits propres de Microsoft et a accéléré le débat sur la maîtrise des risques sociétaux de l’IA.

Il a été fabriqué par ces ingénieurs extraordinaires en Californie, mais il a en réalité été fabriqué dans l’Iowa, a déclaré Smith.

D’une certaine manière, West Des Moines est un endroit relativement efficace pour former un système d’IA puissant, en particulier par rapport aux centres de données de Microsoft en Arizona, qui consomment beaucoup plus d’eau pour la même demande informatique.

Donc, si vous développez des modèles d’IA au sein de Microsoft, vous devriez alors planifier votre formation dans l’Iowa plutôt qu’en Arizona, a déclaré Ren. En termes de formation, il n’y a aucune différence. En termes de consommation d’eau ou de consommation d’énergie, il y a une grande différence.

Pendant une grande partie de l’année, le temps dans l’Iowa est suffisamment frais pour que Microsoft puisse utiliser l’air extérieur pour assurer le bon fonctionnement du supercalculateur et évacuer la chaleur du bâtiment. Ce n’est que lorsque la température dépasse 29,3 degrés Celsius (environ 85 degrés Fahrenheit) qu’elle retire de l’eau, a déclaré l’entreprise dans un communiqué public.

Cela peut encore représenter beaucoup d’eau, surtout en été. En juillet 2022, le mois précédent OpenAI dit qu’il est terminé Lors de sa formation sur GPT-4, Microsoft a pompé environ 11,5 millions de gallons d’eau vers son cluster de centres de données de l’Iowa, selon le West Des Moines Water Works. Cela représentait environ 6 % de toute l’eau utilisée dans le quartier, qui fournit également de l’eau potable aux habitants de la ville.

En 2022, un document de West Des Moines Water Works indiquait que l’entreprise et le gouvernement de la ville n’envisageraient les futurs projets de centres de données de Microsoft que si ces projets pouvaient démontrer et mettre en œuvre une technologie permettant de réduire considérablement la consommation d’eau de pointe par rapport aux niveaux actuels afin de préserver l’approvisionnement en eau. pour les besoins résidentiels et autres besoins commerciaux.

Microsoft a déclaré jeudi qu’il travaillait directement avec les usines d’eau pour répondre à ses commentaires. Dans une déclaration écrite, la compagnie des eaux a déclaré que l’entreprise était un bon partenaire et qu’elle travaillait avec les autorités locales pour réduire son empreinte hydrique tout en répondant à ses besoins.

–

OBrien a rapporté de Providence, Rhode Island.

Associated Press et OpenAI ont un accord de licence qui permet d’utiliser une partie des archives de texte des AP pour former le grand modèle linguistique de l’entreprise technologique. AP reçoit des frais non divulgués pour l’utilisation de son contenu.