La chasse désespérée au prix le plus indispensable d’AI Booms
Autrement, les titulaires gagneront tous, a déclaré M. Conrad.
Les investisseurs en capital-risque ont un objectif similaire. Ce mois-ci, Index Ventures a conclu un partenariat avec Oracle pour fournir gratuitement un mélange de puces Nvidias H100 et une version plus ancienne, appelée A100, à ses très jeunes sociétés de portefeuille.
Erin Price Wright, un investisseur d’Index Ventures, a déclaré que la société avait vu ses start-ups avoir du mal à naviguer dans le processus compliqué consistant à obtenir de la puissance de calcul et à se retrouver sur des listes d’attente pouvant aller jusqu’à neuf mois. Deux entreprises sont prêtes à utiliser le nouveau programme de l’entreprise, d’autres ayant exprimé leur intérêt.
Avant la pénurie, George Sivulka, directeur général de Hebbia, un fabricant de logiciels de productivité IA, a simplement demandé à son fournisseur de cloud plus d’instances, ou des serveurs virtuels pleins de GPU, à mesure que l’entreprise se développait. Aujourd’hui, dit-il, ses contacts au sein des sociétés cloud ne répondent pas à ses demandes ou ne l’inscrivent pas sur une liste d’attente de quatre mois. Il a eu recours à des clients et à d’autres connexions pour faire valoir ses arguments auprès des sociétés de cloud computing. Et il est constamment à la recherche de plus.
C’est presque comme parler de drogue : je connais un type qui a le H100, dit-il.
Il y a plusieurs mois, des ingénieurs d’Hebbia ont installé un serveur avec des GPU moins efficaces dans les bureaux de l’entreprise à Manhattan, ont garé la machine dans un placard et l’ont utilisée pour travailler sur des projets plus petits. Les unités de refroidissement liquide empêchent le serveur de surchauffer, a déclaré M. Sivulka, mais elles sont bruyantes.
On a fermé la porte, dit-il. Personne ne s’assoit à côté.
La pénurie a créé un contraste saisissant entre les nantis et les démunis. En juin, Inflection AI, une start-up d’IA basée à Palo Alto, en Californie, a annoncé avoir acquis 22 000 puces Nvidias H100. Il a également déclaré avoir levé 1,3 milliard de dollars auprès de Microsoft, Nvidia et d’autres. Mustafa Suleyman, directeur général d’Inflections, a déclaré dans une interview que la société prévoyait de consacrer au moins 95 % des fonds aux GPU.