Les investisseurs en IA courtisent les startups avec des clusters informatiques massifs
Le PDG de Nvidia, Jensen Huang, montré ici tenant un processeur conçu pour les centres de données IA. Les GPU A100 et H100 de la société sont encore plus demandés par les sociétés d’IA.
AFP via Getty Images
L’année dernière, Nat Friedman, entrepreneur devenu investisseur, s’est retrouvé involontairement à devenir courtier en puces informatiques à plein temps pour de nouvelles entreprises d’IA. Il y a eu des semaines où j’ai passé la plupart de mon temps à trouver des GPU pour les gens, a-t-il déclaré. Forbes, faisant référence aux unités de traitement graphique qui alimentent l’analyse des données de l’IA. Demander aux fondateurs pour quoi ils avaient besoin d’aide, c’était le problème numéro un.
Friedman, l’ancien PDG de la plateforme de développement GitHub de Microsoft, et son partenaire d’investissement fréquent Daniel Gross, qui a vendu sa première startup à Apple, appelaient tellement de faveurs aux fournisseurs de puces qu’au milieu de l’année, ils ont décidé qu’ils feraient mieux d’embaucher une équipe de ingénieurs et dépensant neuf chiffres d’avance pour construire leur propre supercalculateur. Ils gèrent désormais le cluster Andromeda, le nom de plusieurs stocks informatiques totalisant plus de 4 000 GPU, qu’ils mettent à la disposition des entreprises de leur portefeuille pour un prix inférieur au prix du marché. Depuis son annonce en juin dernier, d’autres investisseurs technologiques ont emboîté le pas en proposant des offres de soutien aux entreprises. Index Ventures a annoncé l’automne dernier un programme visant à donner aux startups un accès gratuit à un cluster géré par Oracle. Microsoft a réservé plusieurs milliers de puces à l’usage des startups dans sa branche capital-risque M12, l’accélérateur de startups Y Combinator et une poignée d’autres fonds de démarrage. Conviction Partners gère également un cluster plus petit, a déclaré la fondatrice Sarah Guo Forbes.
Andreessen Horowitz négocie avec des fournisseurs de puces pour mettre en place un programme informatique, selon trois sources. Une personne ayant une connaissance directe a déclaré que la société visait des dizaines de milliers de GPU pour une offre qui ferait pâlir tout le reste en comparaison. La société a refusé de commenter.
Il est important pour l’écosystème de la Silicon Valley que l’étranger surperformant et la personne travaillant chez Google aient accès à des quantités similaires d’opportunités et de calcul, a déclaré Gross. Forbes dans une interview. Ce n’était tout simplement pas le cas dans l’IA.
Pourquoi une industrie si proche des technologies de pointe stagne-t-elle autant ?
En tant que PDG de GitHub de 2018 à 2021, Friedman était chargé d’accumuler plus de 4 000 GPU pour créer GitHub Copilot, un outil qui aide les ingénieurs logiciels à écrire du code qui est aujourd’hui l’un des premiers succès commerciaux de l’IA générative avec des revenus supérieurs à 100 millions de dollars. La demande n’a fait que s’intensifier à mesure que les puces sont devenues l’épine dorsale de la formation de modèles d’IA tels que ChatGPT d’OpenAI et son successeur GPT-4. Le mois dernier, Mark Zuckerberg a annoncé son intention d’acquérir 350 000 H100 (puce haut de gamme de Nvidia vendue au détail à plus de 30 000 dollars pièce) d’ici la fin de l’année pour faire progresser les efforts de Metas AI. La forte demande a propulsé Nvidia vers une capitalisation boursière de mille milliards de dollars. Pendant ce temps, Google, Amazon et les sociétés de semi-conducteurs traditionnelles comme AMD s’efforcent de produire en masse leurs propres puces d’IA, mais se heurtent à des contraintes de chaîne d’approvisionnement car elles sont toutes redevables à un seul producteur de semi-conducteurs.
L’offre limitée a à son tour entravé le progrès technique. Les startups, en particulier, sont désavantagées. Même si des sociétés comme Microsoft Azure ou Amazon Web Services disposaient de capacités informatiques disponibles à vendre, elles sont plus susceptibles de faire affaire avec un gros client. La façon dont vous réservez une partie non triviale de GPU est que vous devez les réserver pour plusieurs années à la fois et payer d’avance une partie non triviale, a déclaré Friedman. Si vous n’avez collecté que quelques dizaines de millions, vous ne pouvez même pas faire cela.
Andromeda fonctionne donc effectivement comme un gros client capable d’assumer un contrat à long terme. Friedman et Gross répartissent l’accès à celui-ci entre des dizaines de sociétés de portefeuille, notamment le cloneur de voix ElevenLabs et le générateur de vidéo Pika, et le facturent en fonction de l’utilisation. Nous facturons une très petite marge pour couvrir nos coûts d’exploitation, mais nous gagnons notre argent en aidant les startups à réussir, a déclaré Friedman. Le prix était compétitif, a déclaré Demi Guo, PDG de Pika, permettant à la startup, qui initialement se concentrait uniquement sur la création d’un moteur pour générer des vidéos de style anime, d’expérimenter des vidéos réalistes. Pouvoir le faire a accéléré les progrès de l’entreprise à un moment où Guo a déclaré que beaucoup de ses pairs en démarrage d’IA faisaient du surplace en attendant d’accéder au calcul. Gross appelle cela un mécanisme de dilatation du temps : ce dont vous avez plus que tout besoin, c’est du temps. Le calcul sert à accélérer le temps où vous pouvez prendre un modèle qui allait prendre un an à former et qui a été réalisé sur notre cluster en une semaine.
Mais gérer un cluster n’est pas une mince affaire. Friedman et Gross ont payé des frais initiaux à neuf chiffres pour louer les puces, dont la plupart proviennent du fournisseur de cloud computing CoreWeave, une startup de 7 milliards de dollars qu’ils ont soutenue. Le duo est également responsable de l’entretien. Cela a nécessité l’embauche d’une équipe d’ingénieurs pour gérer le superordinateur et développer un logiciel permettant aux startups de planifier elles-mêmes leurs réservations (Friedman et Gross ont contribué à une partie du code). Également nécessaire : des sous-traitants pour surveiller le centre de données à la recherche de GPU qui brûlent et meurent.
Toutes ces expérimentations sont possibles, a déclaré Gross, car lui et Friedman ont investi une proportion significativement plus élevée de leur argent personnel dans leur pratique axée sur l’IA par rapport aux normes de l’industrie. Ne pas être aussi soumis aux attentes des commanditaires leur a donné la liberté de renverser le manuel standard du capital-risque, a-t-il déclaré : Pourquoi une industrie si proche des technologies de pointe stagne-t-elle autant ?
Nat Friedman (à gauche) et Daniel Gross (à droite) ont lancé l’été dernier le cluster Andromeda, qui contient désormais plus de 4 000 GPU.
Nat Friedman et Daniel Gross
C’est une opération à l’échelle industrielle. Cela nécessite des nuits tardives, des matinées tôt et des week-ends sans sommeil, a déclaré Gross à propos du cluster Andromède. Si Nat et moi n’avions pas une décennie d’expérience dans la gestion de projets logiciels et matériels, cela serait difficile à gérer.
C’est l’une des raisons pour lesquelles les efforts d’autres entreprises pour fournir un support informatique ont été plus modestes. Index paie Oracle pour gérer l’infrastructure. Aller devoir embaucher toute une équipe de personnes pour gérer un cluster de serveurs ne semble tout simplement pas être la meilleure utilisation de notre temps, a déclaré notre partenaire Erin Price-Wright. Forbes. L’offre d’index sert de point d’entrée gratuit que les entreprises utilisent pendant environ trois mois à des fins de tests afin de mieux prévoir le nombre de GPU à acheter plus tard, a-t-elle déclaré. Y Combinator et M12 fonctionnent de la même manière en offrant un accès informatique gratuit pour une durée limitée grâce au partenariat avec Microsoft. Le programme est destiné à fournir un bac à sable pour l’expérimentation. Souvent, les startups utilisent les GPU pour publier leurs tout premiers prototypes, a déclaré Annie Pearl, vice-présidente de l’entreprise.
Nous avons réservé ce que nous pensions être un gros cluster, mais il s’avère que les gens ont besoin de plus.
Bien qu’il n’y ait aucune limite d’utilisation à Andromeda, celui-ci s’adresse également principalement aux startups d’amorçage et de série A en raison de sa taille actuelle, a déclaré Friedman. Aucun cluster n’est assez grand pour accompagner la croissance de votre entreprise, a déclaré Convictions Guo, notant que si une entreprise d’IA mûrit suffisamment pour avoir besoin de plusieurs milliers de puces, elle devra négocier directement avec les fournisseurs de cloud. Un certain nombre de fournisseurs de cloud spécialisés dans les GPU, tels que CoreWeave, Lambda Labs, Tether et Together, émergent pour aider à négocier des accords pour ces entreprises de taille moyenne.
Mais la plupart des investisseurs en IA Forbes a déclaré que la demande de GPU continue de dépasser l’offre. Et alors que les nouveaux modèles d’IA comme Anthropics Claude 2.0 et Google Gemini montrent des améliorations de performances par rapport à leurs prédécesseurs de plus petite taille, la plupart des grands laboratoires de recherche décident de continuer à construire des modèles plus grands. Anthropic a levé 750 millions de dollars le mois dernier lors d’un cycle de financement inhabituel, après avoir obtenu des milliards l’année dernière. Forbes a rapporté en août qu’une équipe d’anciens chercheurs de Meta cherchant à développer un modèle de langage d’IA pour la biologie prévoyait un besoin de 477 millions de dollars de capital au cours de ses trois premières années d’existence (dont plus de la moitié devait être consacrée au calcul).
La pénurie de GPU est peut-être en train de s’atténuer pour les utilisateurs qui n’ont besoin que de clusters plus petits, a déclaré Friedman, mais elle continue avec de gros clusters de milliers ou de dizaines de milliers de puces. Dans cet esprit, lui et Gross envisagent de transformer Andromeda en un supercalculateur encore plus gros qui pourrait être utile aux grandes entreprises. Nous avons réservé ce que nous pensions être un gros cluster, mais il s’avère que les gens ont besoin de plus, a déclaré Friedman. Nous explorons donc les prochains horizons ici et voyons s’il y a une place pour nous pour faire la différence.
PLUS DE FORBES