ChatGPT et l’IA générative sont en plein essor, mais les coûts peuvent être extraordinaires

Avant que ChatGPT d’OpenAI n’émerge et ne capte l’attention du monde pour sa capacité à créer des phrases convaincantes, une petite startup appelée Latitude épatait les consommateurs avec son jeu AI Dungeon qui leur permettait d’utiliser l’intelligence artificielle pour créer des contes fantastiques basés sur leurs invites.

Mais à mesure que AI Dungeon devenait plus populaire, le PDG de Latitude, Nick Walton, a rappelé que le coût de maintenance du jeu de rôle basé sur du texte avait commencé à monter en flèche. Le logiciel de génération de texte d’AI Dungeon était alimenté par la technologie de langage GPT offerte par le laboratoire de recherche sur l’IA soutenu par Microsoft, OpenAI. Plus les gens jouaient à AI Dungeon, plus la facture que Latitude devait payer à OpenAI était importante.

Pour compliquer la situation, Walton a également découvert que les spécialistes du marketing de contenu utilisaient AI Dungeon pour générer une copie promotionnelle, une utilisation d’AI Dungeon que son équipe n’avait jamais prévue, mais qui a fini par augmenter la facture d’IA de l’entreprise.

À son apogée en 2021, Walton estime que Latitude dépensait près de 200 000 $ par mois sur le soi-disant logiciel d’IA générative d’OpenAI et Amazon Web Services afin de suivre les millions de requêtes d’utilisateurs qu’il devait traiter chaque jour.

« Nous avons plaisanté en disant que nous avions des employés humains et que nous avions des employés IA, et nous avons dépensé à peu près autant pour chacun d’eux », a déclaré Walton. « Nous avons dépensé des centaines de milliers de dollars par mois pour l’IA et nous ne sommes pas une grosse startup, donc c’était un coût très énorme. »

À la fin de 2021, Latitude est passé de l’utilisation du logiciel GPT d’OpenAI à un logiciel de langage moins cher mais toujours capable proposé par la startup AI21 Labs, a déclaré Walton, ajoutant que la startup a également incorporé des modèles de langage open source et gratuits dans son service pour réduire le coût. Les factures d’IA génératives de Latitude sont tombées à moins de 100 000 dollars par mois, a déclaré Walton, et la startup facture aux joueurs un abonnement mensuel pour des fonctionnalités d’IA plus avancées afin de réduire les coûts.

Les factures coûteuses d’IA de Latitude soulignent une vérité désagréable derrière le récent boom des technologies d’IA génératives : le coût de développement et de maintenance du logiciel peut être extrêmement élevé, à la fois pour les entreprises qui développent les technologies sous-jacentes, généralement appelées un grand langage ou des modèles de base. , et ceux qui utilisent l’IA pour alimenter leur propre logiciel.

Le coût élevé de l’apprentissage automatique est une réalité inconfortable dans l’industrie, car les investisseurs en capital-risque envisagent des entreprises qui pourraient potentiellement valoir des billions, et de grandes entreprises telles que Microsoft, Meta et Google utilisent leur capital considérable pour développer une avance dans la technologie que les plus petits challengers ne peut pas rattraper.

Mais si la marge des applications d’IA est en permanence inférieure aux marges précédentes des logiciels en tant que service, en raison du coût élevé de l’informatique, cela pourrait freiner le boom actuel.

Le coût élevé de la formation et de « l’inférence » exécutant de grands modèles de langage est un coût structurel qui diffère des booms informatiques précédents. Même lorsque le logiciel est construit ou formé, il nécessite toujours une énorme puissance de calcul pour exécuter de grands modèles de langage, car ils effectuent des milliards de calculs chaque fois qu’ils renvoient une réponse à une invite. En comparaison, la diffusion d’applications ou de pages Web nécessite beaucoup moins de calculs.

Ces calculs nécessitent également du matériel spécialisé. Bien que les processeurs informatiques traditionnels puissent exécuter des modèles d’apprentissage automatique, ils sont lents. La plupart des formations et des inférences se déroulent désormais sur des processeurs graphiques, ou GPU, qui étaient initialement destinés aux jeux 3D, mais sont devenus la norme pour les applications d’IA car ils peuvent effectuer de nombreux calculs simples simultanément.

Nvidia fabrique la plupart des GPU pour l’industrie de l’IA, et sa puce principale de centre de données coûte 10 000 $. Les scientifiques qui construisent ces modèles plaisantent souvent en disant qu’ils « faire fondre les GPU. »

Les analystes et les technologues estiment que le processus critique de formation d’un grand modèle de langage tel que le GPT-3 d’OpenAI pourrait coûter plus de 4 millions de dollars. Des modèles de langage plus avancés pourraient coûter plus de « plusieurs millions de dollars » à former, a déclaré Rowan Curran, un analyste de Forrester qui se concentre sur l’IA et l’apprentissage automatique.

Le plus grand modèle LLaMA de Meta publié le mois dernier, par exemple, a utilisé 2 048 GPU Nvidia A100 pour s’entraîner sur 1,4 billion de jetons (750 mots représentent environ 1 000 jetons), ce qui a pris environ 21 jours, a déclaré la société lors de la publication du modèle le mois dernier.

Il a fallu environ 1 million d’heures GPU pour s’entraîner. Avec les prix dédiés d’AWS, cela coûterait plus de 2,4 millions de dollars. Et à 65 milliards de paramètres, il est plus petit que les modèles GPT actuels d’OpenAI, comme ChatGPT-3, qui compte 175 milliards de paramètres.

Clément Delangue, PDG de la startup d’intelligence artificielle Hugging Face, a déclaré que le processus de formation du grand modèle linguistique Bloom de l’entreprise avait pris plus de deux mois et demi et nécessitait l’accès à un supercalculateur qui était « quelque chose comme l’équivalent de 500 GPU ». « 

Les organisations qui construisent de grands modèles de langage doivent être prudentes lorsqu’elles recyclent le logiciel, ce qui contribue à améliorer ses capacités, car cela coûte très cher, a-t-il déclaré.

« Il est important de réaliser que ces modèles ne sont pas formés tout le temps, comme tous les jours », a déclaré Delangue, notant que c’est pourquoi certains modèles, tels que ChatGPT, n’ont pas connaissance des événements récents. Les connaissances de ChatGPT s’arrêtent en 2021, a-t-il déclaré.

« Nous sommes en train de faire une formation en ce moment pour la version deux de Bloom et cela ne coûtera pas plus de 10 millions de dollars pour se recycler », a déclaré Delangue. « C’est donc le genre de chose que nous ne voulons pas faire chaque semaine. »

Pour utiliser un modèle d’apprentissage automatique formé pour faire des prédictions ou générer du texte, les ingénieurs utilisent le modèle dans un processus appelé « inférence », qui peut être beaucoup plus coûteux que la formation, car il peut être nécessaire de l’exécuter des millions de fois pour un produit populaire.

Pour un produit aussi populaire que ChatGPT, dont la société d’investissement UBS estime avoir atteint 100 millions d’utilisateurs actifs par mois en janvier, Curran estime qu’il aurait pu coûter 40 millions de dollars à OpenAI pour traiter les millions d’invites introduites dans le logiciel ce mois-là.

Les coûts montent en flèche lorsque ces outils sont utilisés des milliards de fois par jour. Les analystes financiers estiment que le chatbot Bing AI de Microsoft, qui est alimenté par un modèle OpenAI ChatGPT, a besoin d’au moins 4 milliards de dollars d’infrastructure pour fournir des réponses à tous les utilisateurs de Bing.

Dans le cas de Latitude, par exemple, alors que la startup n’avait pas à payer pour former le modèle de langage OpenAI sous-jacent auquel elle accédait, elle devait tenir compte des coûts d’inférence qui s’apparentaient à « un demi-cent par appel ».  » sur « quelques millions de requêtes par jour », a déclaré un porte-parole de Latitude.

« Et j’étais relativement conservateur », a déclaré Curran à propos de ses calculs.

Afin de semer les graines du boom actuel de l’IA, les capital-risqueurs et les géants de la technologie ont investi des milliards de dollars dans des startups spécialisées dans les technologies d’IA génératives. Microsoft, par exemple, a investi jusqu’à 10 milliards de dollars dans le superviseur de GPT, OpenAI, selon les médias en janvier. La branche de capital-risque de Salesforce, Salesforce Ventures, a récemment lancé un fonds de 250 millions de dollars qui s’adresse aux startups génératives d’IA.

En tant qu’investisseur Semil Shah des sociétés de capital-risque Haystack et Lightspeed Venture Partners décrit sur Twitter, « les dollars VC sont passés de la subvention de votre trajet en taxi et de la livraison de burrito aux LLM et au calcul de l’IA générative. »

De nombreux entrepreneurs voient des risques à s’appuyer sur des modèles d’IA potentiellement subventionnés qu’ils ne contrôlent pas et qu’ils paient simplement à l’utilisation.

« Quand je parle à mes amis IA lors des conférences de démarrage, voici ce que je leur dis : ne dépendez pas uniquement d’OpenAI, de ChatGPT ou de tout autre grand modèle de langage », a déclaré Suman Kanuganti, fondateur de personal.ai, un chatbot actuellement en version bêta. mode. « Parce que les entreprises changent, elles appartiennent toutes à de grandes entreprises technologiques, n’est-ce pas? S’ils coupent l’accès, vous êtes parti. »

Des entreprises telles que la société de technologie d’entreprise Conversica étudient comment elles peuvent utiliser la technologie via le service cloud Azure de Microsoft à son prix actuellement réduit.

Alors que le PDG de Conversica, Jim Kaskade, a refusé de commenter le montant payé par la startup, il a concédé que le coût subventionné est le bienvenu car il explore la manière dont les modèles linguistiques peuvent être utilisés efficacement.

« S’ils essayaient vraiment d’atteindre le seuil de rentabilité, ils factureraient beaucoup plus », a déclaré Kaskade.

Il n’est pas clair si le calcul de l’IA restera cher à mesure que l’industrie se développe. Les entreprises qui fabriquent les modèles de base, les fabricants de semi-conducteurs et les startups voient tous des opportunités commerciales dans la réduction du prix d’exécution des logiciels d’IA.

Nvidia, qui détient environ 95 % du marché des puces IA, continue de développer des versions plus puissantes conçues spécifiquement pour l’apprentissage automatique, mais les améliorations de la puissance totale des puces dans l’industrie ont ralenti ces dernières années.

Pourtant, le PDG de Nvidia, Jensen Huang, estime que dans 10 ans, l’IA sera « un million de fois » plus efficace grâce aux améliorations non seulement des puces, mais aussi des logiciels et d’autres composants informatiques.

« La loi de Moore, dans ses meilleurs jours, aurait été multipliée par 100 en une décennie », a déclaré Huang le mois dernier lors d’un appel aux résultats. « En proposant de nouveaux processeurs, de nouveaux systèmes, de nouvelles interconnexions, de nouveaux cadres et algorithmes, et en travaillant avec des scientifiques des données, des chercheurs en IA sur de nouveaux modèles, sur toute cette période, nous avons rendu le traitement des grands modèles de langage un million de fois plus rapide. »

Certaines startups se sont concentrées sur le coût élevé de l’IA en tant qu’opportunité commerciale.

« Personne ne disait ‘Vous devriez construire quelque chose qui a été spécialement conçu pour l’inférence.’ À quoi cela ressemblerait-il ? » a déclaré Sid Sheth, fondateur de D-Matrix, une startup qui construit un système pour économiser de l’argent sur l’inférence en effectuant plus de traitement dans la mémoire de l’ordinateur, par opposition à un GPU.

« Les gens utilisent aujourd’hui des GPU, des GPU NVIDIA, pour faire la plupart de leurs inférences. Ils achètent les systèmes DGX vendus par NVIDIA qui coûtent très cher. Le problème avec l’inférence est que la charge de travail augmente très rapidement, ce qui est arrivé à ChatGPT. , il est passé à un million d’utilisateurs en cinq jours. Il est impossible que votre capacité GPU puisse suivre cela car il n’a pas été conçu pour cela. Il a été conçu pour la formation, pour l’accélération graphique », a-t-il déclaré.

Delangue, le PDG de HuggingFace, estime que davantage d’entreprises seraient mieux servies en se concentrant sur des modèles plus petits et spécifiques qui sont moins chers à former et à exécuter, au lieu des grands modèles linguistiques qui attirent le plus l’attention.

Pendant ce temps, OpenAI a annoncé le mois dernier qu’il réduisait le coût pour les entreprises d’accéder à ses modèles GPT. Il facture maintenant un cinquième de cent pour environ 750 mots de sortie.

Les prix plus bas d’OpenAI ont attiré l’attention du fabricant de donjons AI Latitude.

« Je pense qu’il est juste de dire que c’est définitivement un énorme changement que nous sommes ravis de voir se produire dans l’industrie et nous évaluons constamment comment nous pouvons offrir la meilleure expérience aux utilisateurs », a déclaré un porte-parole de Latitude. « Latitude va continuer à évaluer tous les modèles d’IA pour s’assurer que nous avons le meilleur jeu qui soit. »

Montre: « iPhone Moment » de l’IA – Séparer le battage publicitaire de ChatGPT et la réalité