Le génie s’échappe : Stanford copie l’IA ChatGPT pour moins de 600 $

Il y a six mois, seuls les chercheurs et les boffins suivaient le développement de grands modèles de langage. Mais le lancement de ChatGPT à la fin de l’année dernière a envoyé une fusée dans le dos de l’humanité : les machines sont désormais capables de communiquer d’une manière à peu près indiscernable des humains. Ils sont capables d’écrire du texte et même du code de programmation dans un éventail étourdissant de domaines en quelques secondes, souvent d’un niveau très élevé. Ils s’améliorent à un rythme fulgurant, comme l’illustre le lancement de GPT-4, et ils sont susceptibles de transformer fondamentalement la société humaine comme peu d’autres technologies pourraient le faire, en automatisant potentiellement une gamme de tâches professionnelles, en particulier chez les cols blancs que les gens auraient pu avoir auparavant. pensé comme impossible.

De nombreuses autres sociétés, notamment Google, Apple, Meta, Baidu et Amazon, entre autres, ne sont pas trop loin derrière, et leurs IA vont bientôt affluer sur le marché, attachées à toutes les applications et tous les appareils possibles. Les modèles de langage sont déjà dans votre moteur de recherche si vous êtes un utilisateur de Bing, et ils seront bientôt dans le reste. Ils seront dans votre voiture, votre téléphone, votre téléviseur et attendront à l’autre bout de la ligne chaque fois que vous essaierez d’appeler une entreprise. Bientôt, vous les verrez dans des robots.

Un petit point de réconfort est qu’OpenAI, et le reste de ces grandes entreprises, sont conscients du potentiel insensé de ces machines pour le spam, la désinformation, la création de logiciels malveillants, le harcèlement ciblé et toutes sortes d’autres cas d’utilisation dont la plupart des gens peuvent convenir qu’ils feraient le monde. un endroit pire. Ils passent des mois et des mois à travailler pour réduire ces capacités manuellement avant le lancement. Le PDG d’OpenAI, Sam Altman, est l’un des nombreux à s’inquiéter du fait que les gouvernements n’agissent pas assez rapidement pour mettre des clôtures autour des IA au nom du bien public.

Mais qu’en est-il d’un modèle de langage que vous pouvez construire vous-même pour 600 bucks ? Une équipe de chercheurs de Stanford a fait exactement cela, et ses performances impressionnantes montrent à quelle vitesse tout ce secteur, et ses capacités impressionnantes, pourraient rapidement devenir incontrôlables.

Une équipe de recherche de Stanford a commencé avec le modèle de langage open source LLaMA 7B de Meta, le plus petit et le moins cher de plusieurs modèles LLaMA disponibles. Pré-formé sur un billion de « jetons », ce petit modèle de langage avait une certaine quantité de capacités intégrées, mais il serait considérablement en retard sur ChatGPT dans la plupart des tâches ; le coût principal, et en fait le principal avantage concurrentiel, dans les modèles GPT provient en grande partie de l’énorme quantité de temps et de main-d’œuvre qu’OpenAI a consacrés à la post-formation. C’est une chose d’avoir lu un milliard de livres, mais c’en est une autre d’avoir parcouru de grandes quantités de paires de questions-réponses qui enseignent à ces IA quel sera leur véritable travail.

Ainsi, avec le modèle LLaMA 7B opérationnel, l’équipe de Stanford a alors essentiellement demandé à GPT de prendre 175 paires instruction/sortie écrites par l’homme, et de commencer à en générer davantage dans le même style et format, 20 à la fois. Cela a été automatisé grâce à l’une des API fournies par OpenAI, et en peu de temps, l’équipe a eu quelque 52 000 exemples de conversations à utiliser dans la post-formation du modèle LLaMA. La génération de ces données de formation en masse coûte moins de 500 USD.

Ensuite, ils ont utilisé ces données pour affiner le modèle LLaMA, un processus qui a pris environ trois heures sur huit ordinateurs de traitement cloud A100 de 80 Go. Cela coûte moins de 100 $ US.

Ensuite, ils ont testé le modèle résultant, qu’ils ont appelé Alpaca, par rapport au modèle de langage sous-jacent de ChatGPT dans divers domaines, notamment la rédaction d’e-mails, les médias sociaux et les outils de productivité. Alpaca a remporté 90 de ces tests, GPT en a remporté 89.

« Nous avons été assez surpris par ce résultat compte tenu de la petite taille du modèle et de la quantité modeste de données suivant les instructions », écrit l’équipe. « En plus de tirer parti de cet ensemble d’évaluation statique, nous avons également testé le modèle Alpaca de manière interactive et avons constaté qu’Alpaca se comporte souvent de la même manière que text-davinci-003 [GPT-3.5] sur un ensemble varié d’entrées. Nous reconnaissons que notre évaluation peut être limitée dans son ampleur et sa diversité. »

L’équipe a poursuivi en disant qu’elle aurait probablement pu faire cela moins cher si elle avait cherché à optimiser le processus. Il convient également de noter que toute personne souhaitant reproduire une IA a désormais accès au GPT 4.0 beaucoup plus performant, ainsi qu’à plusieurs modèles LLaMA plus puissants à utiliser comme base, et il n’est certainement pas nécessaire de s’arrêter à 52 000 questions.

L’équipe de Stanford a publié les 52 000 questions utilisées dans cette recherche, ainsi que le code pour en générer davantage, et le code utilisé pour affiner le modèle LLaMA, sur Github. L’équipe note que « nous n’avons pas encore affiné le modèle Alpaca pour qu’il soit sûr et inoffensif », et demande à quiconque en crée un de rendre compte des problèmes de sécurité et d’éthique qu’il trouve.

Alors, qu’est-ce qui empêche pratiquement quiconque de créer sa propre IA pour animaux de compagnie maintenant, pour une centaine de dollars environ, et de l’entraîner comme bon lui semble ? Eh bien, les conditions de service d’OpenAI disent « vous ne pouvez pas … utiliser la sortie des services pour développer des modèles qui concurrencent OpenAI ». Et Meta dit qu’il ne permet aux chercheurs universitaires d’utiliser LLaMA que sous des licences non commerciales à ce stade, bien que ce soit un point discutable, puisque l’ensemble du modèle LLaMA a été divulgué sur 4chan une semaine après son annonce.

Oh, et un autre groupe dit qu’il a réussi à éliminer le coût du cloud computing, en publiant plus de code sur Github pouvant fonctionner sur un Raspberry Pi, et en terminant le processus de formation en cinq heures sur une seule carte graphique nVidia RTX 4090 haut de gamme.

Qu’est-ce-que tout cela veut dire? Eh bien, cela signifie qu’un nombre illimité de modèles de langage incontrôlés peuvent désormais être mis en place par des personnes ayant des connaissances en apprentissage automatique qui ne se soucient pas des termes et conditions ou du piratage de logiciels pour des cacahuètes.

Cela brouille également l’eau pour les entreprises commerciales d’IA qui travaillent à développer leurs propres modèles de langage ; si tant de temps et de dépenses sont engagés dans la phase post-formation, et que ce travail peut être plus ou moins volé dans le temps qu’il faut pour répondre à 50 ou 100 000 questions, est-il logique pour les entreprises de continuer à dépenser cet argent ?

Et pour le reste d’entre nous, eh bien, c’est difficile à dire, mais les capacités impressionnantes de ce logiciel pourraient certainement être utiles à un régime autoritaire, ou à une opération de phishing, ou à un spammeur, ou à un certain nombre d’autres individus douteux.

Le génie est sorti de la bouteille, et il semble qu’il soit déjà incroyablement facile à reproduire et à réentraîner. Accrochez-vous à vos chapeaux.

Source : Stanford via l’IA expliquée