Le dernier modèle d’IA de Google utilise près de cinq fois plus de données textuelles pour la formation que son prédécesseur

Le nouveau grand modèle de langage de Google, que la société a annoncé la semaine dernière, utilise près de cinq fois plus de données de formation que son prédécesseur de 2022, ce qui lui permet d’effectuer des tâches de codage, de mathématiques et d’écriture créative plus avancées, a appris CNBC.

PaLM 2, le nouveau modèle de grand langage à usage général (LLM) de la société qui a été dévoilé à Google I/O, est formé sur 3,6 billions de jetons, selon la documentation interne consultée par CNBC. Les jetons, qui sont des chaînes de mots, sont un élément de base important pour la formation des LLM, car ils apprennent au modèle à prédire le mot suivant qui apparaîtra dans une séquence.

La version précédente de Google de PaLM, qui signifie Pathways Language Model, a été publiée en 2022 et formée sur 780 milliards de jetons.

Alors que Google a été désireux de montrer la puissance de sa technologie d’intelligence artificielle et comment elle peut être intégrée dans la recherche, les e-mails, le traitement de texte et les feuilles de calcul, l’entreprise n’a pas voulu publier la taille ou d’autres détails de ses données de formation. OpenAI, le créateur de ChatGPT soutenu par Microsoft, a également gardé secrètes les spécificités de son dernier LLM appelé GPT-4.

La raison de l’absence de divulgation, selon les entreprises, est la nature concurrentielle de l’entreprise. Google et OpenAI se précipitent pour attirer les utilisateurs qui souhaitent rechercher des informations à l’aide de chatbots conversationnels plutôt que de moteurs de recherche traditionnels.

Mais alors que la course aux armements de l’IA s’intensifie, la communauté des chercheurs exige une plus grande transparence.

Depuis le dévoilement de PaLM 2, Google a déclaré que le nouveau modèle était plus petit que les LLM précédents, ce qui est important car cela signifie que la technologie de l’entreprise devient plus efficace tout en accomplissant des tâches plus sophistiquées. PaLM 2, selon des documents internes, est formé sur 340 milliards de paramètres, une indication de la complexité du modèle. Le PaLM initial a été formé sur 540 milliards de paramètres.

Un porte-parole de Google a refusé de commenter.

Google a déclaré dans un article de blog sur PaLM 2 que le modèle utilise une « nouvelle technique » appelée « mise à l’échelle optimale pour le calcul ». Cela rend le LLM « plus efficace avec de meilleures performances globales, y compris une inférence plus rapide, moins de paramètres à servir et un coût de service inférieur ».

En annonçant PaLM 2, Google a confirmé les précédents rapports de CNBC selon lesquels le modèle est formé dans 100 langues et effectue un large éventail de tâches. Il est déjà utilisé pour alimenter 25 fonctionnalités et produits, y compris le chatbot expérimental Bard de la société. Il est disponible en quatre tailles, de la plus petite à la plus grande : Gecko, Otter, Bison et Unicorn.

PaLM 2 est plus puissant que n’importe quel modèle existant, basé sur des divulgations publiques. Le LLM de Facebook appelé LLaMA, qu’il a annoncé en février, est formé sur 1,4 billion de jetons. La dernière fois qu’OpenAI a partagé la taille de formation de ChatGPT, c’était avec GPT-3, lorsque la société a déclaré qu’elle avait été formée sur 300 milliards de jetons à l’époque. OpenAI a publié GPT-4 en mars et a déclaré qu’il présentait des « performances de niveau humain » sur de nombreux tests professionnels.

LaMDA, une conversation LLM que Google a introduite il y a deux ans et vantée en février aux côtés de Bard, a été formée sur 1,5 billion de jetons, selon les derniers documents consultés par CNBC.

Alors que les nouvelles applications d’IA se généralisent rapidement, les controverses entourant la technologie sous-jacente deviennent plus vives.

El Mahdi El Mhamdi, un scientifique senior de Google Research, a démissionné en février en raison du manque de transparence de l’entreprise. Mardi, le PDG d’OpenAI, Sam Altman, a témoigné lors d’une audition du sous-comité judiciaire du Sénat sur la confidentialité et la technologie, et a convenu avec les législateurs qu’un nouveau système pour traiter l’IA était nécessaire.

« Pour une toute nouvelle technologie, nous avons besoin d’un nouveau cadre », a déclaré Altman. « Il est certain que des entreprises comme la nôtre portent une grande responsabilité pour les outils que nous mettons dans le monde. »

Jordan Novet de CNBC a contribué à ce rapport.

MONTRE: Le PDG d’OpenAI, Sam Altman, appelle à une surveillance de l’IA