PaLM : les voies de Google vers un modèle de langage d’IA avancé pour le marché de la technologie

PaLM aide à faire évoluer la modélisation du langage de l’IA avec une combinaison de Google et de Pathways

Le géant technologique de la Silicon Valley, Google, a lancé PaLM ou Pathways Language Model pour introduire le modèle de langage IA de nouvelle génération sur le marché mondial de la technologie. Google a ajouté une nouvelle architecture d’intelligence artificielle avec des objectifs stratégiques pour améliorer la qualité du modèle de langage IA via PaLM. Explorons les fonctionnalités et les processus de PaLM qui ont créé de nombreuses voies pour que Google soit la société leader sur le marché de la technologie.

Les voies sont configurées pour évoluer jusqu’à 540 milliards de paramètres pour les performances exceptionnelles de Google pour PaLM. Il est connu comme le modèle unique qui peut se généraliser à plusieurs domaines de manière efficace et efficiente. Googles Pathways se concentre sur la création de calculs distribués pour les accélérateurs. PaLM consiste en un modèle de transformateur de décodeur uniquement formé avec le système Pathways. Google a annoncé que PaLM a réussi à atteindre des performances de pointe en quelques prises de vue sur plusieurs tâches différentes.

PaLM a démontré la première utilisation à grande échelle du système Pathways pour adapter la formation à la plus grande configuration de système basée sur TPU connue sous le nom de puces 6144. Le modèle de langue d’IA dispose également d’un ensemble de données d’apprentissage composé d’une combinaison d’ensembles de données en anglais et d’autres ensembles de données multilingues. Il comprend des documents Web de haute qualité, des conversations, des livres, du code GitHub, Wikipedia et bien d’autres avec un vocabulaire sans perte. Le vocabulaire sans perte est connu pour préserver les espaces et diviser les caractères Unicode hors vocabulaire en octets.

PaLM a montré de multiples capacités révolutionnaires sur différentes tâches difficiles telles que la compréhension et la génération du langage, les tâches liées au code arithmétique en plusieurs étapes, le raisonnement de bon sens, la traduction et bien d’autres. Il a atteint ses performances sur des ensembles NLP multilingues pour résoudre certains problèmes complexes. Le marché mondial de la technologie peut tirer parti de PaLM pour distinguer la cause et l’effet, les combinaisons conceptuelles, les différents jeux et bien d’autres. PaLM est également capable de générer des explications détaillées pour différents scénarios à l’aide d’une inférence logique en plusieurs étapes, d’un langage approfondi, d’une connaissance du monde, etc.

Google et Pathways ont créé PaLM sur la base d’une architecture de modèle de transformateur standard tout en utilisant une configuration de décodeur telle que l’activation SwiGLU, des couches parallèles, des intégrations RoPE et des intégrations d’entrée-sortie partagées, une attention multi-requêtes, ainsi qu’aucun biais ni vocabulaire. . Cela étant dit, PaLM est destiné à servir de base solide au modèle de langage IA de Google et Pathways.

Partagez cet article

Faites le partage

à propos de l’auteur

Plus d’infos sur l’auteur