AI21 Labs revendique la construction de la prochaine phase du traitement du langage naturel

AI21 Labs, un laboratoire et une société de produits d’IA basés à Tel-Aviv, en Israël, affirme avoir développé un nouveau système appelé le système de connaissances et de langage de raisonnement modulaire, ou système MRKL (prononcé miracle), pour augmenter la puissance des grands modèles de langage, en les améliorant avec des experts en raisonnement discret comme les calculatrices en ligne et les convertisseurs de devises. Avec sa première implémentation, Jurassic-X, le système MRKL, comprend différents modèles de langage qu’il complète avec des sources de connaissances externes telles que des applications météo et Wikidata.

AI21 Labs est à la fois un laboratoire de recherche et une entreprise commerciale qui propose le traitement du langage naturel (TAL) en tant que service. Conseillé par le fondateur d’Udacity Sebastian Thrun, AI21 Labs a été cofondé en 2017 par le fondateur de Crowdx Ori Goshen, le professeur de l’Université de Stanford Yoav Shoham et le PDG de Mobileye Amnon Shashua. La société affirme que sa mission est de changer et de façonner la façon dont les gens lisent et écrivent en faisant de l’IA un partenaire de pensée pour les humains. AI21 Labs a développé des applications de langage d’IA comme Wordtune et Wordtune Read, avec la capacité de générer un langage naturel et de comprendre le sens.

L’année dernière, la société a lancé Jurassic-1, un modèle de langage autorégressif de 178 B paramètres, attirant plus de 10 000 développeurs. Alors que d’autres modèles de langage comme Jurassic-1, GPT-3 et d’autres offrent de nombreuses opportunités, ils sont également limités, faute de capacité à raisonner, à effectuer des opérations arithmétiques simples et à se connecter à des sources de données en direct. Avec un système MRKL comme Jurassic-X, les utilisateurs bénéficient des méga modèles de langage existants sans en subir les inconvénients.

Publicis Groupe, une agence de publicité et de marketing, collabore avec AI21 Labs en tant que partenaire de conception pour Jurassic-X. Selon Shoham, les deux sociétés travailleront ensemble pour créer une expérience utilisateur fantastique pour la nouvelle architecture. Publicis Groupe assurera la direction créative de l’équipe de conception d’AI21 Labs, qui comprend plusieurs designers hautement qualifiés. Cette collaboration fait partie d’un effort continu des deux sociétés pour permettre aux spécialistes du marketing et aux marques d’exploiter plus facilement la puissance de l’intelligence artificielle (IA). En s’associant, ils espèrent offrir aux utilisateurs des applications mieux personnalisées.

Augmenter les modèles de langage

La première implémentation du framework MRKL a été dévoilée sous le nom de Jurassic-X et est disponible sur AI21 Studio, une plateforme de développement offrant un accès immédiat à Jurassic-1. Le système MRKL comprend différents modèles de langage complétés par des sources de connaissances externes et des experts en raisonnement symbolique. Shoham a déclaré que ce nouveau système est la prochaine évolution de la PNL qui révolutionnera la façon dont l’IA traite la façon dont les humains parlent.

Il est impossible pour les modèles de langage pré-formés de suivre les informations dynamiques telles que les taux de change fluctuants, les prévisions météorologiques et les sources constamment mises à jour comme Wikidata. De cette manière, les modèles de langage actuels sont en deçà de leur véritable potentiel : une interface en langage naturel à usage général, qui reçoit une grande variété d’entrées en langage naturel pertinentes pour des besoins en temps réel, et qui répond de manière similaire, en langage naturel, dit Shoham.

Pour augmenter les modèles de langage et les améliorer avec de larges compétences, Jurassic-X a été développé pour remédier aux faiblesses des méga modèles comme Open AIs GPT-3 et Jurassic-1. La société affirme que Jurassic-X permet aux entreprises de brancher leur base de données et d’extraire des informations en utilisant un langage libre. Jurassic-X aide également à la génération de texte en combinant un modèle de langage puissant avec un accès à Wikidata, selon Shoham.

Il a déclaré que Jurassic-X peut répondre à des opérations mathématiques non triviales formulées en langage naturel avec la combinaison d’un modèle de langage et d’une calculatrice, ajoutant qu’il simplifie également les questions complexes, répond aux sous-questions et rassemble la réponse.

À quoi s’attendre

Alors que l’entreprise continue d’évoluer vers une économie plus dépendante du numérique, la PNL devient de plus en plus cruciale. Shoham a déclaré que l’IA est géniale, mais que le monde est encore loin de capturer une véritable intelligence. AI21 Labs dit qu’il vise à se rapprocher un peu plus dans la quête pour construire des modèles d’IA plus précis.