Comment Metas Llama 3 aura un impact sur l’avenir de l’IA – IBM Blog

En janvier 2024, Mark Zuckerberg, PDG de Meta, a annoncé dans une vidéo Instagram que Meta AI avait récemment commencé à entraîner Llama 3. Cette dernière génération de la famille LLaMa de grands modèles de langage (LLM) suit les modèles Llama 1 (initialement stylisés comme « LLaMA »). ) sortis en février 2023 et les modèles Llama 2 sortis en juillet.

Bien que des détails spécifiques (comme la taille des modèles ou les capacités multimodales) n’aient pas encore été annoncés, Zuckerberg a indiqué l’intention de Meta de continuer à ouvrir les modèles de base Llama en open source.

Poursuivez votre lecture pour en savoir plus sur ce que nous savons actuellement sur Llama 3 et comment cela pourrait affecter la prochaine vague d’avancées dans les modèles d’IA générative.

Quand sortira Llama 3 ?

Aucune date de sortie n’a été annoncée, mais il convient de noter que Llama 1 a mis trois mois à s’entraîner et Llama 2 a mis environ six mois à s’entraîner. Si la prochaine génération de modèles suivait un calendrier similaire, ils seraient commercialisés vers juillet 2024.

Cela dit, il est toujours possible que Meta alloue du temps supplémentaire pour affiner et garantir un bon alignement du modèle. L’accès croissant aux modèles d’IA générative donne du pouvoir à davantage d’entités que les seules entreprises, startups et amateurs : à mesure que les modèles open source deviennent plus puissants, il faut faire plus attention pour réduire le risque que les modèles soient utilisés à des fins malveillantes par de mauvais acteurs. Dans sa vidéo d’annonce, Zuckerberg a réitéré l’engagement de Meta en faveur de « la formation [models] de manière responsable et sûre. »

Llama 3 sera-t-il open source ?

Alors que Meta accordait un accès gratuit aux modèles Llama 1 au cas par cas aux instituts de recherche pour des cas d’utilisation exclusivement non commerciaux, le code Llama 2 et les poids des modèles ont été publiés avec une licence ouverte autorisant une utilisation commerciale pour toute organisation ayant moins de ressources. plus de 700 millions d’utilisateurs actifs mensuels. Bien qu’il y ait un débat quant à savoir si la licence de Llama 2 répond à la définition technique stricte de « open source », elle est généralement désignée comme telle. Aucune preuve disponible n’indique que Llama 3 sera libéré différemment.

Dans son annonce et dans la presse qui a suivi, Zuckerberg a réitéré l’engagement de Meta en faveur des licences ouvertes et de la démocratisation de l’accès à l’intelligence artificielle (IA). « J’ai tendance à penser que l’un des plus grands défis ici sera que si vous construisez quelque chose qui a vraiment de la valeur, cela finira par devenir très concentré », a déclaré Zuckerberg dans une interview avec Le bord (le lien réside en dehors d’ibm.com). « Alors que si vous le rendez plus ouvert, cela résoudra un large éventail de problèmes qui pourraient découler d’un accès inégal aux opportunités et à la valeur. C’est donc une grande partie de toute la vision open source.

Llama 3 atteindra-t-il l’intelligence générale artificielle (AGI) ?

La vidéo d’annonce de Zuckerberg mettait l’accent sur l’objectif à long terme de Meta de construire une intelligence artificielle générale (AGI), une étape de développement théorique de l’IA au cours de laquelle les modèles démontreraient une intelligence holistique égale (ou supérieure) à celle de l’intelligence humaine.

« Il est devenu plus clair que la prochaine génération de services nécessite la mise en place d’une intelligence générale complète », déclare Zuckerberg. « Créer les meilleurs assistants IA, des IA pour les créateurs, des IA pour les entreprises et bien plus encore, cela nécessite des progrès dans tous les domaines de l’IA, du raisonnement à la planification en passant par le codage, la mémoire et d’autres capacités cognitives. »

Cela ne signifie pas nécessairement que Llama 3 atteindra (ou même tentera d’atteindre) l’AGI. encore. Mais cela signifie que Meta aborde délibérément son développement LLM et d’autres recherches sur l’IA d’une manière qui, selon eux, pourrait donner lieu à l’AGI. finalement.

Llama 3 sera-t-il multimodal ?

Une tendance émergente en matière d’intelligence artificielle est IA multimodale : des modèles capables de comprendre et de fonctionner dans différents formats de données (ou modalités). Plutôt que de développer des modèles séparés pour traiter les données texte, code, audio, image ou même vidéo, de nouveaux modèles de pointe, comme Gemini de Google ou GPT-4V d’OpenAI, et des entrants open source comme LLaVa (Large Language and Vision Assistant) ), Adept ou Qwen-VL – peuvent passer de manière transparente entre les tâches de vision par ordinateur et de traitement du langage naturel (NLP).

Bien que Zuckerberg ait confirmé que Llama 3, comme Llama 2, inclura des capacités de génération de code, il n’a pas explicitement abordé d’autres capacités multimodales. Il a cependant expliqué comment il envisage l’intersection de l’IA et du Metaverse dans sa vidéo d’annonce de Llama 3 : « Les lunettes sont le facteur de forme idéal pour permettre à une IA de voir ce que vous voyez et d’entendre ce que vous entendez », a déclaré Zuckerberg, en référence à Meta. Lunettes intelligentes Ray-Ban. « Il est donc toujours disponible pour nous aider. »

Cela semble impliquer que les plans de Meta pour les modèles Llama, que ce soit dans la prochaine version de Llama 3 ou dans les générations suivantes, incluent l’intégration de données visuelles et audio aux côtés des données de texte et de code que les LLM gèrent déjà.

Cela semble également être une évolution naturelle dans la poursuite de l’AGI. « On peut se demander si l’intelligence générale s’apparente à l’intelligence humaine, ou si elle est humaine-plus, ou s’il s’agit d’une super intelligence d’un futur lointain », a-t-il déclaré dans son entretien avec Le bord. « Mais pour moi, l’important est en fait son ampleur, c’est-à-dire que l’intelligence possède toutes ces différentes capacités où il faut être capable de raisonner et d’avoir de l’intuition. »

Comment Llama 3 se comparera-t-il à Llama 2 ?

Zuckerberg a également annoncé des investissements substantiels dans les infrastructures de formation. D’ici fin 2024, Meta a l’intention de disposer d’environ 350 000 GPU NVIDIA H100, ce qui porterait le total des ressources de calcul disponibles de Meta à « 600 000 équivalents H100 de calcul » en incluant les GPU dont ils disposent déjà. Seul Microsoft possède actuellement un stock comparable de puissance de calcul.

Il est donc raisonnable de s’attendre à ce que Llama 3 offre des avancées substantielles en termes de performances par rapport aux modèles Llama 2, même si les modèles Llama 3 ne sont pas plus grands que leurs prédécesseurs. Comme l’a émis l’hypothèse dans un article de Deepmind de mars 2022 et l’a ensuite démontré par les modèles de Meta (ainsi que d’autres modèles open source, comme ceux de Mistral, basé en France), l’entraînement de modèles plus petits sur plus de données produit de meilleures performances que l’entraînement de modèles plus grands avec moins de données. .[iv] Llama 2 était proposé dans les mêmes tailles que les modèles Llama 1, plus précisément dans des variantes avec 7 milliards, 14 milliards et 70 milliards de paramètres, mais il était pré-entraîné sur 40 % de données en plus.

Bien que les tailles des modèles Llama 3 n’aient pas encore été annoncées, il est probable qu’elles poursuivront le modèle d’augmentation des performances au sein de 7 à 70 milliards de modèles de paramètres établi dans les générations précédentes. Les récents investissements en infrastructure de Meta permettront certainement une pré-formation encore plus robuste pour les modèles de toutes tailles.

Llama 2 a également doublé celui de Llama 1 longueur du contexte, ce qui signifie que Llama 2 peut « mémoriser » deux fois plus de jetons de contexte lors de l’inférence, c’est-à-dire pendant la génération du contexte ou un échange en cours avec un chatbot. Il est possible, quoique incertain, que Llama 3 propose de nouveaux progrès à cet égard.

Comment Llama 3 se comparera-t-il au GPT-4 d’OpenAI ?

Bien que les plus petits modèles LLaMA et Llama 2 atteignent ou dépassent les performances du modèle GPT-3 plus grand, doté de 175 milliards de paramètres, dans certains tests de référence, ils ne correspondent pas à toutes les capacités des modèles GPT-3.5 et GPT-4 proposés dans ChatGPT.

Avec ses nouvelles générations de modèles, Meta semble déterminé à apporter des performances de pointe au monde open source. « Llama 2 n’était pas un modèle leader dans l’industrie, mais c’était le meilleur modèle open source », a-t-il déclaré. Le bord. « Avec Llama 3 et au-delà, notre ambition est de construire des choses à la pointe de la technologie et, à terme, les modèles leaders de l’industrie. »

Préparation pour Lama 3

Les nouveaux modèles de base s’accompagnent de nouvelles opportunités d’avantage concurrentiel grâce à des applications, des chatbots, des flux de travail et des automatisations améliorés. Garder une longueur d’avance sur les développements émergents est le meilleur moyen d’éviter d’être laissé pour compte : l’adoption de nouveaux outils permet aux organisations de différencier leurs offres et d’offrir la meilleure expérience aux clients et aux employés.

Grâce à son partenariat avec HuggingFace, IBM Watsonx™ prend en charge de nombreux modèles de fondation open source de pointe, notamment Llama 2-chat de Meta. Notre équipe mondiale de plus de 20 000 experts en IA peut aider votre entreprise à identifier les outils, technologies et techniques qui répondent le mieux à vos besoins afin de garantir une évolution efficace et responsable.

Découvrez comment IBM vous aide à vous préparer à accélérer les progrès de l’IA. Mettez l’IA générative au service de watsonx™