Meta et Qualcomm s’associent pour exécuter de grands modèles d’IA sur les téléphones

Qualcomm et Meta permettront au nouveau grand modèle linguistique de la société de réseaux sociaux, Llama 2, de fonctionner sur les puces Qualcomm sur les téléphones et les PC à partir de 2024, ont annoncé les sociétés aujourd’hui.

Jusqu’à présent, les LLM ont principalement fonctionné dans de grandes fermes de serveurs, sur des processeurs graphiques Nvidia, en raison des vastes besoins de la technologie en matière de puissance de calcul et de données, augmentant le stock de Nvidia, qui a augmenté de plus de 220 % cette année. Mais le boom de l’IA a largement manqué les entreprises qui fabriquent des processeurs de pointe pour téléphones et PC, comme Qualcomm. Son action est en hausse d’environ 10 % jusqu’à présent en 2023, à la traîne du gain de 36 % du NASDAQ.

L’annonce de mardi suggère que Qualcomm souhaite positionner ses processeurs comme étant bien adaptés à l’IA mais « à la périphérie » ou sur un appareil, au lieu de « dans le cloud ». Si de grands modèles de langage peuvent fonctionner sur des téléphones plutôt que dans de grands centres de données, cela pourrait faire baisser le coût important de l’exécution de modèles d’IA et pourrait conduire à des assistants vocaux et à d’autres applications meilleurs et plus rapides.

Qualcomm rendra les modèles open source Llama 2 de Meta disponibles sur les appareils Qualcomm, ce qui, selon lui, permettra des applications telles que des assistants virtuels intelligents. Meta Llama 2 peut faire beaucoup des mêmes choses que ChatGPT, mais il peut être emballé dans un programme plus petit, ce qui lui permet de fonctionner sur un téléphone.

Les puces de Qualcomm incluent une « unité de processeur de tenseur », ou TPU, bien adaptée aux types de calculs requis par les modèles d’IA. Cependant, la quantité de puissance de traitement disponible sur un appareil mobile est dérisoire par rapport à un centre de données équipé de GPU de pointe.

Meta’s Llama est remarquable car Meta a publié ses « poids », un ensemble de chiffres qui aident à régir le fonctionnement d’un modèle d’IA particulier. Cela permettra aux chercheurs et éventuellement aux entreprises commerciales d’utiliser les modèles d’IA sur leurs propres ordinateurs sans demander la permission ni payer. D’autres LLM notables, comme le GPT-4 d’OpenAI ou le Bard de Google, sont à source fermée et leurs poids sont des secrets bien gardés.

Qualcomm a travaillé en étroite collaboration avec Meta dans le passé, notamment sur des puces pour ses appareils de réalité virtuelle Quest. Il a également fait la démonstration de certains modèles d’IA fonctionnant lentement sur ses puces, comme le générateur d’images open source Stable Diffusion.