Cette startup chinoise remporte la course à l’IA Open Source

Delange a déclaré que les modèles de langage open source s’améliorent rapidement et peuvent être meilleurs que le GPT-4, leader du marché d’OpenAI, pour certaines tâches spécialisées. Mais il a noté que bon nombre des meilleurs modèles open source provenaient de l’extérieur des États-Unis, affirmant que 01.AI pourrait être positionné pour bénéficier des innovations qui surgissent autour de son modèle. Les entreprises américaines sont devenues un peu moins ouvertes et transparentes, a-t-il déclaré lors du point de presse. Mais il y a cette dynamique intéressante avec l’IA où plus une entreprise publie de l’open source, plus l’écosystème se développe, et donc plus elle devient forte dans la construction de l’IA.

Metas Llama 2 est un exemple rare d’un modèle open source de premier plan d’une entreprise américaine et constitue le défi des géants des médias sociaux face à OpenAI, Microsoft, Google et d’autres grands rivaux technologiques qui investissent massivement dans l’IA générative. Meta a choisi de publier son modèle de langage d’IA sous une licence qui permet une réutilisation commerciale, avec quelques mises en garde.

Yi-34B et Llama 2 semblent avoir plus en commun que le simple fait d’être des modèles d’IA open source de premier plan. Peu de temps après la sortie du modèle chinois, certains développeurs ont remarqué que le code 01.AI incluait auparavant des mentions du modèle Metas qui ont ensuite été supprimées. Richard Lin, responsable de l’open source de 01.AI, a déclaré plus tard que la société annulerait les modifications, et la société a crédité Llama 2 pour une partie de l’architecture du Yi-34B. Comme tous les principaux modèles de langage, 01.AIs est basé sur l’architecture de transformateur développée pour la première fois par des chercheurs de Google en 2017, et la société chinoise a dérivé ce composant de Llama 2. Anita Huang, porte-parole de 01.AI, a déclaré un expert juridique consulté par la société a déclaré que le Yi-34B n’était pas soumis à la licence Llama 2. Meta n’a pas répondu à une demande de commentaire.

Quelle que soit la mesure dans laquelle Yi-34B emprunte à Llama 2, le modèle chinois fonctionne très différemment en raison des données qui lui ont été fournies. Yi partage l’architecture de Llama mais sa formation est complètement différente et nettement meilleure, explique Eric Hartford, chercheur en IA chez Abacus.AI qui suit des projets d’IA open source. Ils sont complètement différents.

La connexion avec Metas Llama 2 est un exemple de la façon dont, malgré la confiance de Lee dans l’expertise chinoise en IA, il suit actuellement l’exemple américain en matière d’IA générative. Jeffrey Ding, professeur adjoint à l’Université George Washington qui étudie la scène chinoise de l’IA, affirme que même si les chercheurs chinois ont publié des dizaines de grands modèles de langage, l’industrie dans son ensemble est toujours à la traîne des États-Unis.

Les entreprises occidentales ont acquis un avantage significatif dans le développement de modèles de langage à grande échelle, car elles pouvaient tirer parti des versions publiques pour tester des problèmes, obtenir des commentaires des utilisateurs et susciter l’intérêt autour de nouveaux modèles, explique-t-il. Ding et d’autres ont fait valoir que les entreprises chinoises d’IA sont confrontées à des difficultés réglementaires et économiques plus fortes que leurs homologues américaines.

S’exprimant lors du Forum économique mondial de Davos la semaine dernière, Lee a affirmé, espérant peut-être que le message reviendrait dans son pays, selon lequel l’approche ouverte serait cruciale pour que tout pays puisse tirer pleinement parti de l’IA.

L’un des problèmes liés au fait qu’une ou quelques entreprises détiennent le plus de pouvoir et dominent les modèles est que cela crée d’énormes inégalités, et pas seulement entre les personnes les moins riches et les pays les moins riches, mais aussi avec les professeurs-chercheurs, les étudiants, les entrepreneurs, les amateurs. , a déclaré Lee. S’il n’y avait pas d’open source, que feraient-ils pour apprendre ? car ils pourraient être le prochain créateur, inventeur ou développeur d’applications.

S’il a raison, la technologie 01.IA et les applications construites sur celle-ci placeront la technologie chinoise au cœur de la prochaine phase de l’industrie technologique.

Mis à jour le 23 janvier 2024 à 20 h 10 HNE : le nom chinois de 01.AI est , et non .

Correction du 24/01/2024, 11 h 21 HNE : Cette histoire indiquait précédemment que Sinovation Ventures avait investi dans TuSimple. Il n’a pas.