Pourquoi le Japon est à la traîne en matière d’IA générative et comment il peut créer ses propres grands modèles de langage

Les pays se précipitent pour développer leurs propres algorithmes d’intelligence artificielle générative, mais le Japon de haute technologie est déjà en retard.

L’IA générative est le sujet le plus tendance de la technologie depuis qu’OpenAI a fait des vagues avec son chatbot ChatGPT. Selon les recherches de Goldman Sachs, les percées de l’IA générative ont le potentiel d’alimenter une augmentation de 7 % du PIB mondial, soit près de 7 000 milliards de dollars, au cours de la prochaine décennie.

La clé du développement de l’IA générative réside dans les grands modèles de langage qui sous-tendent ChatGPT et Ernie Bot de Baidu, capables de traiter de vastes ensembles de données pour générer du texte et d’autres contenus. Mais le Japon est actuellement en retard sur les États-Unis, la Chine et l’UE dans le développement de ces algorithmes, a déclaré Noriyuki Kojima, co-fondateur de la startup japonaise LLM Kotoba Technology.

Des organisations chinoises, dont les géants de la technologie Alibaba et Tencent, ont lancé au moins 79 LLM au niveau national au cours des trois dernières années, a rapporté Reuters en mai citant des recherches d’un consortium d’instituts gérés par l’État. Les grandes entreprises américaines telles que OpenAI, Microsoft, Google et Meta jouent un rôle important dans la propulsion des progrès du LLM du pays, a déclaré Kojima.

Le Japon, cependant, est en retard sur les États-Unis, la Chine et l’Europe en termes d’ampleur et de rapidité de développement de son LLM.

« La position de retard du Japon dans le domaine de l’IA générative découle en grande partie de ses lacunes comparatives en matière d’apprentissage en profondeur et de développement de logiciels plus étendus », a déclaré Kojima.

L’apprentissage en profondeur nécessite une « communauté robuste d’ingénieurs en logiciel » pour développer l’infrastructure et les applications nécessaires, a ajouté Kojima. Le Japon, cependant, devra faire face à un déficit de 789 000 ingénieurs en logiciel d’ici 2030, selon le ministère de l’Économie, du Commerce et de l’Industrie. La nation est désormais classée 28^e sur 63 pays en termes de connaissances technologiques, selon l’IMD World Digital Competitiveness Ranking.

Le Japon est également confronté à des défis matériels, car les LLM doivent être formés à l’aide de superordinateurs IA tels que Vela d’IBM et le système hébergé Azure de Microsoft. Mais aucune entreprise privée au Japon ne possède sa propre « machine de classe mondiale » avec ces capacités, a rapporté Nikkei Asia.

Les superordinateurs contrôlés par le gouvernement comme Fugaku « détiennent donc la clé » de la poursuite des LLM par le Japon, a expliqué Kojima.

« L’accès à ces supercalculateurs à grande échelle constitue l’épine dorsale du développement du LLM, car il a toujours été le goulot d’étranglement le plus important du processus », a-t-il déclaré.

L’Institut de technologie de Tokyo et l’Université de Tohoku prévoient d’utiliser Fugaku pour développer des LLM basés principalement sur des données japonaises en collaboration avec les développeurs du supercalculateur Fujitsu et Riken, a annoncé Fujitsu en mai.

Les organisations prévoient de publier leurs résultats de recherche en 2024 pour aider d’autres chercheurs et ingénieurs japonais à développer des LLM, a ajouté Fujitsu.

Le gouvernement japonais investira également 6,8 milliards de yens (48,2 millions de dollars), soit environ la moitié du coût total, pour construire un nouveau supercalculateur à Hokkaido qui entrera en service dès l’année prochaine, a rapporté Nikkei Asia. Le supercalculateur se spécialisera dans la formation LLM pour promouvoir le développement de l’IA générative au Japon, a déclaré Nikkei Asia.

En avril, le Premier ministre japonais Fumio Kishida a déclaré que le pays soutenait l’utilisation industrielle de la technologie d’IA générative. Les remarques de Kishida ont suivi sa rencontre avec le PDG d’OpenAI, Sam Altman, qui a déclaré que la société envisageait d’ouvrir un bureau au Japon.

Les acteurs de la Big Tech ont également rejoint la mêlée pour renforcer la position du Japon dans l’IA générative. En juin, la branche mobile de SoftBank a annoncé son intention de développer sa propre plate-forme d’IA générative, ont rapporté les médias locaux. Cela a été souligné par l’annonce du PDG de SoftBank, Masayoshi Son, selon laquelle la société d’investissement prévoit de passer du « mode défense » au « mode infraction » et d’intensifier sa concentration sur l’IA.

« Nous aimerions être [in] la position de leader de la révolution de l’IA », a déclaré Son lors d’une assemblée générale annuelle des actionnaires.

SoftBank Group a vendu sa participation de 85% dans SB Energy à Toyota Tsusho en avril et a récemment accepté de vendre sa participation de 90% dans le gestionnaire d’investissement américain FortressInvestment Group, a rapporté Nikkei Asia. La réduction de ces autres investissements aide SoftBank à libérer des liquidités, ce qui lui permet de se concentrer en grande partie sur l’IA via son unité d’investissement en capital-risque Vision Fund.

La société de conception de puces appartenant à SoftBank, Arm, devrait également poursuivre une introduction en bourse aux États-Unis plus tard dans l’année. « Ce sera de loin la plus grande introduction en bourse qui ait frappé le monde », a déclaré Amir Anvarzadeh, stratège du marché boursier japonais chez Asymmetric Advisors.

L’introduction en bourse fournira une somme considérable pour augmenter les fonds de SoftBank, qui a enregistré une perte record de 4,3 billions de yens chez Vision Fund pour son exercice se terminant le 31 mars.

Arm cherchait à l’origine à lever entre 8 et 10 milliards de dollars. Mais avec la demande de puces à semi-conducteurs « à travers le toit », Anvarzadeh a suggéré qu’Arm pourrait lever jusqu’à 50 à 60 milliards de dollars ou « 85% de la capitalisation boursière de SoftBank ».

Il a déclaré que le cours de l’action de SoftBank augmenterait probablement, bien que cela ne garantisse pas le succès de ses efforts en matière d’IA.

« Fondamentalement, je ne pense pas que SoftBank va changer le paysage japonais, ils ne sauvent pas l’IA japonaise », a-t-il déclaré.

La société de télécommunications japonaise NTT a également annoncé son intention de développer son propre LLM au cours de cet exercice, dans le but de créer un service « léger et efficace » pour les entreprises. NTT a déclaré qu’il canaliserait 8 000 milliards de yens au cours des cinq prochaines années dans des domaines de croissance tels que les centres de données et l’IA, soit une augmentation de 50 % par rapport à son niveau d’investissement précédent.

Les médias locaux ont rapporté que la société de publicité numérique CyberAgent a publié un LLM en mai qui permet aux entreprises de créer des outils de chatbot IA. La société a déclaré qu’elle était l’un des rares « modèles spécialisés dans la langue et la culture japonaises ».

Bien qu’il n’ait pas encore rattrapé son retard dans l’espace de l’IA générative, le Japon fait ses premiers pas avec ces efforts du secteur privé. Une fois qu’une « infrastructure robuste » est établie, les défis techniques restants seront probablement « considérablement atténués » en utilisant des logiciels et des données open source des pionniers précédents, a déclaré Kojima. Bloom, Falcon et RedPajama sont tous des LLM open source formés sur de grandes quantités de données pouvant être téléchargées et étudiées.

Cependant, les entreprises qui s’aventurent dans ce domaine doivent s’attendre à une concurrence s’étendant sur une « période relativement plus longue », a déclaré Kojima. Le développement de LLM nécessite des investissements en capital substantiels et une main-d’œuvre hautement qualifiée dans le traitement du langage naturel et le calcul haute performance, a-t-il expliqué.

« SoftBank et NTT, rejoignant ce concours, ne changeront pas le paysage de l’IA à court terme. »

La participation accrue des entreprises technologiques japonaises au développement de l’IA générative coïncide avec une position positive sur l’adoption de l’IA dans d’autres secteurs. Plus de 60 % des entreprises au Japon ont une attitude positive à l’égard de l’utilisation de l’IA générative dans leurs opérations, tandis que 9,1 % le font déjà, selon une enquête de Teikoku Databank.

Hitachi a créé un centre d’IA générative pour promouvoir l’utilisation sûre et efficace de la technologie par les employés, a-t-il déclaré en mai. Avec l’expertise de scientifiques des données, de chercheurs en IA et de spécialistes concernés, le centre formulera des lignes directrices pour atténuer les risques de l’IA générative, a déclaré le conglomérat.

Le Japon envisagera même l’adoption par le gouvernement d’une technologie d’IA comme ChatGPT, à condition que les problèmes de cybersécurité et de confidentialité soient résolus, a déclaré le secrétaire en chef du Cabinet Hirokazu Matsuno.

Alors que le Japon s’ouvre davantage à l’utilisation de l’IA générative, le gouvernement devrait formuler et faciliter des directives souples concernant son utilisation, tout en évaluant la nécessité d’une réglementation stricte basée sur des risques spécifiques, a déclaré Hiroki Habuka, professeur de recherche à la Graduate School of Law de l’Université de Kyoto.

« Sans des indications plus claires sur les actions que les entreprises devraient entreprendre lorsqu’elles utilisent l’IA générative, les pratiques peuvent devenir fragmentées », a déclaré le professeur.