Un chercheur de Google en IA déclare qu’il est parti créer une startup après avoir rencontré une « grande entreprise »

Les fondateurs de Sakana AI, Llion Jones, à gauche, et David Ha, se rencontrent dans un bar sur le toit à Tokyo. Jones, co-auteur de l’important document de recherche Transformers de Google, est le chef de la technologie du laboratoire de recherche sur l’IA générative, et Ha, un ancien chercheur de Google, en est le PDG.

David a

Llion Jones a joué un rôle important chez Google, où il a travaillé pendant près de 12 ans. Il était l’un des huit auteurs du document de recherche crucial Transformers, qui est au cœur des dernières avancées en matière d’intelligence artificielle générative.

Cependant, comme tous ses co-auteurs, Jones a maintenant quitté Google. Il rejoint David Ha, ancien chercheur de Google, pour construire un laboratoire de recherche sur l’IA générative à Tokyo appelé Sakana AI. Jones a déclaré que bien qu’il n’ait aucune mauvaise volonté envers Google, il s’est rendu compte que la taille de l’entreprise l’empêchait de faire le genre de travail qu’il voulait poursuivre.

« C’est juste un effet secondaire des grandes entreprises », a déclaré Jones à CNBC dans une interview. « Je pense que la bureaucratie s’est développée à un point tel que j’avais l’impression de ne rien pouvoir faire. »

Jones, qui a étudié l’IA à l’université et détient une maîtrise en informatique avancée de l’Université de Birmingham, est au centre de l’action. L’article de 2017 qu’il a aidé à rédiger chez Google présente les innovations qui ont joué dans la création par OpenAI du chatbot viral ChatGPT. Le T signifie Transformers, une architecture derrière une grande partie de l’activité frénétique d’IA générative d’aujourd’hui.

« Nous sommes un peu fous », a déclaré Jones. « Nous examinons des méthodes inspirées de la nature pour voir si nous pouvons trouver une autre façon de faire les choses, plutôt que de faire un modèle énorme et gigantesque. » Sakana n’annonce aucun investisseur.

Jones est devenu ingénieur logiciel chez YouTube de Google en 2012. Selon son profil LinkedIn, il a commencé « des recherches sur l’intelligence artificielle et la compréhension du langage naturel » chez Google en 2015.

Google fait partie des nombreuses grandes entreprises technologiques qui ont embauché des hordes de chercheurs ces dernières années, certains directement issus des universités, pour construire des modèles d’IA visant à enrichir leurs produits. Au fil du temps, Jones a déclaré avoir rencontré des questions sur les raisons du dysfonctionnement du logiciel et sur la faute de qui. Il a trouvé que tout cela ne faisait que détourner l’attention de la recherche.

« Chaque jour, je passais mon temps à essayer d’accéder aux ressources et aux données », a déclaré Jones. Google a refusé de commenter.

Aujourd’hui, après de nombreuses années de développement de produits en laboratoire, Google se précipite pour intégrer l’IA générative, y compris les grands modèles de langage (LLM), dans son moteur de recherche, YouTube et d’autres produits. Les modèles peuvent résumer les informations et proposer des réponses humaines aux questions écrites.

Selon Jones, Google concentre « l’ensemble de l’entreprise autour de cette seule technologie », et l’innovation est plus difficile « car il s’agit d’un cadre assez restrictif », a-t-il déclaré.

Ha a déclaré que lui et Jones avaient parlé avec d’autres qui souhaitaient travailler sur des LLM, mais qu’ils n’avaient pas finalisé leurs plans.

« Je serais surpris si les modèles de langage ne faisaient pas partie du futur », a déclaré Ha, qui a quitté Google l’année dernière pour diriger la recherche à la startup Stability AI. Il a dit qu’il ne voulait pas que Sakana soit simplement une autre entreprise avec un LLM.

Jones et Ha ont tous deux des choses peu flatteuses à dire sur OpenAI, qui a introduit le concept d’IA générative dans le grand public, mais a levé des milliards de dollars auprès de Microsoft et d’autres investisseurs pour ce faire. Ha l’a décrit comme « devenant si gros et un peu bureaucratique », pas vraiment différent des groupes au sein de Google.

Jones a déclaré qu’il ne pensait pas qu’OpenAI soit si innovant. Il a déclaré que pour les deux plus grands succès d’OpenAI, ChatGPT et le service DALL-E pour créer des images avec quelques mots de texte, la startup a pris des recherches qu’il a effectuées chez Google et les a appliquées à grande échelle, en apportant des améliorations en cours de route mais en s’abstenant sur le partage des développements avec la communauté. Bien qu’OpenAI n’ait publié aucune des technologies sous une licence open source, il a publié des articles sur certains des systèmes sous-jacents.

Un représentant d’OpenAI n’a pas répondu à une demande de commentaire.

Ha a déclaré que Sakana avait embauché un chercheur à temps partiel issu du milieu universitaire et que l’entreprise finirait par embaucher davantage de personnes. Lorsqu’on lui a demandé s’ils avaient ajouté d’autres employés de Google, Ha a répondu : « Pas encore ».

MONTRE: Il est maintenant temps de déplacer l’attention du matériel d’IA vers les logiciels d’IA : ARK Invest