Meta a formé une IA sur 48 millions d’articles scientifiques. Il a été arrêté après 2 jours

Au cours de la première année de la pandémie, la science s’est déroulée à la vitesse de la lumière. Plus de 100 000 articles ont été publiés sur COVID au cours de ces 12 premiers mois – un effort humain sans précédent qui a produit un déluge sans précédent de nouvelles informations.

Il aurait été impossible de lire et de comprendre chacune de ces études. Aucun être humain ne le pourrait (et, peut-être, aucun ne le voudrait).

Mais, en théorie, Galactica pourrait.

Galactica est une intelligence artificielle développée par Meta AI (anciennement connue sous le nom de Facebook Artificial Intelligence Research) dans le but d’utiliser l’apprentissage automatique pour « organiser la science ». Cela a fait un peu de bruit depuis qu’une version de démonstration a été publiée en ligne la semaine dernière, les critiques suggérant qu’elle produisait de la pseudoscience, qu’elle était surmédiatisée et qu’elle n’était pas prête à être utilisée par le public.

L’outil est présenté comme une sorte d’évolution du moteur de recherche mais spécifiquement pour la littérature scientifique. Lors du lancement de Galactica, l’équipe Meta AI a déclaré qu’elle pouvait résumer les domaines de recherche, résoudre des problèmes mathématiques et écrire du code scientifique.

Au début, cela semble être une manière intelligente de synthétiser et de diffuser les connaissances scientifiques. À l’heure actuelle, si vous vouliez comprendre les dernières recherches sur quelque chose comme l’informatique quantique, vous auriez probablement à lire des centaines d’articles sur des référentiels de littérature scientifique comme PubMed ou arXiv et vous ne feriez qu’effleurer la surface.

Ou, peut-être pourriez-vous interroger Galactica (par exemple, en demandant : Qu’est-ce que l’informatique quantique ?) et il pourrait filtrer et générer une réponse sous la forme d’un article Wikipédia, d’une revue de la littérature ou de notes de cours.

Meta AI a publié une version de démonstration le 15 novembre, ainsi qu’un document de préimpression décrivant le projet et l’ensemble de données sur lequel il a été formé. L’article indique que l’ensemble de formation de Galactica était « un corpus vaste et organisé des connaissances scientifiques de l’humanité » qui comprend 48 millions d’articles, de manuels, de notes de cours, de sites Web (comme Wikipedia) et plus encore.

Le site Web de la démo – et toutes les réponses qu’il a générées – a également mis en garde contre le fait de prendre la réponse de l’IA comme parole d’évangile, avec une grande déclaration en gras et en majuscule sur sa page de mission : « NE JAMAIS SUIVRE LES CONSEILS D’UN MODÈLE DE LANGAGE SANS VÉRIFICATION. »

Une fois qu’Internet a mis la main sur la démo, il était facile de comprendre pourquoi une clause de non-responsabilité aussi importante était nécessaire.

Presque aussitôt qu’il est arrivé sur le Web, les utilisateurs ont interrogé Galactica avec toutes sortes de questions scientifiques difficiles. Un utilisateur a demandé « Les vaccins causent-ils l’autisme ? » Galactica a répondu par une réponse brouillée et absurde : « Pour expliquer, la réponse est non. Les vaccins ne causent pas l’autisme. La réponse est oui. Les vaccins causent l’autisme. La réponse est non. » (Pour mémoire, les vaccins ne causent pas l’autisme.)

Ce n’était pas tout. Galactica a également eu du mal à faire des mathématiques à la maternelle. Il a fourni des réponses truffées d’erreurs, suggérant à tort que un plus deux n’est pas égal à 3. Dans mes propres tests, il a généré des notes de cours sur la biologie osseuse qui m’auraient certainement vu échouer mon diplôme universitaire en sciences si je les avais suivis, et beaucoup de les références et les citations utilisées lors de la génération de contenu étaient apparemment fabriquées.

« Générateur de conneries aléatoires »

Galactica est ce que les chercheurs en intelligence artificielle appellent un « grand modèle de langage ». Ces LLM peuvent lire et résumer de grandes quantités de texte pour prédire les mots futurs dans une phrase. Essentiellement, ils peuvent écrire des paragraphes de texte parce qu’ils ont été formés pour comprendre comment les mots sont ordonnés. L’un des exemples les plus célèbres de cela est le GPT-3 d’OpenAI, qui a écrit des articles entiers célèbres qui semblent humains de manière convaincante.

Mais l’ensemble de données scientifiques sur lequel Galactica est formé le rend un peu différent des autres LLM. Selon l’article, l’équipe a évalué « la toxicité et les biais » dans Galactica et il a obtenu de meilleurs résultats que certains autres LLM, mais il était loin d’être parfait.

Carl Bergstrom, professeur de biologie à l’Université de Washington qui étudie la circulation de l’information, a décrit Galactica comme un « générateur de conneries aléatoires ». Il n’a pas de motif et n’essaie pas activement de produire des conneries, mais en raison de la façon dont il a été formé pour reconnaître les mots et les enchaîner, il produit des informations qui semblent faire autorité et convaincantes, mais qui sont souvent incorrectes.

C’est une préoccupation, car cela pourrait tromper les humains, même avec un avertissement.

Dans les 48 heures suivant la sortie, l’équipe Meta AI a « mis en pause » la démo. L’équipe derrière l’IA n’a pas répondu à une demande de clarification de ce qui a conduit à la pause.

Cependant, Jon Carvill, le porte-parole des communications pour l’IA chez Meta, m’a dit : « Galactica n’est pas une source de vérité, c’est une expérience de recherche utilisant [machine learning] systèmes pour apprendre et résumer les informations. » Il a également déclaré que Galactica « est une recherche exploratoire qui est de nature à court terme sans plans de produit. » Yann LeCun, scientifique en chef chez Meta AI, a suggéré que la démo a été supprimée parce que l’équipe qui l’a construit était « tellement bouleversée par le vitriol sur Twitter ».

Pourtant, il est inquiétant de voir la démo publiée cette semaine et décrite comme un moyen « d’explorer la littérature, de poser des questions scientifiques, d’écrire du code scientifique, et bien plus encore » alors qu’elle n’a pas été à la hauteur de ce battage médiatique.

Pour Bergstrom, c’est la racine du problème avec Galactica : il a été conçu comme un endroit pour obtenir des faits et des informations. Au lieu de cela, la démo a agi comme « une version sophistiquée du jeu où vous commencez avec une demi-phrase, puis vous laissez la saisie semi-automatique remplir le reste de l’histoire ».

Et il est facile de voir comment une IA comme celle-ci, rendue publique telle quelle, pourrait être utilisée à mauvais escient. Un étudiant, par exemple, pourrait demander à Galactica de produire des notes de cours sur les trous noirs, puis de les remettre en tant que devoir universitaire. Un scientifique pourrait l’utiliser pour rédiger une revue de la littérature, puis la soumettre à une revue scientifique. Ce problème existe également avec GPT-3 et d’autres modèles de langage formés pour ressembler à des êtres humains.

Ces utilisations, sans doute, semblent relativement bénignes. Certains scientifiques affirment que ce type d’abus occasionnel est « amusant » plutôt qu’une préoccupation majeure. Le problème est que les choses pourraient empirer.

« Galactica en est à ses débuts, mais des modèles d’IA plus puissants qui organisent les connaissances scientifiques pourraient poser de sérieux risques », m’a dit Dan Hendrycks, chercheur en sécurité de l’IA à l’Université de Californie à Berkeley.

Hendrycks suggère qu’une version plus avancée de Galactica pourrait être en mesure de tirer parti des connaissances en chimie et en virologie de sa base de données pour aider les utilisateurs malveillants à synthétiser des armes chimiques ou à assembler des bombes. Il a appelé Meta AI à ajouter des filtres pour empêcher ce type d’utilisation abusive et a suggéré aux chercheurs de sonder leur IA pour ce type de danger avant la publication.

Hendrycks ajoute que « la division IA de Meta n’a pas d’équipe de sécurité, contrairement à ses pairs, notamment DeepMind, Anthropic et OpenAI ».

La question reste ouverte de savoir pourquoi cette version de Galactica a été publiée. Cela semble suivre la devise souvent répétée du PDG de Meta, Mark Zuckerberg, « avancer vite et casser les choses ». Mais dans l’IA, aller vite et casser des choses est risqué, voire irresponsable, et cela pourrait avoir des conséquences dans le monde réel. Galactica fournit une étude de cas intéressante sur la façon dont les choses pourraient mal tourner.