Pourquoi le dernier grand modèle de langue de Metas n’a survécu que trois jours en ligne
L’équipe Meta derrière Galactica affirme que les modèles linguistiques sont meilleurs que les moteurs de recherche. Nous pensons que ce sera la prochaine interface sur la façon dont les humains accèdent aux connaissances scientifiques, écrivent les chercheurs.
En effet, les modèles de langage peuvent potentiellement stocker, combiner et raisonner sur des informations. Mais c’est potentiellement crucial. C’est un aveu codé que les modèles de langage ne peuvent pas encore faire toutes ces choses. Et ils ne pourront peut-être jamais le faire.
Les modèles de langage ne sont pas vraiment bien informés au-delà de leur capacité à capturer des modèles de chaînes de mots et à les cracher de manière probabiliste, dit Shah. Cela donne une fausse impression d’intelligence.
Gary Marcus, scientifique cognitif à l’Université de New York et critique virulent de l’apprentissage en profondeur, a donné son point de vue dans un article de Substack intitulé A Few Words About Bullshit, affirmant que la capacité des grands modèles de langage à imiter le texte écrit par l’homme n’est rien de plus que un exploit superlatif de statistiques.
Et pourtant, Meta n’est pas la seule entreprise à défendre l’idée que les modèles linguistiques pourraient remplacer les moteurs de recherche. Au cours des deux dernières années, Google a promu des modèles de langage, tels que LaMDA, comme moyen de rechercher des informations.
C’est une idée alléchante. Mais suggérer que le texte de type humain généré par ces modèles contiendra toujours des informations fiables, comme Meta semble le faire dans sa promotion de Galactica, est imprudent et irresponsable. C’était une erreur non forcée.