L’IA change la compréhension des scientifiques de l’apprentissage des langues et soulève des questions sur une grammaire innée

Contrairement aux dialogues soigneusement scénarisés que l’on trouve dans la plupart des livres et des films, le langage des interactions quotidiennes a tendance à être désordonné et incomplet, plein de faux départs, d’interruptions et de personnes qui se parlent. Qu’il s’agisse de conversations informelles entre amis, de querelles entre frères et sœurs ou de discussions formelles dans une salle de conférence, une conversation authentique est chaotique. Il semble miraculeux que n’importe qui puisse apprendre une langue étant donné la nature aléatoire de l’expérience linguistique.

Pour cette raison, de nombreux linguistes, dont Noam Chomsky, fondateur de la linguistique moderne, pensent que les apprenants en langues ont besoin d’une sorte de colle pour maîtriser la nature indisciplinée du langage quotidien. Et ce ciment est la grammaire : un système de règles pour générer des phrases grammaticales.

Les enfants doivent avoir un modèle de grammaire câblé dans leur cerveau pour les aider à surmonter les limites de leur expérience linguistique.

Ce modèle, par exemple, peut contenir une super-règle qui dicte comment de nouveaux éléments sont ajoutés aux phrases existantes. Les enfants n’ont alors qu’à apprendre si leur langue maternelle est une, comme l’anglais, où le verbe précède l’objet (comme dans je mange des sushis), ou une langue comme le japonais, où le verbe suit l’objet (en japonais, la même phrase est structuré comme je mange des sushis).

Mais de nouvelles connaissances sur l’apprentissage des langues proviennent d’une source improbable : l’intelligence artificielle. Une nouvelle race de grands modèles de langage d’IA peut écrire des articles de journaux, de la poésie et du code informatique et répondre honnêtement aux questions après avoir été exposé à de grandes quantités d’entrées linguistiques. Et plus étonnant encore, ils le font tous sans l’aide de la grammaire.

Langue grammaticale sans grammaire

Même si leur choix de mots est parfois étrange, absurde ou contient racistes, sexistes et autres préjugés préjudiciables, une chose est très claire : l’écrasante majorité de la sortie de ces modèles de langage d’IA est grammaticalement correcte. Et pourtant, il n’y a pas de modèles ou de règles de grammaire câblés, ils reposent uniquement sur l’expérience linguistique, aussi désordonnée soit-elle.

GPT-3, sans doute le plus connu de ces modèles, est un gigantesque réseau neuronal d’apprentissage en profondeur avec 175 milliards de paramètres. Il a été formé pour prédire le mot suivant dans une phrase compte tenu de ce qui s’est passé auparavant sur des centaines de milliards de mots provenant d’Internet, de livres et de Wikipédia. Lorsqu’il faisait une mauvaise prédiction, ses paramètres étaient ajustés à l’aide d’un algorithme d’apprentissage automatique.

Remarquablement, GPT-3 peut générer un texte crédible réagissant à des invites telles que Un résumé du dernier film Fast and Furious est ou Écrire un poème dans le style d’Emily Dickinson. De plus, GPT-3 peut répondre aux analogies de niveau SAT, lire des questions de compréhension et même résoudre des problèmes arithmétiques simples en apprenant à prédire le mot suivant.

Comparaison des modèles d’IA et des cerveaux humains

La similitude avec le langage humain ne s’arrête pas là, cependant. Des recherches publiées dans Nature Neuroscience ont démontré que ces réseaux artificiels d’apprentissage en profondeur semblent utiliser les mêmes principes de calcul que le cerveau humain. Le groupe de recherche, dirigé par le neuroscientifique Uri Hasson, a d’abord comparé à quel point GPT-2, un petit frère de GPT-3, et les humains pouvaient prédire le mot suivant dans une histoire tirée du podcast This American Life : les gens et l’IA ont prédit exactement la même chose. mot près de 50% du temps.

Les chercheurs ont enregistré l’activité cérébrale des volontaires tout en écoutant l’histoire. La meilleure explication des modèles d’activation qu’ils ont observés était que les cerveaux des gens comme GPT-2 n’utilisaient pas seulement le ou les deux mots précédents pour faire des prédictions, mais s’appuyaient sur le contexte accumulé jusqu’à 100 mots précédents. Au total, les auteurs concluent : Notre découverte de signaux neuronaux prédictifs spontanés lorsque les participants écoutent la parole naturelle suggère que la prédiction active peut sous-tendre l’apprentissage du langage tout au long de la vie chez les humains.

Une préoccupation possible est que ces nouveaux modèles de langage d’IA sont alimentés par de nombreuses entrées : GPT-3 a été formé sur une expérience linguistique équivalente à 20 000 années humaines. Mais une étude préliminaire qui n’a pas encore été évaluée par des pairs a révélé que le GPT-2 peut toujours modéliser les prédictions humaines du mot suivant et les activations cérébrales, même lorsqu’il est formé sur seulement 100 millions de mots. C’est bien dans la quantité d’apport linguistique qu’un enfant moyen pourrait entendre au cours des 10 premières années de sa vie.

Nous ne suggérons pas que GPT-3 ou GPT-2 apprennent le langage exactement comme les enfants. En effet, ces modèles d’IA ne semblent pas comprendre grand-chose, voire rien, de ce qu’ils disent, alors que la compréhension est fondamentale pour l’utilisation du langage humain. Pourtant, ce que ces modèles prouvent, c’est qu’un apprenant, même silicium, peut apprendre suffisamment bien le langage à partir d’une simple exposition pour produire des phrases grammaticales parfaitement bonnes et le faire d’une manière qui ressemble au traitement du cerveau humain.

Repenser l’apprentissage des langues

Pendant des années, de nombreux linguistes ont cru qu’il était impossible d’apprendre une langue sans un modèle de grammaire intégré. Les nouveaux modèles d’IA prouvent le contraire. Ils démontrent que la capacité de produire un langage grammatical peut être apprise à partir de la seule expérience linguistique. De même, nous suggérons que les enfants n’ont pas besoin d’une grammaire innée pour apprendre le langage.

Les enfants doivent être vus, pas entendus, dit le vieil adage, mais les derniers modèles de langage de l’IA suggèrent que rien ne pourrait être plus éloigné de la vérité. Au lieu de cela, les enfants doivent être engagés dans le va-et-vient de la conversation autant que possible pour les aider à développer leurs compétences linguistiques. L’expérience linguistique et non la grammaire est essentielle pour devenir un utilisateur compétent de la langue.