L’IA s’améliore en lecture de pensées

Pensez aux mots qui tournent dans votre tête : cette blague insipide que vous avez sagement gardée pour vous au dîner ; votre impression non exprimée du nouveau partenaire de votre meilleur ami. Imaginez maintenant que quelqu’un puisse écouter.

Lundi, des scientifiques de l’Université du Texas à Austin ont fait un autre pas dans cette direction. Dans une étude publiée dans la revue Nature Neuroscience, les chercheurs ont décrit une IA qui pourrait traduire les pensées intimes de sujets humains en analysant des scans IRMf, qui mesurent le flux sanguin vers différentes régions du cerveau.

Déjà, des chercheurs ont mis au point des méthodes de décodage du langage pour capter les tentatives d’élocution des personnes qui ont perdu la capacité de parler et pour permettre aux personnes paralysées d’écrire tout en pensant à écrire. Mais le nouveau décodeur de langage est l’un des premiers à ne pas s’appuyer sur des implants. Dans l’étude, il était capable de transformer le discours imaginé d’une personne en discours réel et, lorsque des films muets étaient montrés aux sujets, il pouvait générer des descriptions relativement précises de ce qui se passait à l’écran.

Ce n’est pas seulement un stimulus linguistique, a déclaré Alexander Huth, un neuroscientifique de l’université qui a aidé à diriger la recherche. Arrivaient au sens, quelque chose à propos de l’idée de ce qui se passe. Et le fait que ce soit possible est très excitant.

L’étude était centrée sur trois participants, qui sont venus au laboratoire du Dr Huth pendant 16 heures sur plusieurs jours pour écouter The Moth et d’autres podcasts narratifs. Pendant qu’ils écoutaient, un scanner IRMf enregistrait les niveaux d’oxygénation du sang dans certaines parties de leur cerveau. Les chercheurs ont ensuite utilisé un grand modèle de langage pour faire correspondre les modèles d’activité cérébrale aux mots et aux phrases que les participants avaient entendus.

Les grands modèles de langage comme OpenAIs GPT-4 et Googles Bard sont formés sur de grandes quantités d’écriture pour prédire le mot suivant dans une phrase ou une phrase. Dans le processus, les modèles créent des cartes indiquant comment les mots sont liés les uns aux autres. Il y a quelques années, le Dr Huth a remarqué que certaines parties de ces cartes, appelées intégrations de contexte, qui capturent les caractéristiques sémantiques ou les significations des phrases, pouvaient être utilisées pour prédire comment le cerveau s’allume en réponse au langage.

Dans un sens fondamental, a déclaré Shinji Nishimoto, un neuroscientifique de l’Université d’Osaka qui n’a pas participé à la recherche, l’activité cérébrale est une sorte de signal crypté, et les modèles de langage fournissent des moyens de le déchiffrer.

Dans leur étude, le Dr Huth et ses collègues ont effectivement inversé le processus, en utilisant une autre IA pour traduire les images IRMf des participants en mots et en phrases. Les chercheurs ont testé le décodeur en demandant aux participants d’écouter de nouveaux enregistrements, puis en voyant à quel point la traduction correspondait à la transcription réelle.

Presque chaque mot n’était pas à sa place dans l’écriture décodée, mais le sens du passage était régulièrement préservé. Essentiellement, les décodeurs paraphrasaient.

Transcription originale: Je me suis levé du matelas pneumatique et j’ai appuyé mon visage contre la vitre de la fenêtre de la chambre en m’attendant à voir des yeux me fixer, mais à la place, je n’ai trouvé que l’obscurité.

Décodé à partir de l’activité cérébrale : J’ai juste continué à marcher jusqu’à la fenêtre et à ouvrir la vitre. Je me suis tenu sur la pointe des pieds et j’ai regardé dehors, je n’ai rien vu et j’ai levé les yeux à nouveau, je n’ai rien vu.

Pendant l’examen IRMf, les participants ont également été invités à imaginer silencieusement raconter une histoire ; ensuite, ils ont répété l’histoire à haute voix, à titre de référence. Ici aussi, le modèle de décodage a capturé l’essentiel de la version tacite.

Version participants: Cherchez un message de ma femme disant qu’elle avait changé d’avis et qu’elle revenait.

Version décodée: Pour la voir pour une raison quelconque, je pensais qu’elle viendrait me voir et me dirait que je lui manque.

Enfin, les sujets ont regardé un bref film d’animation silencieux, encore une fois tout en subissant une IRMf. En analysant leur activité cérébrale, le modèle de langage pourrait décoder un résumé approximatif de ce qu’ils voyaient, peut-être leur description interne de ce qu’ils voyaient.

Le résultat suggère que le décodeur IA capturait non seulement des mots, mais aussi du sens. La perception du langage est un processus externe, tandis que l’imagination est un processus interne actif, a déclaré le Dr Nishimoto. Et les auteurs ont montré que le cerveau utilise des représentations communes à travers ces processus.

Greta Tuckute, neuroscientifique au Massachusetts Institute of Technology qui n’a pas participé à la recherche, a déclaré que c’était la question de haut niveau.

Pouvons-nous décoder le sens du cerveau ? elle a continué. À certains égards, ils montrent que, oui, nous le pouvons.

Cette méthode de décodage du langage avait des limites, ont noté le Dr Huth et ses collègues. D’une part, les scanners IRMf sont encombrants et coûteux. De plus, l’entraînement du modèle est un processus long et fastidieux, et pour être efficace, il doit être fait sur des individus. Lorsque les chercheurs ont essayé d’utiliser un décodeur formé sur une personne pour lire l’activité cérébrale d’une autre, cela a échoué, suggérant que chaque cerveau a des façons uniques de représenter le sens.

Les participants ont également pu protéger leurs monologues internes, secouant le décodeur en pensant à d’autres choses. L’IA pourrait peut-être lire dans nos pensées, mais pour l’instant, elle devra les lire une par une, et avec notre permission.