Un accident vasculaire cérébral lui a volé la capacité de parler à 30 ans. L’IA contribue à la restaurer des années plus tard.

Lors de la réception de mariage d’Ann Johnson il y a 20 ans, son don pour la parole était clairement évident. Dans un toast bouillant de 15 minutes, elle a plaisanté en disant qu’elle avait couru dans l’allée, s’est demandé si le programme de la cérémonie aurait dû dire flûtiste ou flûtiste et a reconnu qu’elle monopolisait le micro.

À peine deux ans plus tard, Mme Johnson, alors enseignante de 30 ans, entraîneur de volley-ball et mère d’un bébé, a subi un accident vasculaire cérébral cataclysmique qui l’a paralysée et l’a rendue incapable de parler.

Mercredi, les scientifiques ont signalé une avancée remarquable pour l’aider, ainsi que d’autres patients, à parler à nouveau. Dans le cadre d’une étape importante dans les neurosciences et l’intelligence artificielle, des électrodes implantées ont décodé les signaux cérébraux de Mme Johnson alors qu’elle essayait silencieusement de prononcer des phrases. La technologie a converti ses signaux cérébraux en langage écrit et vocalisé, et a permis à un avatar sur un écran d’ordinateur de prononcer les mots et d’afficher des sourires, des lèvres pincées et d’autres expressions.

La recherche, publiée dans la revue Nature, démontre que c’est la première fois que des mots prononcés et des expressions faciales ont été directement synthétisés à partir de signaux cérébraux, disent les experts. Mme Johnson a choisi l’avatar, un visage ressemblant au sien, et les chercheurs ont utilisé son toast de mariage pour développer la voix de l’avatar.

Nous essayons simplement de restaurer l’identité des gens, a déclaré le chef de l’équipe, le Dr Edward Chang, président du département de chirurgie neurologique à l’Université de Californie à San Francisco.

Cela m’a permis de me sentir à nouveau une personne à part entière, m’a écrit Mme Johnson, aujourd’hui âgée de 48 ans.

L’objectif est d’aider les personnes qui ne peuvent pas parler à cause d’un accident vasculaire cérébral ou de maladies comme la paralysie cérébrale et la sclérose latérale amyotrophique. Pour fonctionner, l’implant de Mme Johnson doit être connecté par câble depuis sa tête à un ordinateur, mais son équipe et d’autres développent des versions sans fil. À terme, espèrent les chercheurs, les personnes qui ont perdu la parole pourront converser en temps réel grâce à des images informatisées d’elles-mêmes qui transmettent le ton, l’inflexion et les émotions comme la joie et la colère.

Ce qui est assez excitant, c’est que rien qu’à partir de la surface du cerveau, les enquêteurs ont pu obtenir d’assez bonnes informations sur ces différentes caractéristiques de la communication, a déclaré le Dr Parag Patil, neurochirurgien et ingénieur biomédical à l’Université du Michigan, à qui on a demandé by Nature pour examiner l’étude avant sa publication.

L’expérience de Mme Johnson reflète les progrès rapides dans le domaine. Il y a à peine deux ans, la même équipe a publié une recherche dans laquelle un homme paralysé, surnommé Pancho, utilisait un implant et un algorithme plus simples pour produire 50 mots de base comme bonjour et faim qui étaient affichés sous forme de texte sur un ordinateur après avoir tenté de dites-les.

L’implant de Mme Johnson comporte presque deux fois plus d’électrodes, ce qui augmente sa capacité à détecter les signaux cérébraux provenant des processus sensoriels et moteurs liés à la parole, liés à la bouche, aux lèvres, à la mâchoire, à la langue et au larynx. Les chercheurs ont entraîné l’intelligence artificielle sophistiquée à reconnaître non pas des mots individuels, mais des phonèmes ou des unités sonores comme ow et ah qui peuvent finalement former n’importe quel mot.

C’est comme un alphabet de sons de parole, a déclaré David Moses, le chef de projet.

Alors que le système de Pancho produisait 15 à 18 mots par minute, le taux de Mme Johnson était de 78 en utilisant une liste de vocabulaire beaucoup plus large. Un discours conversationnel typique est d’environ 160 mots par minute.

Lorsque les chercheurs ont commencé à travailler avec elle, ils ne s’attendaient pas à essayer l’avatar ou l’audio. Mais les résultats prometteurs ont été un énorme feu vert pour dire : « OK, essayons les choses les plus difficiles, allons-y », a déclaré le Dr Moses.

Ils ont programmé un algorithme pour décoder l’activité cérébrale en formes d’onde audio, produisant une parole vocalisée, a déclaré Kaylo Littlejohn, étudiante diplômée à l’Université de Californie à Berkeley et l’un des auteurs principaux de l’étude, avec le Dr Moses, Sean Metzger et Alex Silva. et Margaret Seaton.

La parole contient de nombreuses informations qui ne sont pas bien préservées par le seul texte, comme l’intonation, la hauteur, l’expression, a déclaré M. Littlejohn.

En collaboration avec une entreprise qui produit des animations faciales, les chercheurs ont programmé l’avatar avec des données sur les mouvements musculaires. Mme Johnson a ensuite essayé de créer des expressions faciales heureuses, tristes et surprises, chacune à une intensité élevée, moyenne et faible. Elle a également essayé d’effectuer divers mouvements de la mâchoire, de la langue et des lèvres. Ses signaux cérébraux décodés étaient transmis sur le visage de l’avatar.

À travers l’avatar, elle a dit, je pense que tu es merveilleux et que penses-tu de ma voix artificielle ?

Entendre une voix semblable à la vôtre est émouvant, a déclaré Mme Johnson aux chercheurs.

Elle et son mari, William, un postier, ont même engagé une conversation. Elle a dit à travers l’avatar : Ne me fais pas rire. Il lui a demandé ce qu’elle pensait des chances des Blue Jays de Toronto. Tout est possible, répondit-elle.

Le domaine évolue si rapidement que les experts pensent que des versions sans fil approuvées par le gouvernement fédéral pourraient être disponibles au cours de la prochaine décennie. Différentes méthodes peuvent être optimales pour certains patients.

Mercredi, Nature a également publié une autre étude d’équipe impliquant des électrodes implantées plus profondément dans le cerveau, détectant l’activité de neurones individuels, a déclaré le Dr Jaimie Henderson, professeur de neurochirurgie à Stanford et chef de l’équipe, motivé par son expérience d’enfance en regardant son le père a perdu la parole après un accident. Il a déclaré que leur méthode pourrait être plus précise mais moins stable car les schémas de déclenchement de neurones spécifiques peuvent changer.

Leur système décodait les phrases à 62 mots par minute que le participant, Pat Bennett, 68 ans, atteint de SLA, essayait de prononcer à partir d’un large vocabulaire. Cette étude n’incluait pas d’avatar ni de décodage sonore.

Les deux études ont utilisé des modèles linguistiques prédictifs pour aider à deviner les mots dans les phrases. Les systèmes ne se contentent pas de faire correspondre les mots, mais découvrent de nouveaux modèles de langage à mesure qu’ils améliorent leur reconnaissance de l’activité neuronale des participants, a déclaré Melanie Fried-Oken, experte en technologie d’assistance au langage vocal à l’Oregon Health & Science University, qui a consulté sur l’étude de Stanford. .

Aucune des deux approches n’était complètement exacte. Lorsqu’ils utilisaient de grands ensembles de vocabulaire, ils décodaient incorrectement des mots individuels environ un quart du temps.

Par exemple, lorsque Mme Johnson a essayé de dire : « Peut-être que nous les avons perdus, le système a décodé : « Peut-être que nous avons ce nom ». Mais dans près de la moitié de ses phrases, il déchiffrait correctement chaque mot.

Les chercheurs ont découvert que les utilisateurs d’une plateforme de crowdsourcing pouvaient interpréter correctement les expressions faciales des avatars la plupart du temps. Interpréter ce que disait la voix était plus difficile, c’est pourquoi l’équipe développe un algorithme de prédiction pour améliorer cela. Notre avatar parlant n’en est qu’au point de départ, a déclaré le Dr Chang.

Les experts soulignent que ces systèmes ne lisent pas les pensées ou les pensées des gens. Selon le Dr Patil, ils ressemblent plutôt à des frappeurs de baseball qui ne lisent pas dans les pensées du lanceur, mais interprètent en quelque sorte ce qu’ils voient le lanceur faire pour prédire les lancers.

Pourtant, la lecture dans les pensées pourrait éventuellement être possible, soulevant des problèmes d’éthique et de confidentialité, a déclaré le Dr Fried-Oken.

Mme Johnson a contacté le Dr Chang en 2021, le lendemain du jour où son mari lui a montré mon article sur Pancho, l’homme paralysé que les chercheurs avaient aidé. Le Dr Chang a déclaré qu’il l’avait d’abord découragée parce qu’elle vivait en Saskatchewan, au Canada, loin de son laboratoire de San Francisco, mais qu’elle avait persisté.

M. Johnson, 48 ans, s’est arrangé pour travailler à temps partiel. Anns m’a toujours soutenu pour faire ce que je voulais, y compris diriger sa section locale du syndicat des postes, a-t-il déclaré. J’ai donc pensé qu’il était important de pouvoir la soutenir dans cette démarche.

Elle a commencé à participer en septembre dernier. Voyager en Californie leur prend trois jours dans une camionnette remplie de matériel, dont un ascenseur pour la transférer du fauteuil roulant au lit. Ils y louent un appartement où les chercheurs mènent leurs expériences pour lui faciliter la tâche. Les Johnson, qui collectent des fonds en ligne et dans leur communauté pour payer les déplacements et le loyer de l’étude pluriannuelle, passent des semaines en Californie, rentrant chez eux entre les phases de recherche.

Si elle avait pu le faire 10 heures par jour, sept jours par semaine, elle l’aurait fait, a déclaré M. Johnson.

La détermination a toujours fait partie de sa nature. Lorsqu’ils ont commencé à sortir ensemble, Mme Johnson a donné à M. Johnson 18 mois pour proposer, ce qu’il a dit avoir fait le jour exact du 18e mois, après qu’elle soit déjà allée choisir sa bague de fiançailles.

Mme Johnson a communiqué avec moi dans des courriels composés avec le système d’assistance plus rudimentaire qu’elle utilise à la maison. Elle porte des lunettes munies d’un point réfléchissant qu’elle dirige vers des lettres et des mots sur un écran d’ordinateur.

C’est lent, lui permettant de générer seulement 14 mots par minute. Mais c’est plus rapide que la seule autre façon dont elle peut communiquer à la maison : en utilisant un tableau à lettres en plastique, une méthode décrite par M. Johnson comme étant qu’elle essayait juste de me montrer quelle lettre elle essayait de regarder, puis que j’essayais de comprendre laquelle. elle essaie de dire.

L’incapacité d’avoir des conversations fluides les frustre. Lorsqu’il discute de questions détaillées, M. Johnson dit parfois quelque chose et reçoit sa réponse par courrier électronique le lendemain.

Anns a toujours été une grande bavarde dans la vie, une personne extravertie et sociale qui aime parler, et moi non, a-t-il dit, mais son accident vasculaire cérébral a inversé les rôles, et maintenant je suis censé être la bavarde.

Mme Johnson enseignait les mathématiques, la santé et l’éducation physique au secondaire, et entraînait du volley-ball et du basket-ball lorsqu’elle a eu un accident vasculaire cérébral alors qu’elle s’échauffait pour jouer au volley-ball. Après un an passé à l’hôpital et dans un centre de rééducation, elle est revenue à la maison avec son beau-fils de 10 ans et sa fille de 23 mois, qui a maintenant grandi sans aucun souvenir d’avoir entendu sa mère parler, a déclaré M. Johnson.

Ne pas pouvoir serrer et embrasser mes enfants me faisait tellement mal, mais c’était ma réalité, a écrit Mme Johnson. Le véritable clou dans le cercueil a été de se faire dire que je ne pouvais pas avoir plus d’enfants.

Pendant cinq ans après son accident vasculaire cérébral, elle a été terrifiée. Je pensais que j’allais mourir à tout moment, a-t-elle écrit, ajoutant : « La partie de mon cerveau qui n’était pas gelée savait que j’avais besoin d’aide, mais comment pourrais-je communiquer ?

Peu à peu, son acharnement refait surface. Au début, les muscles de mon visage ne fonctionnaient pas du tout, écrit-elle, mais après environ cinq ans, elle pouvait sourire à volonté.

Elle a été entièrement nourrie par sonde pendant environ une décennie, mais a décidé de goûter aux aliments solides. Si je meurs, qu’il en soit ainsi, se dit-elle. J’ai commencé à sucer du chocolat. Elle a suivi une thérapie de déglutition et mange désormais des aliments finement hachés ou mous. Ma fille et moi adorons les cupcakes, a-t-elle écrit.

Lorsque Mme Johnson a appris que des conseillers en traumatologie étaient nécessaires après un accident d’autobus mortel en Saskatchewan en 2018, elle a décidé de suivre un cours universitaire de counseling en ligne.

J’avais des compétences minimales en informatique et, étant une passionnée de mathématiques et de sciences, l’idée d’écrire des devoirs me faisait peur, a-t-elle écrit dans un rapport de classe. Au même moment, ma fille était en 9e année et on lui a diagnostiqué un trouble de traitement. J’ai décidé de surmonter mes peurs et de lui montrer que le handicap n’a pas besoin de nous arrêter ou de nous ralentir.

Aider les survivants d’un traumatisme reste son objectif. Ma chance était que je deviendrais conseillère et que j’utiliserais cette technologie pour parler à mes clients, a-t-elle déclaré à l’équipe du Dr Chang.

Au début, quand elle a commencé à exprimer des émotions avec l’avatar, je me sentais idiote, mais j’aime avoir à nouveau l’impression d’avoir un visage expressif, a-t-elle écrit, ajoutant que les exercices lui ont également permis de bouger le côté gauche de son front pour la première fois. .

Elle a aussi gagné autre chose. Après l’accident vasculaire cérébral, ça m’a fait très mal quand j’ai tout perdu, a-t-elle écrit. Je me suis dit que je n’allais plus jamais m’exposer à cette déception.

Maintenant, j’ai l’impression d’avoir à nouveau un travail, a-t-elle écrit.

En plus, la technologie lui fait imaginer être dans Star Wars : je me suis un peu habitué à être époustouflé.