L’IA pourrait-elle vous aider à rédiger votre prochain article ?

Vous connaissez cette fonction de saisie semi-automatique qui rend votre smartphone si pratique et parfois frustrant à utiliser ? Eh bien, maintenant, les outils basés sur la même idée ont progressé au point d’aider les chercheurs à analyser et à rédiger des articles scientifiques, à générer du code et à réfléchir à des idées.

Les outils proviennent du traitement du langage naturel (NLP), un domaine de l’intelligence artificielle visant à aider les ordinateurs à comprendre et même à produire du texte lisible par l’homme. Appelés grands modèles linguistiques (LLM), ces outils ont évolué pour devenir non seulement des objets d’étude mais aussi des assistants de recherche.

Les LLM sont des réseaux de neurones qui ont été entraînés sur des corps de texte massifs pour traiter et, en particulier, générer du langage. OpenAI, un laboratoire de recherche de San Francisco, en Californie, a créé le LLM le plus connu, GPT-3, en 2020, en formant un réseau pour prédire le prochain morceau de texte en fonction de ce qui précède. Sur Twitter et ailleurs, les chercheurs ont exprimé leur étonnement face à son écriture effrayante et humaine. Et n’importe qui peut désormais l’utiliser, via l’interface de programmation OpenAI, pour générer du texte en fonction d’une invite. (Les prix commencent à environ 0,0004 USD pour 750 mots traités, une mesure qui combine la lecture de l’invite et l’écriture de la réponse.)

Je pense que j’utilise GPT-3 presque tous les jours, déclare l’informaticien Hafsteinn Einarsson de l’Université d’Islande à Reykjavik. Il l’utilise pour générer des commentaires sur les résumés de ses articles. Dans un exemple qu’Einarsson a partagé lors d’une conférence en juin, certaines des suggestions d’algorithmes étaient inutiles, lui conseillant d’ajouter des informations déjà incluses dans son texte. Mais d’autres ont été plus utiles, comme rendre la question de recherche plus explicite au début du résumé. Il peut être difficile de voir les défauts de votre propre manuscrit, dit Einarsson. Soit vous devez dormir dessus pendant deux semaines, soit vous pouvez demander à quelqu’un d’autre de le regarder. Et que quelqu’un d’autre peut être GPT-3.

Pensée organisée

Certains chercheurs utilisent les LLM pour générer des titres de papier ou pour rendre le texte plus lisible. Mina Lee, doctorante en informatique à l’Université de Stanford, en Californie, donne des invites GPT-3 telles que l’utilisation de ces mots-clés, génère le titre d’un article. Pour réécrire les sections gênantes, elle utilise un assistant d’écriture alimenté par l’IA appelé Wordtune par AI21 Labs à Tel Aviv, en Israël. J’écris un paragraphe, et c’est fondamentalement comme une décharge de cerveau, dit-elle. Je clique simplement sur Réécrire jusqu’à ce que je trouve une version plus propre que j’aime.

Des outils d’intelligence artificielle visent à apprivoiser la littérature sur les coronavirus

L’informaticien Domenic Rosati de la start-up technologique Scite à Brooklyn, New York, utilise un LLM appelé Generate pour organiser sa pensée. Développé par Cohere, une société NLP à Toronto, Canada, Generate se comporte un peu comme GPT-3. Je mets des notes, ou juste des gribouillis et des pensées, et je dis résumer cela, ou transformer cela en résumé, dit Rosati. C’est vraiment utile pour moi comme outil de synthèse.

Les modèles de langage peuvent même aider à la conception expérimentale. Pour un projet, Einarsson utilisait le jeu Pictionary comme moyen de collecter des données linguistiques auprès des participants. Compte tenu d’une description du jeu, GPT-3 a suggéré des variantes de jeu qu’il pourrait essayer. Théoriquement, les chercheurs pourraient également demander de nouvelles interprétations des protocoles expérimentaux. Quant à Lee, elle a demandé à GPT-3 de réfléchir à des choses à faire lors de la présentation de son petit ami à ses parents. Il a suggéré d’aller dans un restaurant au bord de la plage.

Encodage codage

Les chercheurs d’OpenAI ont formé GPT-3 sur un vaste assortiment de textes, y compris des livres, des reportages, des entrées de Wikipedia et du code logiciel. Plus tard, l’équipe a remarqué que GPT-3 pouvait compléter des morceaux de code, tout comme avec d’autres textes. Les chercheurs ont créé une version affinée de l’algorithme appelé Codex, en l’entraînant sur plus de 150 gigaoctets de texte provenant de la plateforme de partage de code GitHub.¹. GitHub a maintenant intégré Codex dans un service appelé Copilot qui suggère le code en fonction du type de personnes.

L’informaticien Luca Soldaini de l’Allen Institute for AI (également appelé AI2) à Seattle, Washington, affirme qu’au moins la moitié de leur bureau utilise Copilot. Cela fonctionne mieux pour la programmation répétitive, dit Soldaini, citant un projet qui implique l’écriture de code passe-partout pour traiter les PDF. Il laisse juste échapper quelque chose, et c’est comme, j’espère que c’est ce que vous voulez. Parfois ce n’est pas le cas. En conséquence, Soldaini dit qu’ils veillent à n’utiliser Copilot que pour les langages et les bibliothèques avec lesquels ils sont familiers, afin qu’ils puissent détecter les problèmes.

Recherches documentaires

L’application la plus établie des modèles linguistiques consiste peut-être à rechercher et à résumer la littérature. Le moteur de recherche Semantic Scholar d’AI2, qui couvre environ 200 millions d’articles, principalement issus de la biomédecine et de l’informatique, fournit des descriptions d’articles de la longueur d’un tweet en utilisant un modèle de langage appelé TLDR (abréviation de trop long ; je n’ai pas lu). TLDR est dérivé d’un modèle antérieur appelé BART, par des chercheurs de la plate-forme de médias sociaux Facebook, qui a été affiné sur des résumés écrits par des humains. (Selon les normes actuelles, TLDR n’est pas un grand modèle de langage, car il ne contient qu’environ 400 millions de paramètres. La plus grande version de GPT-3 en contient 175 milliards.)

tl;dr : cette IA résume les articles de recherche en une phrase

TLDR apparaît également dans AI2s Semantic Reader, une application qui augmente les articles scientifiques. Lorsqu’un utilisateur clique sur une citation dans le texte dans Semantic Reader, une boîte apparaît avec des informations qui incluent un résumé TLDR. L’idée est de prendre l’intelligence artificielle et de l’intégrer directement dans l’expérience de lecture, explique Dan Weld, scientifique en chef de Semantic Scholars.

Lorsque les modèles de langage génèrent des résumés de texte, il y a souvent un problème avec ce que les gens appellent charitablement des hallucinations, dit Weld, mais c’est vraiment le modèle de langage qui invente ou ment. TLDR réussit relativement bien les tests de véracité² les auteurs d’articles que TLDR a été invité à décrire ont évalué sa précision à 2,5 sur 3. Weld dit que c’est en partie parce que les résumés ne font qu’environ 20 mots, et en partie parce que l’algorithme rejette les résumés qui introduisent des mots inhabituels qui n’apparaissent pas dans le texte intégral .

En termes d’outils de recherche, Elicit a fait ses débuts en 2021 auprès de l’organisation à but non lucratif d’apprentissage automatique Ought à San Francisco, en Californie. Demander Suscitez une question, telle que : Quels sont les effets de la pleine conscience sur la prise de décision ? et il produit un tableau de dix papiers. Les utilisateurs peuvent demander au logiciel de remplir des colonnes avec du contenu tel que des résumés de résumés et des métadonnées, ainsi que des informations sur les participants à l’étude, la méthodologie et les résultats. Elicit utilise des outils tels que GPT-3 pour extraire ou générer ces informations à partir de documents.

Joel Chan de l’Université du Maryland à College Park, qui étudie les interactions homme-machine, utilise Elicit chaque fois qu’il démarre un projet. Cela fonctionne très bien lorsque je ne connais pas la bonne langue à utiliser pour effectuer une recherche, dit-il. Le neuroscientifique Gustav Nilsonne de l’Institut Karolinska de Stockholm utilise Elicit pour trouver des articles contenant des données qu’il peut ajouter à des analyses groupées. L’outil a suggéré des articles qu’il n’avait pas trouvés dans d’autres recherches, dit-il.

Modèles évolutifs

Les prototypes à AI2 donnent une idée de l’avenir des LLM. Parfois, les chercheurs ont des questions après avoir lu un résumé scientifique, mais n’ont pas le temps de lire l’intégralité de l’article. Une équipe d’AI2 a développé un outil qui peut répondre à de telles questions, du moins dans le domaine de la PNL. Il a commencé par demander aux chercheurs de lire les résumés des articles de la PNL, puis de poser des questions à leur sujet (par exemple, quels sont les cinq attributs de dialogue qui ont été analysés ?). L’équipe a ensuite demandé à d’autres chercheurs de répondre à ces questions après avoir lu les articles complets.³. AI2 a formé une version de son modèle de langage Longformer qui peut ingérer un article complet, pas seulement les quelques centaines de mots que d’autres modèles prennent sur l’ensemble de données résultant pour générer des réponses à différentes questions sur d’autres articles.⁴.

Un modèle appelé ACCoRD peut générer des définitions et des analogies pour 150 concepts scientifiques liés à la PNL, tandis que MS^2, un ensemble de données de 470 000 documents médicaux et 20 000 résumés de plusieurs documents, a été utilisé pour affiner le BART afin de permettre aux chercheurs de répondre à une question et un ensemble de documents et générer un bref résumé méta-analytique.

Pôle NatureTech

Et puis il y a des applications au-delà de la génération de texte. En 2019, AI2 a affiné BERT, un modèle de langage créé par Google en 2018, sur des articles Semantic Scholar pour créer SciBERT, qui compte 110 millions de paramètres. Scite, qui a utilisé l’IA pour créer un moteur de recherche scientifique, a encore affiné SciBERT de sorte que lorsque son moteur de recherche répertorie les articles citant un article cible, il les classe comme soutenant, contrastant ou mentionnant autrement cet article. Rosati dit que cette nuance aide les gens à identifier les limites ou les lacunes de la littérature.

Le modèle AI2s SPECTRE, également basé sur SciBERT, réduit les papiers à des représentations mathématiques compactes. Les organisateurs de conférences utilisent SPECTRE pour faire correspondre les articles soumis aux pairs examinateurs, dit Weld, et Semantic Scholar l’utilise pour recommander des articles basés sur une bibliothèque d’utilisateurs.

L’informaticien Tom Hope, de l’Université hébraïque de Jérusalem et de l’AI2, affirme que d’autres projets de recherche à l’AI2 ont affiné des modèles de langage pour identifier des combinaisons de médicaments efficaces, des liens entre les gènes et la maladie, ainsi que des défis et des orientations scientifiques dans la recherche sur le COVID-19.

Mais les modèles de langage peuvent-ils permettre une compréhension plus profonde ou même une découverte ? En mai, Hope et Weld ont co-écrit une critique⁵ avec Eric Horvitz, directeur scientifique de Microsoft, et d’autres qui énumèrent les défis pour y parvenir, y compris l’enseignement de modèles pour [infer] le résultat de la recombinaison de deux concepts. C’est une chose de générer une image d’un chat volant dans l’espace, dit Hope, se référant au modèle de génération d’images OpenAI DALLE 2. Mais comment passerons-nous de là à combiner des concepts scientifiques abstraits et très compliqués ?

C’est une question ouverte. Mais les LLM ont déjà un impact tangible sur la recherche. À un moment donné, dit Einarsson, les gens vont manquer s’ils n’utilisent pas ces grands modèles de langage.