Un logiciel de traitement du langage naturel évalue les dissertations scientifiques du collège | Université d’État de Penn

UNIVERSITY PARK, Pennsylvanie. Les étudiants pourraient bientôt avoir un autre enseignant dans la classe, mais d’une source improbable : l’intelligence artificielle (IA). Dans deux articles récents, des informaticiens de Penn State ont examiné l’efficacité d’une forme d’IA connue sous le nom de traitement du langage naturel pour évaluer et fournir des commentaires sur les essais scientifiques des étudiants. Ils ont détaillé leurs résultats dans la branche édition du Conférence de la Société internationale pour les sciences de l’apprentissage (ISLS) et dans les Actes de la Conférence internationale sur l’intelligence artificielle dans l’éducation (AIED).

Le traitement du langage naturel est un sous-domaine de l’informatique où les chercheurs convertissent le mot écrit ou parlé en données calculables, selon le chercheur principal Rébecca Passonneauprofesseur d’informatique et d’ingénierie de Penn State.

Dirigés par Passonneau, les chercheurs qui ont travaillé sur l’article ISLS ont étendu les capacités d’un outil de traitement du langage naturel existant appelé PyrEval évaluer les idées écrites par les élèves en fonction de rubriques prédéterminées et calculables. Ils ont nommé le nouveau logiciel PyrEval-CR.

PyrEval-CR peut fournir aux collégiens une rétroaction immédiate sur leurs essais scientifiques, ce qui décharge une grande partie du fardeau de l’évaluation de l’enseignant, de sorte que davantage de devoirs d’écriture puissent être intégrés dans les programmes de sciences du collège, a déclaré Passonneau. Simultanément, le logiciel génère un rapport de synthèse sur les sujets ou les idées présents dans les essais d’une ou plusieurs classes, afin que les enseignants puissent rapidement déterminer si les élèves ont réellement compris une leçon de sciences.

Les débuts de PyrEval-CR remontent à 2004, lorsque Passonneau a travaillé avec des collaborateurs pour développer le Méthode pyramidale, où les chercheurs annotent manuellement les documents source pour classer de manière fiable les idées écrites en fonction de leur importance. À partir de 2012, Passonneau et ses étudiants diplômés ont travaillé à l’automatisation de Pyramid, ce qui a conduit à la création du PyrEval entièrement automatisé, le précurseur de PyrEval-CR.

Les chercheurs ont testé la fonctionnalité et la fiabilité de PyrEval-CR sur des centaines de véritables essais scientifiques de collèges d’écoles publiques du Wisconsin. Sadhana Puntambekar, professeur de psychologie de l’éducation à l’Université du Wisconsin-Madison et collaborateur aux deux articles, a recruté les professeurs de sciences et élaboré le programme de sciences. Elle a également fourni des données historiques sur les dissertations des étudiants qui étaient nécessaires pour développer PyrEval-CR avant de le déployer dans les salles de classe.

Dans PyrEval-CR, nous avons créé le même type de modèle que PyrEval créerait à partir de quelques passages d’écrivains experts, mais nous l’avons étendu pour l’aligner sur la rubrique qui a du sens pour une invite de rédaction particulière, a déclaré Passonneau. Nous avons fait beaucoup d’expériences pour affiner le logiciel, puis avons confirmé que l’évaluation des logiciels était très fortement corrélée avec une évaluation d’une rubrique manuelle développée et appliquée par le laboratoire de Puntambekars.

Dans l’article AIED, les chercheurs relaient les détails techniques sur la façon dont ils ont adapté le logiciel PyrEval pour créer PyrEval-CR. Selon Passonneau, la plupart des logiciels sont conçus comme un ensemble de modules, ou blocs de construction, chacun ayant une fonction différente.

L’un des modules de PyrEvals crée automatiquement le modèle d’évaluation, appelé pyramide, à partir de quatre à cinq textes de référence écrits à la même invite que les essais des étudiants. Dans le nouveau PyrEval-CR, le modèle d’évaluation, ou rubrique calculable, est créé semi-automatiquement avant même que les étudiants ne reçoivent une invite de rédaction.

PyrEval-CR facilite les choses pour les enseignants dans les salles de classe réelles qui utilisent des rubriques, mais qui n’ont généralement pas les ressources nécessaires pour créer leur propre rubrique et tester si elle peut être utilisée par différentes personnes et obtenir la même évaluation du travail des élèves, a déclaré Passonneau. .

Pour évaluer les essais, les phrases des élèves doivent d’abord être décomposées en clauses individuelles, puis converties en séquences de nombres de longueur fixe, appelées vecteurs, selon Passonneau. Pour capturer la signification des clauses dans leur conversion en vecteurs, un algorithme appelé factorisation de matrice de texte pondérée est utilisé. Passonneau a déclaré que l’algorithme capturait les similitudes essentielles de sens mieux que les autres méthodes testées.

Les chercheurs ont adapté un autre algorithme, connu sous le nom d’ensemble indépendant maximal pondéré, pour s’assurer que PyrEval-CR sélectionne la meilleure analyse d’une phrase donnée.

Il existe de nombreuses façons de décomposer une phrase, et chaque phrase peut être une déclaration complexe ou simple, a déclaré Passonneau. Les humains savent si deux phrases sont similaires en les lisant. Pour simuler cette compétence humaine, nous convertissons chaque idée de rubrique en vecteurs et construisons un graphique où chaque nœud représente les correspondances d’un vecteur d’étudiant avec des vecteurs de rubrique, afin que le logiciel puisse trouver l’interprétation optimale de l’essai de l’étudiant.

À terme, les chercheurs espèrent déployer le logiciel d’évaluation dans les salles de classe pour rendre l’attribution et l’évaluation des essais scientifiques plus pratiques pour les enseignants.

Grâce à cette recherche, nous espérons étayer l’apprentissage des élèves dans les cours de sciences, leur donner juste assez de soutien et de rétroaction, puis reculer pour qu’ils puissent apprendre et réussir par eux-mêmes, a déclaré Passonneau. L’objectif est de permettre aux enseignants STEM de mettre facilement en œuvre des devoirs d’écriture dans leurs programmes.

Outre Passonneau et Puntambekar, les autres contributeurs à l’article de l’ISLS sont : Purushartha Singh et ChanMin Kim, Penn State School of Electrical Engineering and Computer Science ; et Dana Gnesdilow, Samantha Baker, Xuesong Cang et William Goss, Université du Wisconsin-Madison. Outre Passonneau et Puntambekar, les autres contributeurs à l’article de l’AIED sont Mohammad Wasih, Penn State School of Electrical Engineering and Computer Science; Singh, Kim et Cang.

La National Science Foundation a soutenu ce travail.