Comment l’outil de détection d’IA a engendré un faux cas de tricherie à l’UC Davis
Lorsque William Quarterman s’est connecté à son portail Web étudiant pour vérifier les résultats de son examen d’histoire, il a été choqué de voir une accusation de tricherie de son professeur qui y était attachée.
Son professeur avait utilisé un logiciel de détection d’intelligence artificielle, dont un appelé GPTZero, après avoir remarqué que ses réponses à l’examen « (ressemblaient) peu aux questions « pour détecter si le senior du collège avait fait appel à l’intelligence artificielle pour donner un coup de pouce à son examen de mi-session à domicile, selon les dossiers scolaires fournis à USA TODAY par Quarterman.
Le professeur avait raison, selon le logiciel.
Elle lui a donné une note d’échec et une référence à l’Université de Californie, Bureau de soutien aux étudiants et des affaires judiciaires de Davis pour malhonnêteté académique.
Quarterman a nié avoir reçu de l’aide de l’IA, mais a été invité à parler avec le tribunal d’honneur de l’université dans une expérience qui, selon lui, lui a causé « des attaques de panique à part entière ». Il a finalement été blanchi de l’accusation.
Les responsables de l’enseignement supérieur à travers le pays ont du mal à déterminer comment découvrir la tricherie et éviter de porter de fausses accusations de tricherie, car les étudiants utilisent plus fréquemment l’IA pour leurs devoirs et les logiciels de détection basés sur l’IA prolifèrent.
De nombreuses entreprises développant des logiciels de détection de plagiat affirment qu’elles peuvent détecter quand les étudiants utilisent l’IA pour terminer leurs cours tout en concédant que ils sont parfois incorrects.
Les experts en technologie de l’éducation ont déclaré que les éducateurs devraient être prudents face à la nature évolutive rapide des logiciels de détection de triche.
Les universités devraient éviter d’élever ces cas à des mesures disciplinaires dès maintenant, a déclaré Richard Culatta, PDG de la Société internationale pour la technologie dans l’éducation. Au lieu de cela, les éducateurs peuvent demander à un étudiant de montrer son travail avant d’accuser quelqu’un d’utiliser l’IA pour un devoir.
« Si les universités pensent qu’elles vont essayer de le prendre sur le fait, elles vont être submergées par la médiation », a-t-il déclaré. « Mais nous devrions mettre en œuvre des lignes directrices : comment citons-nous les informations provenant de l’IA ? »
Dans un autre cas rendu public, un chroniqueur technologique du Washington Post a découvert que le nouvel outil de détection de l’IA de Turnitin avait faussement découvert que plusieurs articles écrits par des lycéens californiens avaient été fabriqués.
Mélissa Lutz Blouin, une La porte-parole de l’UCDavis, a déclaré que les responsables de l’école aidaient les professeurs à « comprendre comment les outils d’IA peuvent soutenir l’apprentissage des élèves, ainsi que leur utilisation abusive potentielle ». Stacy Fahrenthold, le professeur qui a interrogé Quarterman, a refusé de commenter l’affaire, invoquant les lois sur la confidentialité des étudiants.
ChatGPT en classe :Voici ce que disent les enseignants et les élèves
Un étudiant accusé de tricherie, puis innocenté
Pour faire appel des accusations de son professeur auprès des responsables de l’université, Quarterman a partagé un historique de document Google de la rédaction de son examen qui a montré la preuve qu’il n’utilisait pas l’IA et une multitude de recherches sur la faillibilité de GPTZero et d’autres outils de détection d’IA, selon les dossiers de l’école.
Dans une lettre du 16 mars à l’université faisant appel de l’accusation du professeur fournie à USA TODAY par le père de Quarterman, les étudiants ont déclaré que dans les commentaires de son professeur sur son examen, Fahrenthold a écrit fin février : « William, malheureusement, il semble que cet examen soit plagié. La réponse à Q3, en particulier, est tiré de ChatGPT ou d’un logiciel d’IA similaire, et par conséquent, tiré d’une variété de sources Internet sans attribution ni citation. Les conséquences pour la soumission d’un travail plagié dans ce cours sont une note de 0/20, et une citation à l’OSSJA pour la question de l’intégrité académique. »
Environ un mois après l’accusation, le 24 mars, l’université a abandonné son procès contre Quarterman. Dans une lettre séparée fournie à USA TODAY par le père de Quarterman, Marilyn Derby, directrice associée du Bureau du soutien aux étudiants et des affaires judiciaires de l’université, a écrit à Quarterman : « Après avoir parlé avec vous, parlé avec votre instructeur et fait mes propres recherches sur les indicateurs de texte généré par l’IA, je pense que vous avez très probablement écrit le texte que vous avez soumis pour votre mi-session. En fait, nous n’avons aucune preuve fiable du contraire. «
Derby a déclaré que l’université examinait plusieurs rapports du même type.
« Au moment où votre instructeur a soumis le rapport, nous commencions tout juste notre processus d’apprentissage sur la façon de différencier le texte généré par l’IA du texte généré par l’homme. Nous avons eu un certain nombre de professeurs qui ont soumis des rapports basés sur la sortie de GPTZero. Comme nous l’avons appris de la faillibilité de ces outils, nous avons partagé des informations avec les instructeurs », a-t-elle écrit. « Il est clair que ce sera un défi permanent de rester au courant des implications de cette technologie. »
L’université conseille aux professeurs d’utiliser « une variété d’outils, ainsi que notre propre analyse du travail des étudiants, pour atteindre une prépondérance de preuves plutôt que de s’appuyer sur un seul outil », et l’école évaluera la fiabilité de la détection Turnitin AI, a déclaré Lutz Blouin, porte-parole de l’UCDavis.
Quelle est la fiabilité de la détection IA ?
Quarterman et sa famille sont devenus des militants contre les écoles utilisant la détection par IA pour trouver des tricheurs. La sœur de Quarterman a compilé une importante base de données d’œuvres écrites passées par plusieurs plates-formes de détection d’IA, dont beaucoup montrent de faux positifs.
« De toute évidence, il y a un problème plus large ici », a déclaré son père, John Quarterman.
Les créateurs des outils de détection d’IA développés par des sociétés telles que OpenAI, Turnitin et GPTZero ont mis en garde les éducateurs contre d’éventuelles inexactitudes du logiciel.
« Nous ne voulons vraiment pas que quiconque prenne des décisions académiques définitives sur notre détecteur », a déclaré Edward Tian, créateur de l’outil de détection d’IA GPTZero. « La nature du contenu généré par l’IA change constamment. »
Tian a déclaré que GPTZerois pivotait de son ancien modèle de détection d’intelligence artificielle, et sa prochaine version ne détectera pas l’IA « mais mettra en évidence ce qui est le plus humain ».
OpenAI a également averti les utilisateurs que son outil de détection d’IA n’était pas entièrement fiable lorsque la société l’a publié pour la première fois fin janvier.
TurnitinChief Product Officer Annie Chechitellia également conseillé aux 10 700 collèges et universités et aux 2,1 millions d’enseignants qui ont accès à la capacité de détection d’écriture par IA de l’entreprise via les licences existantes d’être conscients de ses inconvénients.
Parce que le taux de faux positifs n’est pas nul, les éducateurs doivent utiliser « leur jugement professionnel, la connaissance de vos élèves et le contexte spécifique entourant le devoir » avant d’accuser carrément un élève de tricherie, a écrit Chechitelli dans un article de blog en mars.
OpenAI a lancé un deuxième outil :Pour compléter ChatGPT et aider les enseignants à détecter la triche
Les professeurs et les étudiants doivent-ils s’inquiéter ?
Les experts en technologie de l’éducation sont convaincus que les écoles doivent adopter l’IA. Et les éducateurs devraient apprendre à travailler avec lui plutôt que de l’interdire ou de le craindre, d’autant plus qu’il évolue rapidement, ont-ils déclaré à USA TODAY.
Ce n’est pas le Google de vos parents :Pourquoi les universités devraient adopter, et non craindre, ChatGPT et l’IA
De nombreuses écoles ont déjà des codes de conduite qui interdisent la tricherie et le plagiat. Une autre façon pour les écoles de créer des limites supplémentaires autour de l’utilisation de l’IA est de créer des contrats numériques que les étudiants doivent signer afin qu’ils soient conscients de l’utilisation appropriée, a déclaré Culatta.
Et, a déclaré Culatta, les écoles et les éducateurs pourraient élaborer des politiques concernant la citation de l’IA le cas échéant, rendre les évaluations plus rigoureuses pour éviter les possibilités de plagiat et déterminer les bonnes questions à poser lorsqu’un élève est soupçonné de tricherie.
« Cela ne devrait pas être une surprise »:La communauté éducative partage des réactions mitigées à ChatGPT
Rétrospectivement, a déclaré Quarterman, les étudiants devraient utiliser des documents Google pour rédiger leurs devoirs comme il l’a fait, ou un autre traitement de texte qui suit le travail écrit à titre de preuve au cas où ils se retrouveraient dans la même situation.
« Soyez prêt à être accusé et dénoncé comme utilisant l’IA. »
Contactez Kayla Jimenez à kjimenez@usatoday.com. Suivez-la sur Twitter à @kaylajjimenez.