ChatGPT répond incorrectement à plus de la moitié des questions d’ingénierie logicielle
La capacité de ChatGPT à fournir des réponses conversationnelles à n’importe quelle question à tout moment fait du chatbot une ressource pratique pour vos besoins d’information. Malgré la commodité, une nouvelle étude révèle que vous ne voudrez peut-être pas utiliser ChatGPT pour les invites d’ingénierie logicielle.
Avant l’essor des chatbots IA, Stack Overflow était la ressource incontournable pour les programmeurs qui avaient besoin de conseils pour leurs projets, avec un modèle de questions-réponses similaire à celui de ChatGPT.
Aussi: Comment empêcher le nouveau robot d’exploration Web de formation à l’IA d’OpenAI d’ingérer vos données
Cependant, avec Stack Overflow, vous devez attendre que quelqu’un réponde à votre question alors qu’avec ChatGPT, vous ne le faites pas.
En conséquence, de nombreux ingénieurs en logiciel et programmeurs se sont tournés vers ChatGPT avec leurs questions. Puisqu’il n’y avait aucune donnée montrant à quel point ChatGPT est efficace pour répondre à ces types d’invites, une nouvelle étude de l’Université Purdue a étudié le dilemme.
Pour découvrir à quel point ChatGPT est efficace pour répondre aux invites d’ingénierie logicielle, les chercheurs ont posé des questions ChatGPT 517 Stack Overflow et ont examiné l’exactitude et la qualité de ces réponses.
Aussi: Comment utiliser ChatGPT pour écrire du code
Les résultats ont montré que sur les 512 questions, 259 (52%) des réponses de ChatGPT étaient incorrectes et seulement 248 (48%) étaient correctes. De plus, un énorme 77% des réponses étaient verbeuses.
Malgré l’imprécision importante des réponses, les résultats ont montré que les réponses étaient complètes 65 % du temps et abordaient tous les aspects de la question.
Pour analyser plus en détail la qualité des réponses ChatGPT, les chercheurs ont demandé à 12 participants ayant différents niveaux d’expertise en programmation de donner leur avis sur les réponses.
Aussi : Stack Overflow utilise l’IA pour donner aux programmeurs un nouvel accès aux connaissances de la communauté
Bien que les participants aient préféré les réponses de Stack Overflow à celles de ChatGPT dans diverses catégories, comme le montre le graphique, les participants n’ont pas réussi à identifier correctement les réponses incorrectes générées par ChatGPT 39,34 % du temps.
Selon l’étude, les réponses bien articulées produites par ChatGPT ont amené les utilisateurs à ignorer des informations incorrectes dans les réponses.
« Les utilisateurs négligent les informations incorrectes dans les réponses ChatGPT (39,34 % du temps) en raison des informations complètes, bien articulées et humanoïdes des réponses ChatGPT », ont écrit les auteurs.
Aussi: Comment ChatGPT peut réécrire et améliorer votre code existant
La génération de réponses plausibles qui sont incorrectes est un problème important pour tous les chatbots, car elle permet la propagation de fausses informations. En plus de ce risque, les faibles scores de précision devraient être suffisants pour vous inciter à reconsidérer l’utilisation de ChatGPT pour ces types d’invites.