Attention, ingénieurs logiciels : ChatGPT détecte et corrige des bogues dans le code

AI bot ChatGPT a été mis à l’épreuve sur un certain nombre de tâches ces dernières semaines, et son dernier défi est une gracieuseté de chercheurs en informatique de l’Université Johannes Gutenberg et de l’University College London, qui trouvent(Ouvre dans une nouvelle fenêtre) que ChatGPT peut éliminer les erreurs avec un exemple de code et le réparer mieux que les programmes existants conçus pour faire de même.

Les chercheurs ont donné 40 morceaux de code bogué à quatre systèmes de correction de code différents : ChatGPT, Codex, CoCoNut et Standard APR. Essentiellement, ils ont demandé à ChatGPT : « Qu’est-ce qui ne va pas avec ce code ? » puis copiez-le et collez-le dans la fonction de chat.

Lors du premier passage, ChatGPT a fonctionné à peu près aussi bien que les autres systèmes. ChatGPT a résolu 19 problèmes, Codex en a résolu 21, CoCoNut en a résolu 19 et les méthodes APR standard en ont résolu sept. Les chercheurs ont trouvé que ses réponses étaient les plus similaires à Codex, ce qui n’était « pas surprenant, car ChatGPT et Codex appartiennent à la même famille de modèles de langage ».

Cependant, la possibilité de discuter avec ChatGPT après avoir reçu la réponse initiale a fait la différence, ce qui a finalement permis à ChatGPT de résoudre 31 questions et de surpasser facilement les autres, qui fournissaient des réponses plus statiques.

« Un avantage puissant de ChatGPT est que nous pouvons interagir avec le système dans un dialogue pour spécifier une demande plus en détail », indique le rapport des chercheurs. « Nous constatons que pour la plupart de nos demandes, ChatGPT demande plus d’informations sur le problème et le bogue. En fournissant de tels conseils à ChatGPT, son taux de réussite peut être encore augmenté, en corrigeant 31 bogues sur 40, surpassant l’état de l’art -de l’art. »

Ils ont constaté que ChatGPT était capable de résoudre certains problèmes rapidement, tandis que d’autres faisaient plus d’allers-retours. « ChatGPT semble avoir une variance relativement élevée lors de la correction de bogues », indique l’étude. « Pour un utilisateur final, cependant, cela signifie qu’il peut être utile d’exécuter des demandes plusieurs fois. »

Par exemple, lorsque les chercheurs ont posé la question illustrée ci-dessous, ils s’attendaient à ce que ChatGPT recommande de remplacer n^=n-1 avec n&=n-1, mais la première chose que ChatGPT a dite a été : « Je ne peux pas dire si le programme a un bogue sans plus d’informations sur le comportement attendu. » Sur la troisième réponse de ChatGPT, après plus d’incitations des chercheurs, il a trouvé le problème.

(Crédit : Dominik Sobania, Martin Briesch, Carol Hanna, Justyna Petke)

Cependant, lorsque PCMag a saisi la même question dans ChatGPT, il a répondu différemment. Plutôt que d’avoir à lui dire quel est le comportement attendu, il a deviné ce que c’était. ChatGPT apprend toujours sur la base des contributions des utilisateurs, et il semble qu’il ait appris ce que ce morceau de code est censé faire, peut-être des chercheurs qui ont réalisé l’étude. L’échange que nous avons eu était différent de celui des chercheurs et sera probablement différent la prochaine fois également.

Réponse ChatGPT (Crédit : Emily Dreibelbis/ChatGPT)

Le succès de l’étude a le potentiel de redéfinir l’industrie existante de 600 millions de dollars(Ouvre dans une nouvelle fenêtre) dédié à aider les ingénieurs logiciels à trouver et à corriger les bogues. Plateformes populaires telles que Sentry(Ouvre dans une nouvelle fenêtre) sont devenus des outils standard au sein des équipes logicielles, accélérant considérablement leur capacité à créer du code fonctionnel en publiant des rapports sur les problèmes et en suggérant des correctifs.

Tout comme Google a publié un « code rouge(Ouvre dans une nouvelle fenêtre) » En ce qui concerne les résultats de recherche impressionnants de ChatGPT, les enseignants ferment l’accès des étudiants pour empêcher la triche. ChatGPT a récemment réussi un examen MBA délivré par un professeur de Wharton, mais à peine.

Les entreprises qui créent des logiciels de correction de bogues – et les ingénieurs en logiciel eux-mêmes – en prennent note. Cependant, un obstacle évident pour les entreprises technologiques qui adoptent ChatGPT sur une plate-forme comme Sentry dans sa forme actuelle est qu’il s’agit d’une base de données publique (le dernier endroit où une entreprise souhaite que ses ingénieurs envoient la propriété intellectuelle convoitée).

La prochaine étape de ChatGPT est le lancement d’une version payante, qui coûterait 42 $ par mois.

Note de la rédaction : Cette histoire disait à l’origine que les chercheurs étaient de l’Université Cornell. Leur article a été publié sur arXiv.org, qui est géré par la bibliothèque de l’Université Cornell, mais ils proviennent de l’Université Johannes Gutenberg et de l’University College London.