Une nouvelle recherche copilote GitHub révèle une « pression à la baisse sur la qualité du code » – Visual Studio Magazine

Nouvelles

Une nouvelle recherche copilote GitHub révèle une « pression à la baisse sur la qualité du code »

De nouvelles recherches sur l’effet de GitHub Copilot basé sur l’IA sur le développement de logiciels font état de certains résultats défavorables.

Le livre blanc « Coding on Copilot » de GitClear cherchait à étudier la qualité et la maintenabilité du code assisté par l’IA par rapport à ce qui aurait été écrit par un humain. En d’autres termes : « Est-ce que cela ressemble davantage aux contributions minutieuses et raffinées d’un développeur senior, ou plutôt au travail décousu d’un entrepreneur à court terme ? »

La réponse à cette question est résumée dans ce paragraphe du résumé du livre blanc :

« Nous constatons des tendances déconcertantes en matière de maintenabilité. Le taux de désabonnement du code – le pourcentage de lignes qui sont annulées ou mises à jour moins de deux semaines après leur création – devrait doubler en 2024 par rapport à sa référence de 2021, avant l’IA. Nous constatons en outre que le pourcentage de « code ajouté » et de « code copié/collé » augmente proportionnellement au code « mis à jour », « supprimé » et « déplacé ». À cet égard, le code généré par l’IA ressemble à un contributeur itinérant, enclin à violer le Sécheresse [don’t repeat yourself] des pensions visitées. »

Cela sert de contrepoint aux conclusions de certaines autres études, dont une de GitHub en 2022 qui a révélé, entre autres : « les développeurs qui ont utilisé GitHub Copilot ont accompli la tâche beaucoup plus rapidement – 55 % plus rapidement que les développeurs qui n’ont pas utilisé GitHub ». Copilote. » Cette étude a été mentionnée dans le nouveau livre blanc de GitClear, qui vend un outil de révision de code basé sur le cloud. En plus de la productivité, l’étude GitHub a également mesuré les effets positifs sur la satisfaction des développeurs et la conservation de l’énergie mentale.

Les recherches de GitClear ont toutefois étudié « comment la composition du code change lorsque l’IA est utilisée ». GitClear a déclaré que son rapport met en lumière :

• Quels sont les trois changements significatifs depuis l’introduction de Copilot ?
• De quoi les responsables techniques doivent-ils être attentifs pour 2024 ?
• Comment mesurer l’impact de l’IA sur la qualité du code de votre équipe ?

Concernant ce premier élément, le document a indiqué que les trois changements les plus significatifs associés à la montée en puissance de Copilot concernaient le code « Churn » et « Déplacé » et « Copier/Collé » :

• Taux de désabonnement en plein essor : « L’essentiel est que » l’utilisation de Copilot « est fortement corrélée au » code d’erreur « poussé vers le dépôt. »

• Moins de code déplacé implique moins de refactorisation, moins de réutilisation : « Combiné à la croissance du code étiqueté « Copier/Coller », il n’y a guère de place pour douter que la mise en œuvre actuelle des assistants IA décourage la réutilisation du code. Au lieu de refactoriser et de travailler sur du code SÉCHAGE (« Ne vous répétez pas »), ces Les assistants offrent la tentation de répéter le code existant en appuyant simplement sur une touche. »
• Plus de code copié/collé implique de futurs maux de tête : « Il n’y a peut-être pas de plus grand fléau pour la maintenabilité du code à long terme que le copier/coller du code. En effet, lorsqu’une ligne de code autre qu’un mot-clé est répétée, l’auteur du code admet ‘Je n’ai pas eu le temps d’évaluer la précédente’. mise en œuvre.’ En rajoutant du code au lieu de le réutiliser, la tâche revient aux futurs responsables de trouver comment consolider les chemins de code parallèles qui implémentent les fonctionnalités nécessaires à plusieurs reprises. »

L’article conclut : « Comment Copilot va-t-il transformer ce que signifie être développeur ? Il ne fait aucun doute que, à mesure que l’IA gagne en popularité, nous sommes entrés dans une ère où les lignes de code sont ajoutées plus rapidement que jamais. La meilleure question pour 2024 : qui doit nettoyer le désordre après ? »

Certaines autres études sur le sujet comprennent :

Pour son étude, GitClear a collecté et analysé 153 millions de lignes de code modifiées, rédigées entre janvier 2020 et décembre 2023.