Vers le développement de logiciels autonomes : la révolution des agents SWE

Les modèles de langage (LM) ont gagné du terrain en tant qu’aides au génie logiciel, où les utilisateurs agissent comme intermédiaires entre les LM et les ordinateurs, affinant le code généré par LM en fonction des commentaires de l’ordinateur. Les progrès récents décrivent les LM fonctionnant de manière autonome dans des environnements informatiques, accélérant potentiellement le développement de logiciels. Cependant, l’application pratique de cette approche autonome doit encore être explorée.

Les benchmarks de génération de code servent de mesures cruciales pour évaluer les performances de LM, évoluant pour inclure diverses tâches telles que la traduction de problèmes dans différents langages de programmation et l’incorporation de bibliothèques tierces. Alors que les benchmarks traditionnels peuvent devenir saturés en raison du développement rapide du LM, des efforts récents explorent le paysage plus complexe du génie logiciel (SE). Ce changement a conduit à l’émergence de références SE comme SWE-bench, qui reflètent les défis SE du monde réel, mettant en valeur le potentiel des LM dans des contextes pratiques. En outre, la montée en puissance des agents linguistiques signifie un changement de paradigme vers des paramètres LM interactifs, avec des applications couvrant la navigation Web, le contrôle informatique et les tâches de génération de code.

Des chercheurs de Princeton Language and Intelligence (PLI), de l’Université de Princeton, présentent Agent SWE, un système autonome basé sur LM qui relève les défis réels de l’ingénierie logicielle à partir du banc SWE. Il fonctionne en émettant des pensées et des commandes, puis en recevant des commentaires sur l’exécution des commandes à l’aide de l’environnement ReAct. L’idée principale réside dans la conception d’une interface agent-ordinateur (ACI) adaptée aux LM, qui surpasse les interfaces traditionnelles comme le shell Linux. L’inadéquation du shell Linux pour l’interaction LM incite à la création d’un ACI efficace pour l’agent SWE, améliorant considérablement les performances avec des commandes de manipulation de fichiers et des commentaires informatifs.

L’agent SWE révolutionne l’interaction LM dans le génie logiciel en fournissant une ACI sur mesure pour la navigation, l’édition et l’exécution de commandes de code. Contrairement aux interfaces traditionnelles conçues pour les utilisateurs humains, les agents SWE ACI répondent aux besoins et aux limites spécifiques de LM, améliorant ainsi considérablement les performances. L’ACI comprend des composants de recherche/navigation, d’affichage de fichiers, d’édition de fichiers et de gestion de contexte, garantissant une navigation et une édition efficaces de la base de code tout en minimisant les distractions et les erreurs. L’intégration par les agents SWE d’un linter de code alerte le modèle des erreurs lors des modifications de fichiers, garantissant ainsi la qualité du code. La gestion du contexte comprend des invites concises, des messages d’erreur et des processeurs d’historique pour maintenir le contexte informatif de l’agent et améliorer la clarté des interactions.

L’agent SWE, associé à GPT-4 Turbo, atteint des performances supérieures, résolvant respectivement 12,47 % et 18,00 % de l’ensemble de tests complet du banc SWE et de la division Lite. Les interfaces de recherche itératives, ressemblant aux interfaces utilisateur traditionnelles comme Vim ou VSCode, fournissent les résultats de recherche de manière séquentielle via la visionneuse de fichiers. Cependant, une recherche exhaustive peut nuire à l’efficacité. L’éditeur de fichiers SWE-agents permet des modifications multilignes efficaces avec un retour immédiat, contrastant avec les options restrictives du paramètre Shell uniquement. Les garde-fous pour la récupération des erreurs atténuent les modifications répétitives dues aux erreurs de syntaxe, améliorant ainsi les performances globales.

En conclusion, cette recherche présente SWE-agent, un agent linguistique adapté aux tâches d’ingénierie logicielle, présentant des performances de pointe sur SWE-bench. Cette approche met en évidence l’importance de concevoir des ACI spécifiques aux besoins des agents, comme en témoignent leur méthodologie, leurs résultats empiriques et leur analyse. Les chercheurs ont fourni leur code, leurs invites et leurs générations, ainsi qu’une base de code flexible pour les futures extensions. SWE-agent vise à inspirer les progrès en matière de polyvalence et de capacité des agents pour les projets futurs.

VérifiezPapier.Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de nous suivre surTwitter.Rejoignez notreChaîne de télégramme,Chaîne DiscordeetLinkedIn Groups.

Si vous aimez notre travail, vous allez adorer notrebulletin..

N’oubliez pas de rejoindre notre42 000+ sous-reddit ML