DeepMind affirme que son nouveau moteur de codage IA est aussi bon qu’un programmeur humain moyen

DeepMind a créé un système d’intelligence artificielle nommé AlphaCode qui, selon lui, écrit des programmes informatiques à un niveau compétitif. La filiale d’Alphabet a testé son système par rapport aux défis de codage utilisés dans les compétitions humaines et a constaté que son programme atteignait un classement estimé le plaçant dans le top 54 % des codeurs humains. Le résultat est un pas en avant significatif pour le codage autonome, déclare DeepMind, bien que les compétences d’AlphaCodes ne soient pas nécessairement représentatives du type de tâches de programmation auxquelles est confronté le codeur moyen.

Oriol Vinyals, chercheur principal chez DeepMind, a déclaré Le bord par e-mail que la recherche en était encore à ses débuts mais que les résultats ont rapproché l’entreprise de la création d’une IA flexible de résolution de problèmes, un programme capable de relever de manière autonome les défis de codage qui sont actuellement le domaine des seuls humains. À plus long terme, étaient enthousiasmés par [AlphaCodes] potentiel pour aider les programmeurs et les non-programmeurs à écrire du code, à améliorer la productivité ou à créer de nouvelles façons de créer des logiciels, a déclaré Vinyals.

AlphaCode a été testé par rapport à des défis organisés par Codeforces, une plate-forme de codage compétitive qui partage des problèmes hebdomadaires et publie des classements pour les codeurs similaires au système de notation Elo utilisé aux échecs. Ces défis sont différents du type de tâches auxquelles un codeur peut être confronté lors de la création, par exemple, d’une application commerciale. Ils sont plus autonomes et nécessitent une connaissance plus large des algorithmes et des concepts théoriques en informatique. Considérez-les comme des énigmes très spécialisées qui combinent logique, mathématiques et expertise en codage.

Dans un exemple de défi sur lequel AlphaCode a été testé, les concurrents sont invités à trouver un moyen de convertir une chaîne de caractères aléatoires répétés s et t lettres dans une autre chaîne des mêmes lettres en utilisant un ensemble limité d’entrées. Les concurrents ne peuvent pas, par exemple, simplement taper de nouvelles lettres, mais doivent à la place utiliser une commande de retour arrière qui supprime plusieurs lettres dans la chaîne d’origine. Vous pouvez lire une description complète du défi ci-dessous :

Image : DeepMind / Codeforces

Dix de ces défis ont été introduits dans AlphaCode exactement dans le même format qu’ils sont donnés aux humains. AlphaCode a ensuite généré un plus grand nombre de réponses possibles et les a triées en exécutant le code et en vérifiant la sortie comme le ferait un concurrent humain. L’ensemble du processus est automatique, sans sélection humaine des meilleurs échantillons, ont déclaré Yujia Li et David Choi, co-responsables de l’article AlphaCode. Le bord par e-mail.

AlphaCode a été testé sur 10 des défis relevés par 5 000 utilisateurs sur le site Codeforces. En moyenne, il s’est classé parmi les 54,3 % des meilleures réponses, et DeepMind estime que cela donne au système un Elo Codeforces de 1238, ce qui le place dans les 28 % des meilleurs utilisateurs qui ont concouru sur le site au cours des six derniers mois.

Je peux dire en toute sécurité que les résultats d’AlphaCode ont dépassé mes attentes, a déclaré le fondateur de Codeforces, Mike Mirzayanov, dans un communiqué partagé par DeepMind. j’étais sceptique [sic] car même dans des problèmes compétitifs simples il faut souvent non seulement implémenter l’algorithme, mais aussi (et c’est la partie la plus difficile) l’inventer. AlphaCode a réussi à performer au niveau d’un nouveau concurrent prometteur.

Image : DeepMind

DeepMind note que l’ensemble de compétences actuel d’AlphaCodes n’est actuellement applicable que dans le domaine de la programmation compétitive, mais que ses capacités ouvrent la porte à la création de futurs outils qui rendent la programmation plus accessible et un jour entièrement automatisée.

De nombreuses autres entreprises travaillent sur des applications similaires. Par exemple, Microsoft et le laboratoire d’intelligence artificielle OpenAI ont adapté ce dernier programme générateur de langage GPT-3 pour qu’il fonctionne comme un programme de saisie semi-automatique qui termine des chaînes de code. (Comme GPT-3, AlphaCode est également basé sur une architecture d’intelligence artificielle connue sous le nom de transformateur, qui est particulièrement apte à analyser du texte séquentiel, à la fois en langage naturel et en code). Pour l’utilisateur final, ces systèmes fonctionnent exactement comme la fonctionnalité Smart Compose de Gmail suggérant des moyens de terminer tout ce que vous écrivez.

De nombreux progrès ont été réalisés dans le développement de systèmes de codage d’IA ces dernières années, mais ces systèmes sont loin d’être prêts à simplement prendre en charge le travail des programmeurs humains. Le code qu’ils produisent est souvent bogué, et parce que les systèmes sont généralement formés sur des bibliothèques de code public, ils reproduisent parfois du matériel protégé par le droit d’auteur.

Dans une étude sur un outil de programmation d’IA nommé Copilot développé par le référentiel de code GitHub, les chercheurs ont découvert qu’environ 40 % de sa sortie contenait des vulnérabilités de sécurité. Les analystes de la sécurité ont même suggéré que des acteurs malveillants pourraient intentionnellement écrire et partager du code avec des portes dérobées cachées en ligne, qui pourraient ensuite être utilisées pour former des programmes d’IA qui inséreraient ces erreurs dans de futurs programmes.

De tels défis signifient que les systèmes de codage de l’IA seront probablement intégrés lentement dans le travail des programmeurs commençant comme assistants dont les suggestions sont traitées avec suspicion avant qu’on ne leur fasse confiance pour effectuer le travail par eux-mêmes. Autrement dit : ils ont un apprentissage à faire. Mais jusqu’à présent, ces programmes apprennent vite.