L’ingénierie des invites IA est morte

Depuis l’abandon de ChatGPT à l’automne 2022, tout le monde et son âne se sont essayés à l’ingénierie rapide pour trouver un moyen intelligent de formuler votre requête dans un grand modèle de langage (LLM) ou dans un générateur d’art ou de vidéo d’IA pour obtenir les meilleurs résultats ou contourner les protections. Internet regorge de guides d’ingénierie rapide, d’aide-mémoire et de fils de conseils pour vous aider à tirer le meilleur parti d’un LLM.

Dans le secteur commercial, les entreprises se battent désormais avec les LLM pour créer des copilotes de produits, automatiser des tâches fastidieuses, créer des assistants personnels, etc., explique Austin Henley, un ancien employé de Microsoft qui a mené une série d’entretiens avec des personnes développant des copilotes basés sur LLM. Chaque entreprise essaie de l’utiliser pour pratiquement tous les cas d’utilisation qu’elle peut imaginer, explique Henley.

La seule véritable tendance est peut-être l’absence de tendance. Ce qui convient le mieux à un modèle, un ensemble de données et une stratégie d’incitation donnés sera probablement spécifique à la combinaison particulière en question. Rick Battle et Teja Gollapudi, VMware

Pour ce faire, ils ont fait appel à des ingénieurs professionnels et rapides.

Cependant, de nouvelles recherches suggèrent que l’ingénierie rapide est mieux réalisée par le modèle lui-même, et non par un ingénieur humain. Cela a semé le doute sur l’avenir de l’ingénierie rapide et a accru les soupçons selon lesquels une bonne partie des emplois en ingénierie rapide pourraient être une mode passagère, du moins tel que ce domaine est actuellement imaginé.

Les invites réglées automatiquement sont réussies et étranges

Rick Battle et Teja Gollapudi de la société de cloud computing VMware basée en Californie étaient perplexes face à la façon dont les performances LLM étaient capricieuses et imprévisibles en réponse à des techniques d’incitation étranges. Par exemple, les gens ont constaté que demander à des modèles d’expliquer leur raisonnement étape par étape, une technique appelée chaîne de pensée, améliorait leurs performances sur une gamme de questions mathématiques et logiques. Encore plus étrange, Battle a découvert que donner à un modèle des invites positives, comme celle-ci, serait amusant ou que vous êtes aussi intelligent que chatGPT, améliorant parfois les performances.

Battle et Gollapudi ont décidé de tester systématiquement l’impact de différentes stratégies d’ingénierie rapide sur la capacité d’un LLM à résoudre des questions de mathématiques à l’école primaire. Ils ont testé trois modèles de langage open source différents avec chacun 60 combinaisons d’invites différentes. Ce qu’ils ont constaté était un manque surprenant de cohérence. Même les incitations en chaîne de pensée ont parfois aidé et d’autres fois ont nui aux performances. La seule véritable tendance pourrait bien être l’absence de tendance, écrivent-ils. Ce qui convient le mieux à un modèle, un ensemble de données et une stratégie d’incitation donnés sera probablement spécifique à la combinaison particulière en question.

Selon une équipe de recherche, aucun humain ne devrait plus jamais optimiser manuellement les invites.

Il existe une alternative à l’ingénierie des invites par essais et erreurs qui a donné des résultats aussi incohérents : demander au modèle de langage de concevoir sa propre invite optimale. Récemment, de nouveaux outils ont été développés pour automatiser ce processus. Compte tenu de quelques exemples et d’une mesure quantitative de réussite, ces outils trouveront de manière itérative la phrase optimale à alimenter dans le LLM. Battle et ses collaborateurs ont constaté que dans presque tous les cas, cette invite générée automatiquement fonctionnait mieux que la meilleure invite trouvée par essais et erreurs. Et le processus était beaucoup plus rapide, quelques heures plutôt que plusieurs jours de recherche.

Les invites optimales émises par l’algorithme étaient si bizarres qu’aucun humain ne les aurait probablement jamais proposées. Je ne pouvais littéralement pas croire certaines des choses que cela générait, dit Battle. Dans un cas, l’invite n’était qu’une référence étendue à Star Trek : Commandement, nous avons besoin que vous traciez un parcours à travers ces turbulences et que vous localisiez la source de l’anomalie. Utilisez toutes les données disponibles et votre expertise pour nous guider dans cette situation difficile. Apparemment, penser que c’était le capitaine Kirk a aidé ce LLM en particulier à mieux réussir dans les questions de mathématiques de l’école primaire.

Battle dit que l’optimisation algorithmique des invites est fondamentalement logique étant donné ce que les modèles de langage sont réellement des modèles. Beaucoup de gens anthropomorphisent ces choses parce qu’ils parlent anglais. Non, ils ne le font pas, dit Battle. Il ne parle pas anglais. Cela fait beaucoup de mathématiques.

En fait, à la lumière des résultats de son équipe, Battle affirme qu’aucun humain ne devrait plus jamais optimiser manuellement les invites.

Vous êtes simplement assis là à essayer de comprendre quelle combinaison magique spéciale de mots vous donnera la meilleure performance possible pour votre tâche, dit Battle, mais c’est là que, espérons-le, cette recherche interviendra et vous dira de ne pas vous embêter. Développez simplement une métrique de notation afin que le système lui-même puisse déterminer si une invite est meilleure qu’une autre, puis laissez simplement le modèle s’optimiser.

Les invites réglées automatiquement rendent également les images plus jolies

Les algorithmes de génération d’images peuvent également bénéficier d’invites générées automatiquement. Récemment, une équipe des laboratoires Intel, dirigée par Vasudev Lal, s’est lancée dans une quête similaire pour optimiser les invites pour le modèle de génération d’images Stable Diffusion. Cela ressemble plus à un bug des LLM et des modèles de diffusion, et non à une fonctionnalité, que vous deviez effectuer cette ingénierie rapide experte, dit Lal. Nous voulions donc voir si nous pouvions automatiser ce type d’ingénierie rapide.

Nous disposons désormais de toute cette machinerie, de la boucle complète complétée par cet apprentissage par renforcement. C’est pourquoi nous sommes en mesure de surpasser l’ingénierie humaine. Vasudev Lal, Laboratoires Intel

L’équipe de Lals a créé un outil appelé NeuroPrompts qui prend une simple invite de saisie, comme un garçon sur un cheval, et l’améliore automatiquement pour produire une meilleure image. Pour ce faire, ils ont commencé avec une série d’invites générées par des experts en ingénierie humaine. Ils ont ensuite formé un modèle de langage pour transformer des invites simples en invites de niveau expert. En plus de cela, ils ont utilisé l’apprentissage par renforcement pour optimiser ces invites afin de créer des images plus esthétiques, comme l’a évalué un autre modèle d’apprentissage automatique, PickScore, un outil d’évaluation d’images récemment développé.

NeuroPrompts est un tuner automatique d’invites génératives d’IA qui transforme des invites simples en résultats de diffusion stable plus détaillés et visuellement époustouflants, comme dans ce cas, une image générée par une invite générique. [left] par rapport à son image équivalente générée par NeuroPrompt.Laboratoires Intel/Diffusion stable

Ici aussi, les invites générées automatiquement ont fait mieux que les invites expertes et humaines utilisées comme point de départ, du moins selon la métrique PickScore. Lal a trouvé cela sans surprise. Les humains ne le feront qu’avec des essais et des erreurs, dit Lal. Mais maintenant nous disposons de cette machinerie complète, de la boucle complète qui est complétée par cet apprentissage par renforcement. C’est pourquoi nous sommes en mesure de surpasser l’ingénierie humaine.

La qualité esthétique étant notoirement subjective, Lal et son équipe voulaient donner à l’utilisateur un certain contrôle sur la façon dont l’invite était optimisée. Dans son outil, l’utilisateur peut spécifier l’invite d’origine (par exemple, un garçon à cheval) ainsi qu’un artiste à imiter, un style, un format et d’autres modificateurs.

Lal estime qu’à mesure que les modèles d’IA générative évoluent, qu’il s’agisse de générateurs d’images ou de grands modèles de langage, les étranges bizarreries de la dépendance rapide devraient disparaître. Je pense qu’il est important que ces types d’optimisations soient étudiés et qu’en fin de compte, elles soient réellement intégrées dans le modèle de base lui-même afin que vous n’ayez pas vraiment besoin d’une étape compliquée d’ingénierie rapide.

L’ingénierie rapide survivra, sous un nom quelconque

Même si les invites de réglage automatique deviennent la norme dans l’industrie, les tâches liées à l’ingénierie des invites ne disparaîtront pas, sous une forme ou une autre, déclare Tim Cramer, vice-président senior de l’ingénierie logicielle chez Red Hat. L’adaptation de l’IA générative aux besoins de l’industrie est une entreprise complexe et en plusieurs étapes qui continuera à nécessiter la participation des humains dans un avenir prévisible.

Peut-être que nous les appelions aujourd’hui des ingénieurs rapides. Mais je pense que la nature de cette interaction continuera de changer à mesure que les modèles d’IA changeront également. Vasudev Lal, Laboratoires Intel

Je pense qu’il y aura des ingénieurs rapides pendant un certain temps, ainsi que des data scientists, dit Cramer. Il ne s’agit pas simplement de poser des questions au LLM et de s’assurer que la réponse semble bonne. Mais il y a toute une série de choses que les ingénieurs doivent vraiment être capables de faire.

Il est très facile de réaliser un prototype, explique Henley. Il est très difficile de le produire en production. L’ingénierie rapide semble être une pièce importante du puzzle lorsque vous construisez un prototype, explique Henley, mais de nombreuses autres considérations entrent en jeu lorsque vous créez un produit de qualité commerciale.

Les défis liés à la création d’un produit commercial incluent la garantie de la fiabilité, par exemple l’échec progressif lorsque le modèle est hors ligne ; adapter la sortie du modèle au format approprié, car de nombreux cas d’utilisation nécessitent des sorties autres que du texte ; des tests pour s’assurer que l’assistant IA ne fera pas quelque chose de nuisible, même dans un petit nombre de cas ; et garantir la sécurité, la confidentialité et la conformité. Selon Henley, les tests et la conformité sont particulièrement difficiles, car les stratégies traditionnelles de test de développement de logiciels sont inadaptées aux LLM non déterministes.

Pour accomplir cette myriade de tâches, de nombreuses grandes entreprises annoncent un nouveau titre de poste : Large Language Model Operations, ou LLMOps, qui inclut une ingénierie rapide dans son cycle de vie mais implique également toutes les autres tâches nécessaires au déploiement du produit. Henley affirme que les prédécesseurs de LLMOps, les ingénieurs en opérations d’apprentissage automatique (MLOps), sont les mieux placés pour assumer ces tâches.

Que les titres de poste soient ingénieur rapide, ingénieur LLMOps ou quelque chose de complètement nouveau, la nature du travail continuera d’évoluer rapidement. Peut-être que nous les appelons aujourd’hui des ingénieurs rapides, dit Lal, mais je pense que la nature de cette interaction continuera de changer à mesure que les modèles d’IA continueront également de changer.

Je ne sais pas si nous allons le combiner avec un autre type de catégorie d’emploi ou de poste, dit Cramer, mais je ne pense pas que ces choses vont disparaître de si tôt. Et le paysage est tout simplement trop fou en ce moment. Tout change tellement. Nous n’allons pas tout comprendre en quelques mois.

Henley dit que, dans une certaine mesure, à ce stade précoce du domaine, la seule règle dominante semble être l’absence de règles. C’est un peu le Far West pour ça en ce moment. il dit.