L’IA générative oblige à repenser le processus de développement logiciel
L’IA générative nécessite toutefois un changement de paradigme. Chez Freeplay, où notre plateforme permet aux équipes de gérer le cycle de vie de développement de produits de bout en bout à partir de modèles de langages étendus (LLM), nous avons constaté que de nombreuses hypothèses sur lesquelles repose le développement logiciel traditionnel ne s’appliquent pas à la création de produits autour des LLM. Ces modèles ne sont pas déterministes, ce qui signifie qu’ils peuvent produire des résultats différents, même lorsqu’on leur donne la même invite. Ils peuvent également échouer de manières diverses et inattendues. Les LLM sont peut-être tristement célèbres pour avoir des hallucinations, mais ils fournissent parfois des réponses vagues, incomplètes, hors marque, mal formatées ou tout simplement inintéressantes. De plus, les modèles changent constamment et l’utilisation des systèmes d’intelligence artificielle par les clients peut être surprenante. Pour toutes ces raisons, vous ne devez pas créer et tester un système d’IA en amont, puis vous en éloigner une fois qu’il est opérationnel et passer à l’étape suivante.
Les entreprises qui créent aujourd’hui des applications d’IA générative de la manière la plus efficace sont celles qui ont mis en place un système comprenant à la fois des outils et des processus pour apprendre en permanence et optimiser leur utilisation des LLM. À un niveau élevé, il existe quelques aspects clés de la création d’applications d’IA générative qu’il est particulièrement important que tout leader technologique connaisse.
Évaluation: Avec l’IA générative, vous devez réfléchir plus en profondeur au résultat souhaité et à ce à quoi ressemble une fonctionnalité de produit. Imaginons que vous construisiez un générateur de brouillons d’e-mails. Vous voulez en savoir bien plus que s’il produit du texte. Vous voulez probablement savoir s’il est exact sur le plan factuel, si le ton et le format sont appropriés à l’auteur et si les bons noms et salutations sont inclus. Ces éléments peuvent être plus difficiles à mesurer. Dans le contexte des produits d’IA, chacun de ces critères est appelé une évaluation ou eval en abrégé et peut être effectué à la fois sur des données de test et en direct en utilisant un mélange de code, de révision humaine et même d’autres modèles LLM. Un panel personnalisé d’évaluations contextuellement pertinentes constitue l’épine dorsale de l’analyse des produits d’IA.
Étiquetage et conservation des données : En lien étroit avec l’évaluation, vous avez besoin de personnes possédant une expertise suffisante dans le domaine et qui examinent constamment les données. Il n’existe pas d’automatisation complète lorsqu’il s’agit de créer de bons produits d’IA génératifs. Des personnes de confiance, bien formées pour comprendre à quoi ressemble une bonne image, jouent un rôle essentiel dans toute boucle de rétroaction de l’IA. Non seulement ils peuvent étiqueter les données dans le cadre d’un processus d’évaluation, mais ils peuvent également repérer de nouveaux problèmes qui ne sont pas encore suivis, ainsi que regrouper des exemples pertinents dans des ensembles de données qui peuvent être utilisés pour des réglages précis ou des tests.
Essai: Les tests de produits d’IA sont très différents des tests de logiciels traditionnels. Par le passé, les tests consistaient simplement à déterminer si une fonctionnalité remplissait la fonction pour laquelle elle était censée fonctionner – par exemple, un bouton fonctionne-t-il ou non ? Pour tester un produit d’IA générative, il faut établir une liste représentative de tous les types d’interactions et de cas limites possibles qui peuvent se produire pour les clients, et s’assurer que chacun se comporte de manière raisonnable. C’est là que ces ensembles de données organisés par des experts et un bon panel d’évaluations deviennent essentiels. Lorsque vous testez une modification apportée à un produit LLM, vous souhaitez probablement parcourir des centaines ou des milliers d’exemples et compléter vos évaluations personnalisées pour chacun d’eux. L’automatisation est ici essentielle.
Ce sont là quelques-uns des aspects essentiels de la création de produits d’IA générative performants, et les équipes qui ont systématisé chacun d’entre eux ont la capacité de tester rapidement de nouveaux changements, de surveiller l’utilisation réelle des clients en production et de transformer les enseignements en optimisations futures. Elles sont également en mesure de communiquer des indicateurs clairs aux équipes de conformité et aux propriétaires d’entreprise, et elles peuvent affirmer qu’elles savent et peuvent quantifier ce que fait l’IA dans leurs produits.
Ces changements de processus entraînent également des changements dans les rôles et les responsabilités des postes. Les ingénieurs produits se transforment en ingénieurs IA qui savent comment assembler ces systèmes. Les chefs de produit s’impliquent davantage en raison de leur proximité avec les besoins des clients et les défis du domaine, et les plus techniques se mettent au travail avec une ingénierie rapide et des expérimentations de modèles. Les experts du domaine des équipes de développement de produits sont intégrés au processus de création de logiciels, car ils fournissent des informations essentielles pour évaluer et améliorer les résultats des modèles.
L’IA générative constituera un énorme avantage concurrentiel pour les entreprises, mais seulement si elles sont capables de franchir le pas et de fonctionner avec succès selon ces nouvelles méthodes. Les entreprises qui n’ont pas encore adopté ce changement de processus se retrouvent souvent coincées dans l’expérimentation et tentent d’acquérir la confiance dont elles ont besoin pour passer à la production. Comme pour tout changement de plateforme majeur, les entreprises qui réussiront seront celles qui sauront repenser et adapter leur façon de travailler et de créer des logiciels pour une nouvelle ère.