L’IA « Make-A-Scene » de Meta associe l’imagination humaine et informatique à l’art algorithmique | Engadget

La génération de texte en image est le processus algorithmique le plus en vogue en ce moment, avec OpenAIs Craiyon (anciennement DALL-E mini) et Googles Imagen AIs déchaînant des raz-de-marée d’art merveilleusement étrange généré de manière procédurale synthétisé à partir de l’imagination humaine et informatique. Mardi, Meta a révélé qu’il avait également développé un moteur de génération d’images d’IA, qui, espère-t-il, aidera à construire des mondes immersifs dans le Metaverse et à créer un art numérique de haut niveau.

Beaucoup de travail pour créer une image basée uniquement sur la phrase, il y a un cheval à l’hôpital, lors de l’utilisation d’une IA de génération. Tout d’abord, la phrase elle-même est alimentée par un modèle de transformateur, un réseau de neurones qui analyse les mots de la phrase et développe une compréhension contextuelle de leur relation les uns avec les autres. Une fois qu’elle a compris l’essentiel de ce que l’utilisateur décrit, l’IA synthétise une nouvelle image à l’aide d’un ensemble de GAN (réseaux antagonistes génératifs).

Grâce aux efforts déployés ces dernières années pour former des modèles ML sur des ensembles d’images haute définition de plus en plus extensibles avec des descriptions textuelles bien organisées, les IA de pointe d’aujourd’hui peuvent créer des images photoréalistes de la plupart des bêtises que vous leur fournissez. Le processus de création spécifique diffère entre les IA.

Par exemple, Googles Imagen utilise un modèle de diffusion, qui apprend à convertir un motif de points aléatoires en images, par juin Mot-clé Blog. Ces images commencent d’abord en basse résolution, puis augmentent progressivement en résolution. Googles Parti AI, d’autre part, convertit d’abord une collection d’images en une séquence d’entrées de code, semblable à des pièces de puzzle. Une invite de texte donnée est ensuite traduite en ces entrées de code et une nouvelle image est créée.

Bien que ces systèmes puissent créer presque tout ce qui leur est décrit, l’utilisateur n’a aucun contrôle sur les aspects spécifiques de l’image de sortie. Pour réaliser le potentiel de l’IA pour faire avancer l’expression créative, le PDG de Meta, Mark Zuckerberg, a déclaré dans le blog de mardi, les gens devraient être en mesure de façonner et de contrôler le contenu généré par un système.

Le concept de recherche exploratoire sur l’IA de l’entreprise, baptisé Make-A-Scene, fait exactement cela en incorporant des croquis créés par l’utilisateur à sa génération d’images textuelles, produisant une image de 2 048 x 2 048 pixels. Cette combinaison permet à l’utilisateur non seulement de décrire ce qu’il veut dans l’image, mais également de dicter la composition globale des images. Cela montre comment les gens peuvent utiliser à la fois du texte et des dessins simples pour transmettre leur vision avec une plus grande spécificité, en utilisant une variété d’éléments, de formes, d’arrangements, de profondeur, de compositions et de structures, a déclaré Zuckerberg.

Lors des tests, un panel d’évaluateurs humains a massivement choisi l’image texte et croquis plutôt que l’image texte uniquement comme étant mieux alignée avec l’esquisse originale (99,54 % du temps) et mieux alignée avec la description textuelle d’origine 66 % du temps. . Pour développer davantage la technologie, Meta a partagé sa démo Make-A-Scene avec d’éminents artistes de l’IA, dont Sofia Crespo, Scott Eaton, Alexander Reben et Refik Anadol, qui utiliseront le système et fourniront des commentaires. On ne sait pas quand l’IA sera mise à la disposition du public.