L’IA peut-elle vraiment nous donner un aperçu des chefs-d’œuvre perdus ?
En 1945, le feu a revendiqué trois des peintures les plus controversées de Gustav Klimt. Commandées en 1894 pour l’Université de Vienne, les « peintures de la faculté » comme elles sont devenues connues ne ressemblaient à aucune des œuvres précédentes du symboliste autrichien. Dès qu’il les a présentés, les critiques étaient en émoi sur leur rupture dramatique avec l’esthétique de l’époque. Les professeurs de l’université les ont immédiatement rejetés et Klimt s’est retiré du projet. Peu de temps après, les œuvres ont trouvé leur place dans d’autres collections. Pendant la Seconde Guerre mondiale, ils ont été placés dans un château au nord de Vienne, mais le château a brûlé et les peintures l’ont probablement accompagné. Il ne reste aujourd’hui que des photographies en noir et blanc et des écrits de l’époque. Pourtant, je les regarde droit dans les yeux.
Eh bien, pas les peintures elles-mêmes. Franz Smola, un expert de Klimt, et Emil Wallner, un chercheur en apprentissage automatique, ont passé six mois à combiner leur expertise pour faire revivre le travail perdu de Klimt. Cela a été un processus laborieux, qui a commencé avec ces photos en noir et blanc, puis a incorporé l’intelligence artificielle et des dizaines d’informations sur l’art des peintres, dans le but de recréer à quoi ces peintures perdues auraient pu ressembler. Les résultats sont ce que Smola et Wallner montrent, même s’ils sont surpris par les images captivantes en technicolor produites par l’IA.
Soyons clairs : personne ne dit que cette IA ramène les œuvres originales de Klimt. Ce n’est pas un processus de recréation des couleurs réelles, c’est une recoloration des photographies, s’empresse de noter Smola. Le médium de la photographie est déjà une abstraction des œuvres réelles. L’apprentissage automatique donne un aperçu de quelque chose que l’on croyait perdu depuis des décennies.
Smola et Wallner trouvent cela délicieux, mais tout le monde ne prend pas en charge l’IA pour combler ces vides. L’idée de l’apprentissage automatique recréant des œuvres perdues ou détruites est, comme les peintures de la faculté elles-mêmes, controversée. Ma principale préoccupation concerne la dimension éthique de l’utilisation de l’apprentissage automatique dans le contexte de la conservation, explique le restaurateur d’art Ben Fino-Radin, en raison du volume considérable de problèmes éthiques et moraux qui ont tourmenté le domaine de l’apprentissage automatique.
Certes, l’utilisation de la technologie pour revitaliser les œuvres de l’art humain est semée de questions épineuses. Même s’il existait une IA parfaite capable de déterminer les couleurs ou les coups de pinceau que Klimt aurait pu utiliser, aucun algorithme ne peut générer une intention d’auteur. Les débats à ce sujet font rage depuis des siècles. En 1936, avant que les peintures de Klimt ne soient détruites, l’essayiste Walter Benjamin s’est opposé à la reproduction mécanique, même dans les photographies, affirmant que même la reproduction la plus parfaite d’une œuvre d’art manque d’un élément : sa présence dans le temps et l’espace, son existence unique. à l’endroit où il se trouve. Ceci, écrit Benjamin dans L’œuvre d’art à l’ère de la reproduction mécanique, c’est ce qu’il a appelé une aura d’œuvre. Pour de nombreux amateurs d’art, l’idée d’un ordinateur reproduisant cet élément intangible est absurde, voire carrément impossible.
Et pourtant, il y a encore beaucoup à apprendre de ce que l’IA peut faire. Les peintures de la faculté ont joué un rôle central dans le développement de Klimt en tant qu’artiste, un pont crucial entre ses peintures antérieures plus traditionnelles et ses œuvres plus récentes et plus radicales. Mais à quoi ils ressemblaient en couleur est resté entouré de mystère. C’est le puzzle que Smola et Wallner essayaient de résoudre. Leur projet, organisé via Google Arts and Culture, ne concernait pas des reproductions parfaites ; il s’agissait de donner un aperçu de ce qui manque.
Pour ce faire, Wallner a développé et entraîné un algorithme en trois parties. Tout d’abord, l’algorithme a été alimenté par quelques centaines de milliers d’images d’art de la base de données Google Arts and Culture. Cela l’a aidé à comprendre les objets, les œuvres d’art et la composition. Ensuite, il a été enseigné spécifiquement dans les peintures de Klimt. Cela crée un biais envers ses couleurs et ses motifs au cours de la période, explique Wallner. Et enfin, l’IA a reçu des indices de couleur pour des parties spécifiques des peintures. Mais sans références de couleur aux peintures, d’où viennent ces indices ? Même l’expert de Klimt Smola a été surpris par la quantité de détails révélés par les écrits de l’époque. Parce que les peintures avaient été considérées comme si sordides et étranges, les critiques avaient tendance à les décrire en détail, jusque dans les choix de couleurs des artistes, dit-il. Vous pouvez appeler cela une ironie de l’histoire, dit Simon Rein, le responsable du programme des projets. Le fait que les peintures aient fait scandale et aient été rejetées nous met dans une meilleure position pour les restaurer car il y avait tellement de documentation. Et ces types de points de données, s’ils sont intégrés à l’algorithme, créent une version plus précise de l’apparence probable de ces peintures à l’époque.
La clé de cette précision réside dans l’association de l’algorithme à l’expertise de Smolas. Ses recherches ont révélé que le travail de Klimt pendant cette période a tendance à avoir des modèles et une cohérence forts. L’étude des peintures existantes avant et après la Faculté des Peintures a fourni des indices sur les couleurs et les motifs récurrents dans son travail à cette époque. Même les surprises rencontrées par Smola et Wallner sont corroborées par des preuves historiques. Lorsque Klimt a montré ses peintures pour la première fois, les critiques ont noté son utilisation d’un rouge qui était, à l’époque, rare dans la palette des artistes. Mais Les trois âges de la femme, peint peu après les peintures de la faculté, utilise hardiment un rouge, une couleur que Smola pense être la même couleur qui a provoqué un tollé lorsqu’elle a été vue pour la première fois dans les peintures de la faculté. Les écrits de l’époque soulèvent également une tonalité et un cri à propos du ciel vert choquant dans une autre peinture de la faculté. L’association de ces écrits à la connaissance de Smolas de la palette de verts particulière de Klimt, lorsqu’elle est introduite dans l’algorithme, est ce qui a produit l’une des premières images surprenantes de l’IA.
.