Anthony Masure

chercheur en design

Design sous artifice : la création au risque du machine learning

Contexte

Cet essai a été réalisé dans le cadre du projet de recherche « Design et machine learning : l’automatisation au pouvoir ? », financé par la HES-SO et conduit par Anthony Masure de 2022 à 2023 à la HEAD – Genève avec Alexia Mathieu, Douglas Edric Stanley, Élise Gay et Kévin Donnot. Site Web du projet : www.design-machine-learning.ch.

Résumé

Au début des années 2020, portés par les progrès des « intelligences artificielles », des programmes comme GPT-3, DALL·E, Midjourney ou Disco Diffusion permettent de générer des images à partir d’instructions textuelles. Bien que ces productions ne font souvent qu’imiter des données existantes et manquent de diversité, les débats médiatiques ont tendance à se polariser sur le remplacement des humains par la machine. Ce faisant, ils font écran à la question essentielle : quel est le spectre des implications actuelles et potentielles du machine learning pour les pratiques de design ?

English version here

Vidéo de présentation

Vidéo : Jimmy Roura, mars 2023

Vues du livre

Anthony Masure, Design sous artifice, 2023. Photo Guillaume Colligon
Anthony Masure, Design sous artifice, 2023. Photo Guillaume Colligon
Anthony Masure, Design sous artifice, 2023. Photo Guillaume Colligon
Anthony Masure, Design sous artifice, 2023. Photo Guillaume Colligon

Distribution

Place des Libraires
Decitre
Payot
Fnac
Amazon
Lulu.com (version print-on-demand)

Formats de lecture

Ce livre est disponible sans embargo en différents formats numériques open access, tous placés sous licence libre CC BY-SA : PDF, HTML, ePub, MP3.

English version

Artificial Design: Creation Versus Machine Learning, translated from French by ACK : PDF

Audiobook

Texte lu par Julien Donnot, habillage sonore par Lutèce Lockness.
Écouter ce livre sur Apple Podcasts, Spotify, YouTube, SoundCloud, Overcast, Podcast Addict, Castro.

Projet de recherche associé à l’ouvrage

L’essai Design sous artifice a été rédigé dans le cadre d’un projet de recherche intitulé « Design et machine learning : l’automatisation au pouvoir ? ». Financé par la HES-SO et conduit par Anthony Masure à la HEAD – Genève en 2022-2023 avec Alexia Mathieu, Douglas Edric Stanley, Élise Gay et Kévin Donnot, ce projet collectif vise à interroger les mutations du design graphique au contact des IA contemporaines.

L’objectif est double :
– Saisir les usages (projets, opportunités, etc.) et problèmes (blocages, manques, etc.) actuels des technologies de machine learning pour les designers graphiques.
– Sur la base de ces analyses, engager une démarche de « recherche-création » pour mettre en place de nouvelles situations d’usages adaptées aux studios de design indépendants.

Plusieurs livrables complémentaires ont été réalisés dans le cadre du projet de recherche, dont voici les détails.

Entretiens avec des designers et artistes

15 entretiens avec des artistes et des studios de design graphique et européens pionniers dans l’usage du machine learning ont été produits par Alexia Mathieu (responsable du Master Media Design à la HEAD – Genève) : Boyd Rotgans, Cristobal Valenzuela, Deniz Kurt, Feileacan McCormick, Kevin Donnot, Marta Revuelta, Martin Tricaud, Meredith Thomas, Nadia Piet, Nicolas Barradeau, Rifke Sadleir, Simone Rebaudengo, Superposition Studio, Etienne Mineur.

Ces témoignages de première main offrent un éclairage sur des pratiques émergentes, qui abordent les réseaux de neurones comme une matière à création et des partenaires de jeu. Des extraits des entretiens sont reproduits dans l’ouvrage Design sous artifice, et les versions complètes sont consultables sur le site Web du projet.

Site Web utilisant le machine learning

Capture d’écran du site Web www.design-machine-learning.ch, Douglas Edric Stanley, mars 2023

Le designer Douglas Edric Stanley (Maître d’enseignement en Master Media Design à la HEAD – Genève) a créé un site expérimental qui reprend l’ensemble des textes (entretiens et essai) du projet de recherche et les remixe à travers des générateurs de textes et d’images.

Le générateur de texte est Davinci, à savoir un Large-Language Model (LLM), le même modèle de programme à l’origine de ChatGPT. Le générateur d’images est un Generative Pre-trained Transformer, commercialisé sous le nom DALL·E. Nous avons aussi expérimenté les modèles GPT-2, GPT-NeoX., Bloom, Disco Diffusion, Stable Diffusion, et Midjourney.

La version en ligne HTML de l’essai Design sous artifice est « augmentée » par cette interface experimentale : certaines phrases ont été sélectionnées et ont été ré-interprétées voire « complétées » par le LLM Davinci. Les mots clés de ces textes sont également transformés en images par DALL·E. En plus de ces extraits « pré-calculés », on peut également sélectionner n’importe quel partie de l’essai pour demander au générateur de compléter la reflexion en « temps réel » via l’usage de l’API (payante) d’OpenAI.

Concernant la génération d’images, une stratégie particulière a dû être inventée pour créer des résultats probants. Il ne s’agit pas d’un simple reprise des mots soulignés dans l’essai ou les entretiens. L’art du « prompt engineering » est un travail créatif en soi et nécessite des strategies réfléchies pour donner des résultats visuellement probants. Une phrase copiée du site et envoyée tel quel à DALL·E ne donnera pas de bons résultats.

Un algorithme de pré-traitement a été créé, qui :
1 – Détecte la langue sélectionnée
2 – Extrait les noms et mots-clés de la citation sélectionnée
3 – Construit un nouveau « prompt » à partir de banque de phrases modèles
4 – Intègre les mots clés dans la phrase modèle

Comme dans beaucoup de projets d’IA, cette solution est un mélange de techniques anciennes de « natural language processing » et des nouvelles approches des réseaux de neurones.

Le design du site s’inspire de Smalltalk-76, la première interfaces d’un système de publication assisté par ordinateur (PAO) complet. Cette interface inspirera plus tard l’interface du Macintosh (1984) et servira de modèle pour l’interface des « ordinateurs personnels » que nous utilisons encore aujourd’hui.

Quelques références utilisées pour concevoir cette interface :
Smalltalk, Wikipedia
Simulateur Smalltalk-78
– Goldberg Adele Kay Alan eds., Smalltalk-72 Instruction Manual, Xerox Palo Alto Research Center, mars 1976
– Ingalls Dan, « Design Principles Behind Smalltalk », Byte. McGraw-Hil, August 1981
– Smalltalk Zoo, The Computer History Museum, Mountain View, Californie

Campagne de communication

À l’occasion de la publication de l’essai Design sous artifice en mars 2023, les designers graphiques Élise Gay et Kévin Donnot (E+K) ont été invités à produire une campagne de communication sous forme de carte blanche. Leur proposition, intitulée Davinci’s Insights, interroge la relation entre le design graphique et l’IA à travers une série de cinq affiches et un court-métrage. Au-delà des enjeux communicationnels, ce projet critique problématise les questions développées dans l’ouvrage dans une forme visuelle qui interpelle le spectateur.

En considérant Davinci (une intelligence artificielle entraînée avec le modèle GPT-3 d’OpenAI) comme le troisième membre de leur studio, Élise Gay et Kévin Donnot ont engagé avec lui une discussion sur les différentes questions soulevées par les collaborations humain-machine dans le contexte du design graphique. Chaque concept s’incarne dans un objet manifeste représenté sous la forme d’un modèle tridimensionnel généré par le réseau neuronal CLIP-Mesh : un Rubick’s cube, un robot doté d’une IA, un jeu d’engrenages, un cerveau, et un livre équipé d’une puce informatique. Loin de la recherche du réalisme visuel ou de la simulation d’artefacts tangibles, le style de ces objets numériques évoque des volumes cubistes aux matériaux flous et ambigus, faisant écho à ce que le roboticien japonais Masahiro Mori a appelé l’uncanny valley.

Le court métrage propose un long travelling dans un espace fictif où les objets sont progressivement construits en suivant la voix off déclamant l’échange, tandis que la série d’affiches synthétise chaque problématique en une image associant l’objet généré, la question des concepteurs et la réponse de cette autre intelligence. Cet univers visuel a été décliné en une série de posts pour les médias sociaux afin d’annoncer la sortie de l’essai.

E+K, Davinci’s Insights, court-métrage 3D, 2023, 6’34

E+K, Davinci’s Insights, posters F4, 2023. Photo Morgan Carlier
E+K, Davinci’s Insights: A Rubik’s Cube, poster F4, 2023
E+K, Davinci’s Insights: An AI-Powered Robot, poster F4, 2023
E+K, Davinci’s Insights: A Set of Gears, poster F4, 2023
E+K, Davinci’s Insights: A Brain, poster F4, 2023
E+K, Davinci’s Insights: A Book With a Computer Chip, poster F4, 2023

Prix et récompenses

  • Mai à octobre 2023 : Exposition du projet Davinci’s Insights à la Biennale de Design graphique de Chaumont (France) dans la sélection du 30e concours international d’affiches, et dans « Procès d’intention » (curation Jean-Michel Geridan).

  • Mai 2023 : 1er prix de l’Académie des Beaux Arts pour le projet Davinci’s Insights remis au studio E+K à la Biennale de Design graphique de Chaumont (France) dans le cadre du 30e concours international d’affiches.

Médias et articles scientifiques

Présentations et conférences

  • 4 novembre 2023 : présentation de l’essai Design sous artifice aux Rencontres de l’Association des anciens élèves du Collège de l’Abbaye de St-Maurice (Suisse). 

  • 28-29 septembre 2023 : participation au colloque « IA et éducation à la démocratie », université Nice Côte d’Azur. 

  • 19 septembre 2023 (18h30-20h) : présentation de l’essai Design sous artifice dans le cadre du webinaire des DN MADE de la région Franche-Comté. 

  • 12 juillet 2023 : présentation de l’essai Design sous artifice dans le cadre du séminaire pédagogique du groupe Condé portant sur la thématique de l’IA.

  • 5 juillet 2023 : « Marx revisité : l’intelligence artificielle au prisme du general intellect », conférence dans le cadre de la journée d’étude « Intelligence artificielle et intelligence collective. Transformations dans les pratiques du travail et du savoir, par la production et l’usage des textes et des images », université de Nîmes. 

  • 2 juin 2023 : Animation de l’atelier « Art et design à l’ère des IA » dans le cadre du cycle de conférence de la communauté Cyberlearn « Utilisation intelligente de l’IA », Lausanne, HES-SO Master.

  • 31 mai 2023 : discussion autour de l’essai Design sous artifice et de l’état de l’art « IA & pédagogie » à la journée professionnelle « Intelligences complémentaires, vivre et travailler à l’ère des IA » organisée par Laurent Haug et 200ideas, avec la complicité de Nicolas Nova, Lausanne, Plateforme 10. 

  • 17 mai 2023 : présentation de l’essai Design sous artifice dans le cadre du séminaire « Actualité de la recherche », HEAD – Genève & UNIGE. 

  • 11 mai 2023 : présentation de l’essai Design sous artifice à la librairie Volume (Paris).

  • 10 mai 2023 : présentation de l’essai Design sous artifice à l’ESDMAA (Yzeure).

  • 6 mai 2023 : présentation de l’essai Design sous artifice dans le cadre de la journée d’étude « IA, imaginaires et arts contemporains », Paris, ENS Ulm, ANR CulturIA. 

  • 21 avril 2023 : présentation de l’essai Design sous artifice auprès des équipes de l’agence de design Vraiment Vraiment.

  • 6 avril 2023 : présentation de l’essai Design sous artifice dans le cadre du séminaire de recherche de Béatrice Joyeux-Prunel, UNIGE. 

  • 4 avril 2023 : présentation de l’essai Design sous artifice dans le cadre d’une soirée spéciale « Design graphique et intelligences artificielles » au Musée de la Main, Lausanne, en compagnie de Mathieu Cortat (Ecal) pour une présentation du projet de recherche AIZI.

  • 3 avril 2023 : présentation de l’essai Design sous artifice au séminaire ArTeC, Paris, Campus Condorcet (bât. « Recherche Nord ».

  • 15 mars 2023 : présentation de l’essai Design sous artifice et de l’ouvrage collectif Angles morts du numérique ubiquitaire – Un glossaire critique et amoureux à l’école Ensci, Paris. 

  • 14 mars 2023 : Conférence « Vers une informatique invisible : l’art et le design face aux neurosciences » dans le cadre de l’évènement « Arts et neurosciences : nouveaux terrains d’expérimentations » (dir. Justine Emard), Nantes, Stereolux. 

  • 3 février 2023 : Présentation de l’essai Design sous artifice au salon P.A.G.E.S., HEAD – Genève. 

Communiqué de presse

Design graphique : Alicia Dubuis. English version here.