J'utilise ma synesthésie pour créer un nouveau genre d'art de l'IA. La technologie peut « lire » mes peintures et m'aider à composer de la musique.
Il s'agit d'une conversation racontée avec Shane Guffogg, un artiste américain qui a lancé « At the Still Point of the Turning World – Strangers of Time », une exposition de 21 peintures à la Biennale de Venise au début du mois. Cette conversation a été condensée et modifiée pour plus de clarté.
J'ai une synesthésie, ce qui signifie que j'entends des couleurs.
Donc ce que j’écoute quand je peins est important. J'écoute de la musique classique indienne, des chants grégoriens et des compositeurs obscurs comme Gyorgy Ligeti, Leo Ornstein et Terry Riley. La musique stimule ma créativité et me permet d'être complètement présente et à ce moment-là.
Pendant des années, je me suis préoccupé de ce à quoi pourraient ressembler mes peintures. La révolution de l’IA m’a poussé à rechercher des experts capables de m’aider. Mon premier contact a été Radhika Dirks, une experte en IA et informatique quantique. Nous avons eu quelques sessions Zoom et elle m'a dit – à sa connaissance – qu'aucun programme d'IA ne pouvait m'aider. Au lieu de cela, elle m'a suggéré de créer un alphabet visuel qui faisait correspondre les accords musicaux que j'entendais dans mon esprit aux couleurs.
Je pensais que cela pourrait être un moyen de propulser ma créativité. Il s’appuie également sur l’idée d’un alphabet inconscient qui a inspiré mon art tout au long de ma carrière.
J'ai rencontré des musiciens et des experts en IA pour créer un alphabet visuel
J'ai commencé par chercher des musiciens avec qui collaborer et j'ai rencontré Anthony Cardella, un jeune pianiste incroyablement doué de Los Angeles. Il est doctorant à l'USC et il connaît – et joue même – de nombreux compositeurs obscurs que j'écoute lorsque je peins.
Nous avons commencé à collaborer. Nous nous asseyions et examinions mes peintures ensemble. Je zoomais sur une couleur dans Photoshop, la regardais et ressentais sensoriellement la note musicale. Ensuite, je le dirais à Anthony. Je dirais, par exemple, je pense que c'est la couleur de la note Si. Il frappait le Si, et je disais : « Non, ce n'est pas ça ; essayez un Si dièse ? Après quelques essais, il avait soudainement trouvé la bonne note. Je le saurais parce que les couleurs commenceraient à vibrer pour moi. Ensemble, nous avons tracé des accords qui correspondent à 40 couleurs.
Peu de temps après, j'ai rencontré un chercheur en IA nommé Jonah Lynch grâce à des contacts mutuels. Il travaille à l’intersection des humanités numériques et de l’apprentissage automatique. Je l'ai invité dans mon ranch en Californie centrale et lui ai expliqué le travail que j'avais fait et comment j'avais créé mes peintures. Nous avons eu de longues discussions sur l’art, la poésie et la création d’un algorithme d’IA qui pourrait alimenter les accords.
Il a développé un programme pour « lire » mes peintures et les convertir en musique. Je lui ai donné les couleurs principales que j'utilisais dans chaque peinture et les accords que j'entends quand je vois ces couleurs. Jonah a regardé des vidéos de moi en train de peindre, a étudié le mouvement de mes mains, et a écrit un logiciel qui échantillonnait des images des peintures, suivant les mouvements de mes mains, et assignait chaque couleur échantillonnée dans les peintures à son accord correspondant. Ensuite, il a introduit cette séquence d'accords dans un réseau neuronal qui a mémorisé la plupart des derniers. 500 ans de musique pour clavier. Il a incité le réseau à « rêver » de nouvelles séquences basées sur les séquences d'accords de couleurs et l'histoire de la musique occidentale pour créer des pages de partitions.
Quand j’ai entendu cette musique jouée, j’ai eu les larmes aux yeux. C'était juste une version approximative de ce que j'entendais en peignant, mais je me suis dit : « Le voilà ».
J'ai rapporté la musique à Anthony, le pianiste. Étonnamment, je pouvais montrer la partition et lui dire quelles compositions j'écoutais en peignant, et il disait : « Oui, je peux le voir dans les accords ». Les ragas indiens, les chants grégoriens, le Ligeti et l'Ornstein, ils étaient tous là.
Pourtant, à ce stade, la musique était en grande partie une série d’accords. Anthony a dit qu'on pourrait avoir des mélodies si on les réarrangeait un peu.
L’IA reste un outil qui nécessite une surveillance humaine
Nous avons composé la musique de plusieurs tableaux et l'avons jouée devant des publics du monde entier. Nous avons donné un concert le mois dernier au Forest Lawn Museum de Los Angeles, où j'ai également exposé quelques peintures. Le public pouvait regarder les peintures pendant qu'Anthony jouait, ce qui était une expérience profonde. Quelques personnes ont pleuré.
Lors du lancement de ma dernière exposition au cours de la semaine d'ouverture de la Biennale de Venise, Anthony a joué la première mondiale d'une sonate qu'il a composée en s'inspirant de ma peinture, Only Through Time Time is Conquered, devant un public en direct. Après la représentation, j'ai parlé à plusieurs personnes et elles m'ont dit qu'elles pouvaient voir où les couleurs et les notes se rencontraient sur le tableau. C'était quelque chose qu'ils n'avaient jamais vécu.
Je sais que beaucoup de gens ont très peur de l’IA, et moi aussi, je la considère comme un outil qui nécessite une surveillance humaine. Ce n'est pas un moyen pour parvenir à une fin. Pourtant, cela a ouvert de nombreuses possibilités et amélioré mon processus créatif. Je ne sais pas si j'aurais pu libérer réellement la musicalité de mes peintures sans cela.
Écoutez la sonate ci-dessous :
