211service.com
À l'intérieur du nouveau monde étrange d'être un acteur deepfake
Panetta et Bourgogne
En 2019, deux artistes multimédias, Francesca Panetta et Halsey Burgund, se sont lancées dans une idée provocatrice. La vidéo et l'audio Deepfake avançaient en parallèle mais n'avaient pas encore été intégrés dans une expérience complète. Pourraient-ils le faire d'une manière qui démontre le plein potentiel de la technologie tout en éduquant les gens sur la façon d'en abuser ?
Pour donner vie à l'expérience, ils ont choisi un sujet tout aussi provocateur : ils créeraient un histoire alternative de l'alunissage d'Apollo en 1969 . Avant le lancement, les rédacteurs de discours du président américain Richard Nixon avaient préparé deux versions de son discours national, l'un désigné En cas de catastrophe lunaire , au cas où les choses ne se passeraient pas comme prévu. Le vrai Nixon, heureusement, n'a jamais eu à le livrer. Mais un deepfake Nixon pourrait le faire.
Alors Panetta, le directeur créatif du Center for Virtuality du MIT, et Burgund, membre du MIT Open Documentary Lab, se sont associés à deux sociétés d'IA. IA intelligente gérerait la vidéo deepfake, et Discours préparerait l'audio deepfake. Avec tous les éléments techniques en place, il leur manquait juste une dernière chose : un acteur qui fournirait la performance.
Nous devions trouver quelqu'un qui était prêt à le faire, car c'est une demande un peu bizarre, dit Burgund. Quelqu'un qui était plus flexible dans sa réflexion sur ce qu'est et ce qu'est un acteur.
Alors que les deepfakes existent maintenant depuis un certain nombre d'années, le casting et le jeu des deepfakes sont relativement nouveaux. Les premières technologies de deepfake n'étaient pas très bonnes, utilisées principalement dans les coins sombres d'Internet pour échanger des célébrités contre des vidéos porno sans leur consentement. Mais à mesure que les deepfakes sont devenus de plus en plus réalistes, de plus en plus d'artistes et de cinéastes ont commencé à les utiliser dans des productions et des publicités télévisées de qualité broadcast. Cela signifie embaucher de vrais acteurs pour un aspect du spectacle ou un autre. Certains emplois exigent qu'un acteur fournisse des images de base; d'autres ont besoin d'une voix.
Pour les acteurs, cela ouvre des possibilités créatives et professionnelles passionnantes. Mais cela soulève aussi une foule de questions éthiques. C'est tellement nouveau qu'il n'y a pas de véritable processus ou quelque chose comme ça, dit Burgund. Je veux dire, nous étions juste en train d'inventer des choses et de nous débattre.
Vous voulez devenir Nixon ?
La première chose que Panetta et Burgund ont faite a été de demander aux deux sociétés de quel type d'acteur elles avaient besoin pour faire fonctionner les deepfakes. Il était intéressant non seulement de savoir quels étaient les critères importants, mais aussi ce que n'étaient pas , dit Bourgogne.
Pour les visuels, Canny AI se spécialise dans le remplacement du dialogue vidéo, qui utilise les mouvements de la bouche d'un acteur pour manipuler la bouche de quelqu'un d'autre dans des séquences existantes. L'acteur, en d'autres termes, sert de marionnettiste, jamais vu dans le produit final. L'apparence, le sexe, l'âge et l'origine ethnique de la personne n'ont pas vraiment d'importance.
Mais pour l'audio, Respeecher, qui transmute une voix en une autre, a déclaré qu'il serait plus facile de travailler avec un acteur qui avait un registre et un accent similaires à ceux de Nixon. Forts de ces connaissances, Panetta et Burgund ont commencé à publier sur divers forums d'acteurs et à envoyer des e-mails à des groupes d'acteurs locaux. Leur pitch : Vous voulez devenir Nixon ?
L'acteur Lewis D. Wheeler a passé des jours en studio à former les algorithmes deepfake pour mapper sa voix et son visage à ceux de Nixon.
PANETTA ET BOURGOGNEC'est ainsi que Lewis D. Wheeler, un acteur masculin blanc basé à Boston, s'est retrouvé enfermé dans un studio pendant des jours à écouter et à répéter des extraits de l'audio de Nixon. Il y avait des centaines d'extraits, chacun ne durant que quelques secondes, dont certains n'étaient même pas des mots complets, dit-il.
Les extraits avaient été tirés de divers discours de Nixon, dont une grande partie de sa démission. Compte tenu de la gravité du discours sur la catastrophe lunaire, Respeecher avait besoin de matériel de formation qui capturait le même ton sombre.
Le travail de Wheeler consistait à réenregistrer chaque extrait dans sa propre voix, en faisant correspondre le rythme et l'intonation exacts. Ces petits morceaux ont ensuite été introduits dans l'algorithme de Respeecher pour mapper sa voix à celle de Nixon. C'était assez épuisant et assez laborieux, dit-il, mais vraiment intéressant aussi, le construire brique par brique.
Le dernier deepfake de Nixon prononçant le discours 'In Event of Moon Disaster'.
PANETTA ET BOURGOGNELa partie visuelle du deepfake était beaucoup plus simple. Dans les images d'archives qui seraient manipulées, Nixon avait livré la véritable adresse d'alunissage face à la caméra. Wheeler n'a eu qu'à livrer son suppléant, du début à la fin, de la même manière, pour que l'équipe de production capture ses mouvements de bouche à angle droit.
C'est là qu'en tant qu'acteur, il a commencé à trouver des choses plus familières. En fin de compte, sa performance serait la seule partie de lui qui en ferait le dernier deepfake. C'était le plus difficile et le plus gratifiant, dit-il. Pour cela, je devais vraiment entrer dans l'état d'esprit de, d'accord, de quoi parle ce discours ? Comment dire au peuple américain que cette tragédie s'est produite ?
Comment nous sentons-nous ?
À première vue, Zach Math, un producteur et réalisateur de films , travaillait sur un projet similaire. Il avait été embauché par Mischief USA, une agence de création, pour diriger une paire d'annonces pour une campagne de droits de vote. Les publicités présenteraient des versions truquées du dirigeant nord-coréen Kim Jong-un et du président russe Vladimir Poutine. Mais il s'est retrouvé au milieu de quelque chose de très différent de l'expérience de Panetta et Burgund.
En consultation avec un artiste deepfake, John Lee, l'équipe avait choisi d'emprunter la voie de l'échange de visage avec le logiciel open source DeepFaceLab . Cela signifiait que la publicité finale inclurait les corps des acteurs, ils devaient donc lancer des doubles crédibles.
L'annonce inclurait également les vraies voix des acteurs, ajoutant une considération de casting supplémentaire. L'équipe voulait que les dirigeants des deepfakes parlent anglais, mais avec des accents nord-coréens et russes authentiques. Le directeur de casting est donc parti à la recherche d'acteurs masculins qui ressemblaient à chaque leader en termes de construction et de structure faciale, correspondaient à leur appartenance ethnique et pouvaient faire des imitations de voix convaincantes.
Le processus de formation de DeepFaceLab pour générer le visage de Kim Jong-un.
MISCHIEF ÉTATS-UNISPour Poutine, le processus de casting était relativement facile. Il existe une abondance de séquences disponibles de Poutine prononçant divers discours, fournissant à l'algorithme de nombreuses données d'entraînement pour simuler son visage en faisant une gamme d'expressions. Par conséquent, il y avait plus de flexibilité dans ce à quoi l'acteur pouvait ressembler, car le deepfake pouvait faire la majeure partie du travail.
Mais pour Kim, la plupart des vidéos disponibles le montraient portant des lunettes, ce qui obscurcissait son visage et provoquait la panne de l'algorithme. En limitant les séquences d'entraînement aux seules vidéos sans lunettes, il restait beaucoup moins d'échantillons d'entraînement à partir desquels apprendre. Le deepfake résultant ressemblait toujours à Kim, mais les mouvements de son visage semblaient moins naturels. Le visage échangé sur un acteur, il a coupé les expressions de l'acteur.
Pour contrer cela, l'équipe a commencé à faire passer toutes les bandes de casting des acteurs via DeepFaceLab pour voir laquelle était la plus convaincante. À leur grande surprise, le gagnant ressemblait le moins physiquement à Kim, mais avait la performance la plus expressive.
L'acteur choisi pour jouer Kim Jong-un avait le moins de ressemblance physique avec le dictateur mais la performance la plus expressive.
Pour aborder les aspects de l'apparence de Kim que le deepfake ne pouvait pas reproduire, l'équipe s'est appuyée sur le maquillage, les costumes et le travail de post-production. L'acteur était plus mince que Kim, par exemple, alors ils lui ont fait porter un gros costume.
Quand il s'agissait de juger de la qualité du deepfake, dit Math, il s'agissait moins de détails visuels que de l'expérience. Ça n'a jamais été 'Est-ce que cette oreille a l'air bizarre?' Je veux dire, il y a eu ces discussions, dit-il. Mais c'était toujours comme, 'Asseyez-vous, comment nous sentons-nous?'
Ils agissaient effectivement comme un bouclier humain
À certains égards, il y a peu de différence entre le jeu deepfake et le jeu CGI, ou peut-être le doublage d'un dessin animé. Votre ressemblance n'entre pas dans la production finale, mais le résultat a toujours votre signature et votre interprétation. Mais le casting deepfake peut aussi aller dans l'autre sens, avec le visage d'une personne échangé contre la performance de quelqu'un d'autre.
Rendre ce type de faux persuasif était la tâche de Ryan Laney, un artiste d'effets visuels qui a travaillé sur le documentaire HBO 2020 Bienvenue en Tchétchénie . Le film suit des militants qui risquent leur vie pour lutter contre la persécution des personnes LGBTQ dans la république russe. Beaucoup d'entre eux vivent dans le secret par crainte d'être torturés et exécutés.
Afin de raconter leurs histoires, le réalisateur David France a promis de protéger leurs identités, mais il a voulu le faire sans perdre leur humanité. Après avoir testé de nombreuses solutions, son équipe a finalement atterri sur les deepfakes. Il s'est associé à Laney, qui a développé un algorithme qui superpose un visage sur un autre tout en conservant les expressions de ce dernier.
À gauche : Maxim Lapunov, le personnage principal du documentaire qui devient public au milieu du film. À droite : un activiste LGBTQ latino qui s'est porté volontaire pour être le bouclier de Maxim.
VOS MÉDIASLe casting n'était donc pas une recherche d'interprètes mais de 23 personnes prêtes à prêter leur visage. La France a finalement demandé aux militants LGBTQ de se porter volontaires comme couvertures. Il est venu non pas qui est le meilleur acteur, mais qui sont les personnes intéressées par la cause, dit Laney, parce qu'ils agissaient effectivement comme un bouclier humain.
L'équipe a repéré les militants à travers des événements et des publications sur Instagram, en fonction de leur apparence. Chaque face de couverture devait être suffisamment différente de la personne masquée tout en s'alignant sur certaines caractéristiques. Les poils du visage, les mâchoires et la longueur du nez devaient correspondre à peu près, par exemple, et chaque paire devait avoir à peu près le même âge pour que le visage de la personne en couverture ait l'air naturel sur le corps du sujet d'origine.
A gauche : le visage démasqué de Maxim. À droite : Maxim avec sa couverture deepfake.
VOS MÉDIASCependant, l'équipe ne correspondait pas toujours à l'ethnie ou au sexe. Le personnage principal, Maxim Lapunov, qui est blanc, était protégé par un activiste latino, et un personnage féminin était protégé par un activiste non conforme au genre.
Tout au long du processus, France et Laney se sont assurés d'obtenir le consentement pleinement éclairé de toutes les parties. Les sujets du film ont pu regarder le travail avant que David ne le publie, dit Laney. Tout le monde devait signer sa propre couverture pour s'assurer qu'il se sentait à l'aise.
Ça fait juste réfléchir les gens
Alors que les deepfakes professionnalisés ont repoussé les limites de l'art et de la créativité, leur existence soulève également des questions éthiques délicates. Il n'existe actuellement aucune véritable directive sur la façon d'étiqueter les deepfakes, par exemple, ou sur la frontière entre la satire et la désinformation.
Pour l'instant, les artistes et les cinéastes s'appuient sur un sens personnel du bien et du mal. France et Laney, par exemple, ont ajouté une clause de non-responsabilité au début du documentaire indiquant que certains personnages avaient été déguisés numériquement pour leur protection. Ils ont également ajouté des bords doux aux individus masqués pour les différencier. Nous ne voulions pas cacher quelqu'un sans le dire au public, dit Laney.
Stephanie Lepp, une artiste et productrice qui crée des deepfakes pour les commentaires politiques, marque également ses vidéos à l'avance pour indiquer clairement qu'elles sont fausses. Dans sa série Comptes profonds , qui imagine des personnalités puissantes comme Mark Zuckerberg s'excusant pour leurs actions, elle a également utilisé des acteurs vocaux plutôt que de l'audio deepfake pour distinguer davantage le projet comme satirique et non trompeur.
D'autres projets ont été plus timides, comme ceux de Barnaby Francis, un artiste-activiste qui travaille sous le pseudonyme de Bill Posters. Au fil des ans, Francis a falsifié des politiciens comme Boris Johnson et des célébrités comme Kim Kardashian , le tout au nom de l'éducation et de la satire. Certaines des vidéos, cependant, ne sont étiquetées qu'en externe, par exemple dans la légende lorsque Francis les publie sur Instagram. Sortis de ce contexte, ils risquent de brouiller l'art et la réalité, ce qui l'a parfois conduit à territoire risqué .
Voir ce post sur InstagramUne publication partagée par Affiches de facture (@bill_posters_uk) le 1 juin 2019 à 3h47 PDT
Voir ce post sur InstagramUne publication partagée par Affiches de facture (@bill_posters_uk) le 11 novembre 2019 à 23h55 PST
Il existe également peu de règles concernant les images et le discours qui peuvent être manipulés, et peu de protections pour les acteurs dans les coulisses. Jusqu'à présent, la plupart des deepfakes professionnalisés ont été basés sur des personnes célèbres et réalisés avec des objectifs clairs et constructifs, ils sont donc légalement protégés aux États-Unis en vertu des lois sur la satire. Dans le cas des deepfakes de Poutine et Kim de Mischief, cependant, les acteurs sont restés anonymes pour des raisons de sécurité personnelle, a déclaré l'équipe, en raison de la nature controversée de la manipulation des images des dictateurs.
Sachant à quel point les deepfakes amateurs ont été utilisés pour abuser, manipuler et harceler les femmes, certains créateurs s'inquiètent également de la direction que pourraient prendre les choses. Il y a beaucoup de gens qui prennent le train en marche et qui ne se soucient pas vraiment éthiquement ou moralement de savoir qui sont leurs clients, où cela peut apparaître et sous quelle forme, dit Francis.
Malgré ces questions difficiles, cependant, de nombreux artistes et cinéastes croient fermement que les deepfakes devraient être là pour rester. Utilisée de manière éthique, la technologie élargit les possibilités de l'art et de la critique, de la provocation et de la persuasion. Cela fait réfléchir les gens, dit Francis. C'est la forme d'art parfaite pour ce genre d'époque absurde, presque surréaliste, que nous vivons.