Les memers font des deepfakes, et les choses deviennent bizarres

En bas à droite : c'est moi. Mme Tech | NeurIPS (ensemble de formation); Hao (avec la permission)

Grace Windheim avait déjà entendu parler de deepfakes. Mais elle n'avait jamais réfléchi à la façon d'en fabriquer un. C'était un mème viral utilisant la technologie qui l'a amenée à rechercher cette possibilité et à découvrir que c'était super facile et totalement gratuit.

En une journée, elle avait créé un tutoriel YouTube étape par étape guider les autres tout au long du processus. Faire l'un de ces deepfakes et superposer l'audio n'est pas aussi compliqué qu'on pourrait le penser, dit-elle dans la vidéo, publiée le 4 août. Elle a depuis été visionnée plus de 360 ​​000 fois.

Windheim fait partie d'un nouveau groupe de créateurs en ligne qui jouent avec les deepfakes à mesure que la technologie devient de plus en plus accessible et s'infiltre dans la culture Internet. Le phénomène n'est pas surprenant ; les outils de manipulation des médias ont souvent gagné du terrain grâce à jouer et parodier . Mais cela soulève également de nouvelles inquiétudes quant à son potentiel d'abus.

Les deepfakes ont déjà été utilisés pour harceler les femmes en échangeant sans consentement leurs visages dans des vidéos porno. Les universitaires s'inquiètent également de leur capacité à perturber les élections. Bien que les deepfakes créés pour les mèmes soient encore évidemment faux et relativement inoffensifs, ils ne le resteront peut-être pas longtemps.

Il y a une ligne fine entre l'utilisation de deepfakes pour le divertissement et les mèmes, et leur utilisation pour le mal, dit Windheim. Dans ce didacticiel, je dis: 'C'est ainsi que vous créez ce deepfake particulier.' Mais ce qui fait peur à propos du script, c'est qu'il peut simplement être appliqué pour créer n'importe quel type de deepfake que vous voulez.

J'ai été un imbécile

Windheim, un récent diplômé universitaire, travaille comme créateur de contenu à la startup Kapwing basée à San Francisco. La société, qui a fait ses débuts en tant que créateur de mèmes, propose une suite gratuite d'outils logiciels de montage vidéo basés sur un navigateur. Dans le cadre de son travail, Windheim gère la chaîne YouTube et produit des vidéos de marketing de contenu pour montrer les capacités des produits.

Début août, elle est tombée sur un terme de recherche particulièrement viral sur Google Trends. Trois des cinq principales requêtes portaient sur un mème deepfake Baka Mitai. Je ne vois presque jamais une question revenir aussi souvent, dit-elle.

Il s'avère que le mème était basé sur une vidéo d'un YouTuber lip-syncing à une chanson japonaise de jeu vidéo appelée Baka Mitai (traduction : I've Been a Fool). Divers internautes avaient utilisé la vidéo pour créer des deepfakes merdiques de tout le monde de Barack Obama à Thanos chanter la chanson. Malgré sa popularité, cependant, Windheim a constaté que peu de choses avaient été écrites sur la façon de le fabriquer. Elle a vu une opportunité.

L'algorithme deepfake particulier que les gens utilisaient provient d'un mémoire de recherche 2019 présenté à NeurIPS, la plus grande conférence annuelle de recherche sur l'IA. Contrairement à d'autres algorithmes plus complexes, il permet à un utilisateur de prendre n'importe quelle vidéo du visage d'une personne et de l'utiliser pour animer une photo du visage de quelqu'un d'autre avec seulement quelques lignes de code.

Windheim a trouvé l'algorithme open-source dans un tutoriel YouTube et l'a porté dans un bloc-notes Google Colab, un service gratuit pour exécuter du code dans le cloud. Après quelques essais, aidée par les compétences qu'elle avait acquises dans le cours de codage occasionnel à l'université, elle a obtenu le script pour cracher une vidéo deepfake. Elle a ensuite synchronisé la chanson avec la vidéo avec les outils de Kapwing, créant une nouvelle version du mème.

Depuis qu'elle a posté son tuto sur la chaîne YouTube de Kapwing, un certain nombre d'autres YouTubers ont également réalisé des tutoriels en utilisant le même algorithme de copier-coller. La différence : beaucoup d'entre eux enseignent à leur public comment faire quelconque genre de meme deepfake. On apprend même aux gens comment les faire sur mobile .

Ces mèmes apparaissent désormais partout sur les réseaux sociaux : sur Twitter, Instagram, et surtout TikTok. Les courtes vidéos de la plate-forme, qui présentent souvent une chorégraphie accrocheuse sur une musique entraînante, sont particulièrement propices au deepfake pour un effet fascinant. Le hashtag #deepfake dans l'application a déjà accumulé plus de 120 millions de vues.

@lemonjezus

@ helltaker03

Les visages des vidéos réalisées avec cet algorithme sont étrangement révélateurs, ce qui rend son travail facile à reconnaître. cela fait partie de l'humour des deepfakes. Ces imperfections - et les qualité surréaliste des mèmes - les empêchera d'être confondus avec la réalité. À l'heure actuelle, les deepfakes plus hyperréalistes sont beaucoup plus difficiles sur le plan technique et coûteux en calculs à créer.

Mais au rythme où la technologie progresse, des deepfakes faciles à fabriquer et presque impossibles à distinguer de la réalité sont probablement au coin de la rue. Certaines entreprises comme le géant chinois de la technologie Tencent, propriétaire de WeChat, ont annoncé publiquement leur intention d'investir davantage de ressources pour faire progresser l'état de l'art pour les applications commerciales .

Les deepfakes ne sont pas intrinsèquement mauvais. La technologie a déjà été utilisée par des artistes, des éducateurs et d'autres comme un nouvel outil puissant d'expression créative. En février, par exemple, le magazine Time a utilisé des deepfakes pour recréer l'expérience de Martin Luther King Jr. prononçant son discours I Have a Dream en réalité virtuelle. En fin de compte, les régulateurs doivent définir ce qui est une utilisation appropriée et ce qui pourrait entraîner des dommages.

Pour l'instant, Windheim s'appuie sur son propre jugement pour passer cet appel. Avant de publier sa vidéo, elle s'est renseignée sur les implications des deepfakes et a eu une conversation avec ses collègues. Nous n'avons jamais l'intention que nos produits aident les utilisateurs à diffuser des informations erronées, dit-elle, alors nous voulions juste nous vérifier nous-mêmes.

En fin de compte, ils ont décidé de certaines règles de base : ils concentreraient leurs tutoriels sur la création de mèmes spécifiques, jamais sur la création de deepfakes en dehors de ce contexte. Tant que c'est du divertissement et dans la culture des mèmes, dit-elle, nous sommes dans la zone claire.

cacher