Une application d'IA qui déshabille les femmes montre comment les deepfakes nuisent aux plus vulnérables

Une image d'une femme avec son corps flou Mme Tech / Image originale : Getty

L'attention autour des deepfakes et des médias synthétiques s'est accrue ces derniers mois. Mais alors que la conversation s'est principalement concentrée sur son impact potentiel sur la politique, plusieurs experts en droits de l'homme et en éthique technologique ont averti qu'un autre préjudice potentiel avait été négligé : les conséquences potentiellement dévastatrices pour les femmes et les autres populations vulnérables qui sont ciblées par la technologie mais ne peuvent pas se protéger.

Maintenant, la dernière expérience de deepfake - une application appelée DeepNude qui a déshabillé des photos de femmes - joue ces cauchemars. Signalé pour la première fois par Vice , il a utilisé des réseaux antagonistes génératifs, ou GAN, pour échanger les vêtements des femmes contre des corps nus très réalistes. L'article a rapidement suscité une réaction virale et le créateur de l'application l'a fermée.

L'application DeepNude prouve nos pires craintes quant à la manière unique dont les outils audiovisuels peuvent être militarisés contre les femmes, déclare Mutale Nkonde, membre du Data & Society Research Institute, qui a conseillé un projet de loi présenté au Congrès par la représentante Yvette Clarke qui créerait des mécanismes pour les victimes. de ces deepfakes malveillants pour demander un recours juridique pour atteinte à la réputation.

L'application ciblait spécifiquement les femmes. Vice a découvert que le logiciel ne générait que des images du corps féminin, même lorsqu'on lui donnait une photo d'un homme. Le créateur anonyme a confirmé qu'il avait entraîné l'algorithme GAN uniquement sur des photos de femmes nues - en l'occurrence plus de 10 000 d'entre elles - car elles étaient plus faciles à trouver en ligne. Cependant, il avait également l'intention de faire éventuellement une version masculine.

Bien que les deepfakes ne représentent pas le corps réel des femmes - ils sont complètement synthétisés par l'algorithme - ils avaient toujours le potentiel de causer des dommages émotionnels et de réputation importants. Les images pourraient facilement être confondues avec la réalité et utilisées comme porno de vengeance ou un outil puissant pour faire taire les femmes. En fait, cela s'est déjà produit : un femme journaliste en Inde s'est fait greffer le visage sur une vidéo porno après avoir commencé à découvrir la corruption du gouvernement. Cela est instantanément devenu viral, la soumettant à un harcèlement intense et à des menaces de viol, et elle a dû se déconnecter pendant plusieurs mois.

Les deepfakes ne sont pas une nouvelle menace ; les médias manipulés existaient bien avant l'IA. Mais la technologie a accéléré et élargi les tendances existantes, explique Sam Gregory, directeur de programme de l'association des droits de l'homme Witness. Les algorithmes ont permis à beaucoup plus de personnes de générer de faux médias toujours plus convaincants. Ainsi, tout ce que les gens utilisaient dans le passé pour faire des médias manipulés, comme attaquer des journalistes, impliquer la corruption ou masquer des preuves, deviendra de plus en plus courant et dangereusement difficile à détecter.

L'application n'est pas différente, dit-il. L'abus sexuel des femmes fondé sur l'image existait déjà en tant que problème. Maintenant, les deepfakes alimentent les flammes.

Dans la même logique, Nkonde craint que les femmes ne soient pas les seules cibles vulnérables des deepfakes. Les minorités, les personnes LGBTQ et d'autres groupes souvent soumis au harcèlement en ligne le plus grave en deviendront probablement aussi des victimes, mais peut-être de différentes manières. Pendant la campagne présidentielle américaine de 2016, par exemple, des agents russes utilisé de faux personnages afro-américains et des images connexes dans le cadre d'une campagne de désinformation sur Facebook pour accroître les tensions raciales entre les Américains.

C'était une nouvelle façon de supprimer les électeurs, et c'était en usurpant l'identité des gens en ligne, dit Nkonde. La technologie Deepfake serait un autre outil naturel pour les acteurs malveillants prétendant être des personnes qu'ils ne sont pas pour perturber les communautés et causer des dommages.

Alors, où allons-nous partir d'ici? Nkonde et Gregory ont tous deux partagé des recommandations similaires avec MIT Technology Review dans le passé : les entreprises et les chercheurs qui produisent des outils pour les deepfakes doivent également investir dans des contre-mesures, et les sociétés de médias sociaux et de recherche devraient intégrer ces contre-mesures directement dans leurs plateformes. Nkonde exhorte également les régulateurs à agir rapidement. À moins que le gouvernement ne trouve un moyen de protéger les droits des consommateurs, des applications comme celle-ci vont proliférer, dit-elle.

La technologie n'est pas neutre, dit Gregory. Cette application [DeepNude] n'est pas à double usage. C'est un usage unique à des fins malveillantes, et il est créé de manière amorale.

Nous devons vraiment nous concentrer sur l'éthique de la création et du partage d'outils médiatiques génératifs, ajoute-t-il. Nous devrions l'appeler à plusieurs reprises.

cacher