Un bot deepfake est utilisé pour déshabiller des filles mineures

Savka Jankovic / Eye Em

Mise à jour du 28/10 : Depuis la publication de cet article, le bot deepfake sur Telegram a été bloqué sur iOS pour avoir enfreint les directives de l'App Store, selon les chercheurs . La chaîne principale Telegram qui hébergeait le bot et une chaîne affiliée pour partager ses créations a également été supprimée.

En juin 2019, Vice découvert l'existence d'une application dérangeante qui utilisait l'IA pour déshabiller les femmes. Appelé DeepNude, il permettait aux utilisateurs de télécharger une photo d'une femme vêtue pour 50 $ et de récupérer une photo d'elle apparemment nue. En réalité, le logiciel utilisait des réseaux contradictoires génératifs, l'algorithme derrière les deepfakes, pour échanger les vêtements des femmes contre des corps nus très réalistes. Plus la victime est légèrement vêtue, mieux c'est. Cela n'a pas fonctionné sur les hommes.

En moins de 24 heures, l'article de Vice avait suscité un tel contrecoup que les créateurs de l'application ont rapidement l'a enlevé . Le compte Twitter DeepNude a annoncé qu'aucune autre version ne serait publiée et que personne d'autre n'aurait accès à la technologie.

Mais un nouvelle enquête de Sensity AI (anciennement Deeptrace Labs), une société de cybersécurité axée sur la détection de l'abus de médias manipulés, a maintenant trouvé une technologie très similaire utilisée par un bot accessible au public sur l'application de messagerie Telegram. Cette fois, il a une interface utilisateur encore plus simple : n'importe qui peut envoyer une photo au bot via l'application mobile ou Web Telegram et recevoir un retour nu en quelques minutes. Le service est également entièrement gratuit, bien que les utilisateurs puissent payer une base de 100 roubles (environ 1,50 $) pour des avantages tels que la suppression du filigrane sur les photos dépouillées ou le saut de la file d'attente de traitement.

En juillet 2020, le bot avait déjà été utilisé pour cibler et déshabiller au moins 100 000 femmes, dont la majorité n'en avait probablement aucune idée. Ce sont généralement des jeunes filles, explique Giorgio Patrini, PDG et scientifique en chef de Sensity, co-auteur du rapport. Malheureusement, il est parfois aussi évident que certaines de ces personnes sont mineures.

La gamification du harcèlement

Le bot deepfake, lancé le 11 juillet 2019, est connecté à sept chaînes Telegram avec un total combiné de plus de 100 000 membres. (Ce nombre ne tient pas compte des adhésions en double sur les canaux, mais le groupe principal compte à lui seul plus de 45 000 membres uniques.)

Le canal central est dédié à l'hébergement du bot lui-même, tandis que les autres sont utilisés pour des fonctions telles que le support technique et le partage d'images. Les canaux de partage d'images incluent des interfaces que les gens peuvent utiliser pour publier et juger leurs créations nues. Plus une photo est appréciée, plus son créateur est récompensé par des jetons pour accéder aux fonctionnalités premium du bot. Le créateur recevra une incitation comme s'il jouait à un jeu, dit Patrini.

La communauté, qui est facilement détectable via la recherche et les médias sociaux, n'a cessé d'augmenter le nombre de ses membres au cours de la dernière année. Un sondage auprès de 7 200 utilisateurs a montré qu'environ 70 % d'entre eux venaient de Russie ou d'autres pays russophones. Les victimes, cependant, semblent provenir d'un plus large éventail de pays, dont l'Argentine, l'Italie, la Russie et les États-Unis. La majorité d’entre eux sont des particuliers que les utilisateurs du bot disent connaître dans la vraie vie ou qu’ils ont trouvés sur Instagram. Les chercheurs n'ont pu identifier qu'une petite poignée de femmes et ont essayé de les contacter pour comprendre leurs expériences. Aucune des femmes n'a répondu, dit Patrini.

Les chercheurs ont également contacté Telegram et les forces de l'ordre concernées, y compris le FBI. Telegram n'a répondu ni à leur note ni à la demande de commentaires de suivi de MIT Technology Review. Patrini dit qu'ils n'ont également constaté aucun effet tangible sur ces communautés depuis qu'ils ont contacté les autorités.

Deepfake vengeance porno

Les agresseurs utilisent des images pornographiques pour harceler les femmes depuis un certain temps. En 2019, une étude de l'American Psychological Association a révélé qu'une femme sur 12 finit par être victime de pornographie de vengeance à un moment donné de sa vie. Une étude du gouvernement australien, en examinant l'Australie, le Royaume-Uni et la Nouvelle-Zélande, a constaté que ce ratio atteignait un sur trois. Deepfake revenge porn ajoute une toute nouvelle dimension au harcèlement, car les victimes ne réalisent pas que de telles images existent.

Il existe également de nombreux cas dans lesquels des deepfakes ont été utilisés pour cibler des célébrités et d'autres personnalités. La technologie est d'abord devenue populaire dans les recoins profonds d'Internet comme moyen d'échanger des visages avec des célébrités dans des vidéos porno, et elle a été utilisée dans le cadre de campagnes de harcèlement pour faire taire femmes journalistes . Patrini dit qu'il a également parlé avec des influenceurs et des YouTubers, qui ont reçu des images pornographiques profondément truquées d'eux directement envoyées à leurs sponsors, ce qui leur a coûté une immense charge émotionnelle et financière.

Patrini soupçonne que ces attaques ciblées pourraient s'aggraver. Lui et ses collègues chercheurs ont déjà vu la technologie progresser et se répandre. Par exemple, ils ont découvert un autre écosystème de plus de 380 pages dédiées à la création et au partage de deepfakes explicites sur la plateforme de médias sociaux russe VK. (Après la publication de cet article, un porte-parole de VK a envoyé au MIT Technology Review une déclaration : 'VK ne tolère pas de tels contenus ou liens sur la plate-forme et bloque les communautés qui les distribuent. Nous effectuerons une vérification supplémentaire et bloquerons les contenus inappropriés et communautés.') Les chercheurs ont également découvert que l'algorithme de déshabillage commençait à être appliqué à des vidéos, telles que des images de mannequins en bikini marchant sur une piste. À l'heure actuelle, l'algorithme doit être appliqué image par image - c'est très rudimentaire pour le moment, dit Patrini. Mais je suis sûr que les gens le perfectionneront et mettront également en place un service de licence pour cela.

Malheureusement, il existe encore peu de moyens d'arrêter ce type d'activité, mais la prise de conscience des problèmes augmente. Des entreprises comme Facebook et Google, ainsi que des chercheurs qui produisent des outils de création de deepfakes, ont commencé à investir plus sérieusement dans des contre-mesures telles que la détection automatisée des deepfakes. L'année dernière, le Congrès américain a également présenté une nouvelle facture cela créerait un mécanisme permettant aux victimes d'exercer un recours juridique en cas d'atteinte à leur réputation.

En attendant, dit Patrini, Sensity continuera de suivre et de signaler ces types de deepfakes malveillants, et cherchera à mieux comprendre les motivations de ceux qui les créent et les impacts sur la vie des victimes. 'En effet, les données que nous partageons dans ce rapport ne sont que la pointe de l'iceberg', déclare-t-il.

Mise à jour : Une déclaration officielle de la plateforme de médias sociaux russe VK a été ajoutée à l'article.

cacher