Facebook fabrique ses propres deepfakes d'IA pour éviter un désastre de désinformation

Images côte à côte de la vidéo originale et du deepfake. Facebook

Facebook craint que les vidéos deepfake générées par l'IA ne soient la prochaine grande source de désinformation virale, se propageant parmi ses utilisateurs avec des conséquences potentiellement catastrophiques pour la prochaine élection présidentielle américaine.

Sa solution ? Créer de nombreux deepfakes pour aider les chercheurs à créer et à affiner des outils de détection.

Facebook a demandé à son équipe de chercheurs en IA de produire un certain nombre de fausses vidéos très réalistes mettant en scène des acteurs faisant et disant des choses de routine. Ces clips serviront d'ensemble de données pour tester et comparer les outils de détection de deepfake. Les deepfakes de Facebook seront publiés lors d'une grande conférence sur l'IA à la fin de l'année.

L'essor des deepfakes a été stimulé par les récentes avancées de l'apprentissage automatique. Il est depuis longtemps possible pour les studios de cinéma de manipuler des images et des vidéos avec des logiciels et des ordinateurs, et des algorithmes capables de capturer et de recréer la ressemblance d'une personne ont déjà été utilisés pour créer des outils pointer-cliquer pour coller le visage d'une personne sur quelqu'un d'autre. .

Des méthodes pour repérer les faux supports existent, mais elles impliquent souvent une analyse minutieuse par des experts. Les outils pour détecter automatiquement les deepfakes ne font que commencer.

Le CTO de Facebook, Mike Schroepfer, affirme que les deepfakes progressent rapidement, il est donc vital de trouver de bien meilleurs moyens de signaler ou de bloquer les contrefaçons potentielles.

Nous n'avons pas encore vu cela comme un énorme problème sur nos plates-formes, mais mon hypothèse est que si vous augmentez l'accès - rendez-le moins cher, plus facile, plus rapide pour construire ces choses - cela augmente clairement le risque que les gens l'utilisent de manière malveillante, Schroepfer , qui est le fer de lance de l'initiative, a déclaré hier soir. Je ne veux pas être dans une situation où il s'agit d'un énorme problème et où nous n'avons pas investi massivement dans la R&D.

Comparant l'effort à la lutte contre les spams, Schroepfer a déclaré que Facebook pourrait ne pas être en mesure d'attraper les contrefaçons les plus sophistiquées. Nous allons attraper les plus évidents, a-t-il dit. Mais il a dit que Facebook n'employait pas encore de méthodes parce que les contrefaçons s'amélioraient si rapidement.

Le réseau social consacrera 10 millions de dollars au financement de la technologie de détection par le biais de subventions et de prix défi. En collaboration avec Microsoft, le Partenariat sur l'IA , et des universitaires d'institutions telles que le MIT, l'UC Berkeley et l'Université d'Oxford, la société lance le Défi de détection Deepfake , qui offrira des récompenses en espèces non spécifiées pour les meilleures méthodes de détection.

Faire un deepfake nécessite généralement deux clips vidéo. Les algorithmes apprennent l'apparence de chaque visage afin de coller l'un sur l'autre tout en conservant chaque sourire, clignement et hochement de tête. Différentes techniques d'IA peuvent également être utilisées pour recréer la voix d'une personne spécifique. Le terme deepfake est tiré d'un utilisateur de Reddit qui a sorti un tel outil en 2017. Il fait référence au deep learning, la technique d'IA employée.

L'une des grandes inquiétudes est que les deepfakes pourraient être utilisés pour diffuser des informations erronées hautement contagieuses lors des élections américaines de l'année prochaine, peut-être même en influençant le résultat. Plusieurs sénateurs américains ont tiré la sonnette d'alarme sur la menace et Ben Sasse (R-Nebraska) a présenté un projet de loi visant à rendre illégale la création ou la distribution de deepfakes avec une intention malveillante. Une récente rapport sur la désinformation électorale de NYU identifie les deepfakes comme l'un des nombreux défis clés pour les élections de 2020.

En fait, les vidéos manipulées se répandent déjà sur les plateformes sociales. Plus tôt cette année, un clip qui semblait montrer Nancy Pelosi en train de brouiller son discours (réalisé simplement en ralentissant les images) s'est rapidement répandu sur Facebook. La société a refusé de supprimer ce message ou un deepfake de Mark Zuckerberg, choisissant plutôt de signaler les clips comme faux auprès des organisations de vérification des faits.

Il est logique que Facebook essaie de devancer le problème, surtout après les retombées de la dernière élection présidentielle. Alors que les détails des campagnes de désinformation politique émergeaient, Facebook a fait l'objet de vives critiques pour avoir permis à une telle propagande de se répandre.

La promotion du défi deepfake pourrait cependant avoir des conséquences inattendues. Henry Ajder, analyste chez Deeptrace, une société néerlandaise qui travaille sur des outils pour repérer les clips falsifiés, note que le récit autour des deepfakes peut offrir aux politiciens un moyen d'esquiver la responsabilité, en affirmant que de vraies informations ont été falsifiées (voir Fake America great again ). La simple idée de deepfakes crée déjà beaucoup de problèmes, dit Ajder. C'est un virus dans la sphère politique qui a infecté l'esprit des politiciens et des citoyens.

De plus, malgré l'alarme, Ajder, qui traque les deepfakes dans la nature, doute que la technologie soit militarisée à des fins politiques pendant un certain temps. Il pense que cela deviendra plus immédiatement un puissant outil de cyber-harcèlement et d'intimidation.

Quelques méthodes de détection des deepfakes existent déjà. Des techniques simples impliquent l'analyse des données dans un fichier vidéo ou la recherche de mouvements et de clignements de la bouche révélateurs, ce qui est plus difficile à capturer et à recréer pour un algorithme.

Une méthode développée récemment par un groupe d'experts de premier plan consiste à former un algorithme d'apprentissage en profondeur pour reconnaître la façon spécifique dont la tête d'une personne bouge, car ce n'est pas quelque chose que les algorithmes apprennent généralement.

Cette approche est née d'un autre effort de développement d'outils de détection, qui est financé par la Defense Advanced Research Projects Agency (DARPA).

De nombreux experts ont été surpris et alarmés par la rapidité avec laquelle les contrefaçons d'IA progressent. Cette semaine encore, une application chinoise appelée Zao a suscité un débat en publiant des vidéos deepfake censées être créées à partir d'une image fixe. Hao Li , un artiste d'effets visuels et professeur agrégé à l'Université de Californie du Sud, a averti qu'il pourrait être possible de produire en masse des deepfakes indétectables avant longtemps (voir Le meilleur artiste deepfake au monde se bat avec le monstre qu'il a créé).

cacher