Cet algorithme repère automatiquement les échanges de visage dans les vidéos

La possibilité de prendre le visage ou l'expression d'une personne et de la superposer à une vidéo d'une autre personne est récemment devenue possible. En particulier, des vidéos pornographiques appelées deepfakes ont vu le jour sur des sites tels que Reddit et 4Chan montrant des visages d'individus célèbres superposés au corps d'acteurs.

Ce phénomène a des implications importantes. À tout le moins, cela a le potentiel de porter atteinte à la réputation des personnes victimes de ce type de contrefaçon. Elle pose des problèmes pour les systèmes d'identification biométriques. Et cela menace de saper la confiance du public dans les vidéos de toutes sortes.

Un moyen rapide et précis de repérer ces vidéos est donc désespérément nécessaire.

Lesquelles de ces paires d'images sont des faux ? Réponse ci-dessous.

Entrez Andreas Rossler de l'Université technique de Munich en Allemagne et ses collègues, qui ont développé un système d'apprentissage en profondeur capable de repérer automatiquement les vidéos d'échange de visage. La nouvelle technique pourrait aider à identifier les vidéos falsifiées au fur et à mesure qu'elles sont publiées sur le Web.

Mais l'œuvre a aussi du piquant dans la queue. La même technique d'apprentissage en profondeur qui peut repérer les vidéos d'échange de visage peut également être utilisée pour améliorer la qualité des échanges de visage en premier lieu, ce qui pourrait les rendre plus difficiles à détecter.

La nouvelle technique repose sur un algorithme d'apprentissage en profondeur que Rossler et co ont formé pour repérer les échanges de visage. Ces algorithmes ne peuvent apprendre que d'énormes ensembles de données annotées de bons exemples, qui n'existaient tout simplement pas jusqu'à présent.

L'équipe a donc commencé par créer un grand ensemble de données de vidéos d'échange de visage et de leurs originaux. Ils utilisent deux types d'échanges de visages qui peuvent être facilement réalisés à l'aide d'un logiciel appelé Face2Face. (Ce logiciel a été créé par certains membres de cette équipe.)

Le premier type d'échange de visage superpose le visage d'une personne sur le corps d'une autre afin qu'il prenne ses expressions. Le second prend les expressions d'un visage et modifie un second visage pour les montrer.

L'équipe l'a fait avec plus de 1 000 vidéos, créant une base de données d'environ un demi-million d'images dans lesquelles les visages ont été manipulés avec un logiciel d'édition de visage à la pointe de la technologie. Ils ont appelé cela la base de données FaceForensics.

La taille de cette base de données est une amélioration significative par rapport à ce qui était disponible auparavant. Nous introduisons un nouvel ensemble de données de vidéos manipulées qui dépasse tous les ensembles de données médico-légales accessibles au public par ordre de grandeur, déclare Rossler et co.

Ensuite, l'équipe utilise la base de données pour former un algorithme d'apprentissage en profondeur afin de reconnaître la différence entre les échanges de visages et leurs originaux purs. Ils appellent l'algorithme résultant XceptionNet.

Enfin, ils comparent la nouvelle approche à d'autres techniques de détection de falsification.

Les résultats sont impressionnants. XceptionNet surpasse clairement les autres techniques pour repérer les vidéos qui ont été manipulées, même lorsque les vidéos ont été compressées, ce qui rend la tâche beaucoup plus difficile. Nous avons établi une solide base de résultats pour détecter une manipulation faciale avec des architectures modernes d'apprentissage en profondeur, disent Rossler et co.

Cela devrait permettre de repérer plus facilement les vidéos falsifiées lorsqu'elles sont téléchargées sur le Web. Mais l'équipe est bien consciente de la nature du chat et de la souris de la détection de faux : dès qu'une nouvelle technique de détection émerge, la course commence à trouver un moyen de la tromper.

Rossler et co ont une longueur d'avance naturelle depuis qu'ils ont développé XceptionNet. Ils l'utilisent donc pour repérer les signes révélateurs qu'une vidéo a été manipulée, puis utilisent ces informations pour affiner la falsification, ce qui la rend encore plus difficile à détecter.

Il s'avère que ce processus améliore la qualité visuelle de la falsification mais n'a pas beaucoup d'effet sur la capacité de XceptionNet à la détecter. Notre raffineur améliore principalement la qualité visuelle, mais il n'encombre que légèrement la détection de falsification pour la méthode d'apprentissage en profondeur formée exactement sur les données de sortie falsifiées, disent-ils.

C'est un travail intéressant car il introduit une toute nouvelle façon d'améliorer le processus de manipulation d'images. Nous croyons que cette interaction entre la falsification et la détection est une avenue extrêmement intéressante pour le travail de suivi, disent-ils.

Réf : arxiv.org/abs/1803.09179 : FaceForensics : un ensemble de données vidéo à grande échelle pour la détection de faux dans les visages humains

Réponse : L'image supérieure de chaque paire est réelle.

cacher