211service.com
Facebook vient de publier une base de données de 100 000 deepfakes pour apprendre à l'IA comment les repérer
Les deepfakes ont touché une corde sensible auprès du public et des chercheurs. Il y a quelque chose de particulièrement troublant dans ces images générées par l'IA de personnes semblant dire ou faire quelque chose qu'elles n'ont pas fait.
Avec outils pour faire des deepfakes désormais largement disponibles et relativement faciles à utiliser, beaucoup craignent également qu'ils ne soient utilisés pour diffuser des informations erronées dangereuses. Les politiciens peuvent se faire mettre les mots d'autres personnes dans la bouche ou les faire participer à des situations auxquelles ils n'ont pas participé, par exemple.
C'est la peur, du moins. Pour un œil humain, la vérité est que les deepfakes sont encore relativement faciles à repérer. Et selon un rapport de la société de cybersécurité DeepTrace Labs en octobre 2019, toujours les plus complètes à ce jour, elles n'ont été utilisées dans aucune campagne de désinformation. Pourtant, le même rapport a également révélé que le nombre de deepfakes publiés en ligne augmentait rapidement, avec environ 15 000 apparitions au cours des sept mois précédents. Ce nombre sera beaucoup plus grand maintenant.
Les entreprises de médias sociaux craignent que les deepfakes n'inondent bientôt leurs sites. Mais les détecter automatiquement est difficile. Pour résoudre le problème, Facebook souhaite utiliser l'IA pour lutter contre les contrefaçons générées par l'IA. Pour former les IA à repérer les vidéos manipulées, il publie le plus grand ensemble de données de deepfakes jamais créé : plus de 100 000 clips produits à l'aide de 3 426 acteurs et une gamme de techniques d'échange de visage existantes.
Les deepfakes ne sont actuellement pas un gros problème, déclare le CTO de Facebook, Mike Schroepfer. Mais la leçon que j'ai apprise à la dure au cours des deux dernières années est de ne pas être pris au dépourvu. Je veux être vraiment préparé à beaucoup de mauvaises choses qui n'arrivent jamais plutôt que l'inverse.
Facebook a également annoncé le gagnant de son Défi de détection Deepfake , dans lequel 2 114 participants ont soumis environ 35 000 modèles formés sur son ensemble de données. Le meilleur modèle, développé par Selim Seferbekov, un ingénieur en apprentissage automatique de la société de cartographie Mapbox, a été capable de détecter si une vidéo était un deepfake avec une précision de 65 % lorsqu'elle a été testée sur un ensemble de 10 000 clips inédits, y compris un mélange de nouvelles vidéos. générés par Facebook et ceux existants tirés d'Internet.
Pour rendre les choses plus difficiles, l'ensemble de formation et l'ensemble de test incluent des vidéos qui pourraient confondre un système de détection, telles que des personnes donnant des tutoriels de maquillage, et des vidéos qui ont été modifiées en collant du texte et des formes sur les visages des haut-parleurs, en modifiant la résolution ou l'orientation et en les ralentissant.
Plutôt que d'apprendre des techniques médico-légales, telles que la recherche d'empreintes digitales numériques dans les pixels d'une vidéo laissés par le processus de génération de deepfake, les cinq premières entrées semblent avoir appris à repérer quand quelque chose se passait, comme un humain pourrait le faire.
Pour ce faire, les lauréats ont tous utilisé un nouveau type de réseau de neurones à convolution (CNN) développé par les chercheurs de Google l'an dernier, appelé EfficientNets. Les CNN sont couramment utilisés pour analyser des images et sont efficaces pour détecter des visages ou reconnaître des objets. Cependant, l'amélioration de leur précision au-delà d'un certain point peut nécessiter des ajustements ad hoc. EfficientNets offre une méthode de réglage plus structurée, ce qui facilite le développement de modèles plus précis. Mais ce qui les fait surpasser les autres réseaux de neurones dans cette tâche n'est pas clair, dit Seferbekov.
Facebook ne prévoit pas d'utiliser l'un des modèles gagnants sur son site. D'une part, une précision de 65% n'est pas encore assez bonne pour être utile. Certains modèles ont atteint une précision de plus de 80 % avec les données d'entraînement, mais cela a chuté lorsqu'ils sont confrontés à des clips invisibles. La généralisation à de nouvelles vidéos, qui peuvent inclure différents visages échangés en utilisant différentes techniques, est la partie la plus difficile du défi, explique Seferbekov.
Il pense qu'une façon d'améliorer la détection serait de se concentrer sur les transitions entre les images vidéo, en les suivant dans le temps. Même les deepfakes de très haute qualité ont des scintillements entre les images, explique Seferbekov. Les humains sont doués pour repérer ces incohérences, en particulier dans les séquences de visages. Mais attraper automatiquement ces défauts révélateurs nécessitera des données de formation plus importantes et plus variées et beaucoup plus de puissance de calcul. Seferbekov a essayé de suivre ces transitions de trame mais n'a pas pu. Le processeur était un véritable goulot d'étranglement là-bas, dit-il.
Facebook suggère que la détection des deepfakes peut également être améliorée en utilisant des techniques qui vont au-delà de l'analyse d'une image ou d'une vidéo elle-même, comme l'évaluation de son contexte ou de sa provenance.
Sam Gregory, qui dirige Witness, un projet qui soutient les militants des droits de l'homme dans leur utilisation des technologies vidéo, salue l'investissement des plateformes de médias sociaux dans la détection des deepfakes. Witness est membre de Partnership on AI, qui a conseillé Facebook sur son ensemble de données. Gregory est d'accord avec Schroepfer qu'il vaut la peine de se préparer au pire. Nous n'avons pas eu les apocalyps deepfake, mais ces outils sont un ajout très désagréable à la violence sexiste et à la désinformation, dit-il. Par exemple, le rapport DeepTrace Labs a révélé que 96 % des deepfakes étaient de la pornographie non consensuelle, dans lequel les visages d'autres personnes sont collés sur ceux des artistes interprètes ou exécutants dans des clips porno.
Lorsque des millions de personnes peuvent créer et partager des vidéos, faire confiance à ce que nous voyons est plus important que jamais. Les fausses nouvelles se répandent sur Facebook comme une traînée de poudre, et la simple possibilité de deepfakes sème le doute, nous faisant plus susceptibles de remettre en question les images authentiques ainsi que faux.
De plus, la détection automatique pourrait bientôt être notre seule option. À l'avenir, nous verrons des deepfakes qui ne peuvent pas être distingués par les humains, dit Seferbekov.