Les générateurs de faux visages IA peuvent être rembobinés pour révéler les vrais visages sur lesquels ils se sont entraînés

Mme Tech | Pexels, cettepersonnen'existepas.com

Charger le site Web Cette personne n'existe pas et il vous montrera un visage humain, presque parfait dans son réalisme mais totalement faux. Actualisez et le réseau de neurones derrière le site en générera un autre, et un autre, et un autre. La séquence sans fin de visages créés par l'IA est produite par un réseau contradictoire génératif (GAN), un type d'IA qui apprend à produire des exemples réalistes mais faux des données sur lesquelles il est formé.

Mais de tels visages générés - qui commencent à être utilisé dans les films et les publicités CGI - ne sont peut-être pas aussi uniques qu'ils le paraissent. Dans un article intitulé Cette personne existe (probablement) , les chercheurs montrent que de nombreux visages produits par les GAN présentent une ressemblance frappante avec les personnes réelles qui apparaissent dans les données de formation. Les faux visages peuvent efficacement démasquer les vrais visages sur lesquels le GAN a été formé, ce qui permet d'exposer l'identité de ces personnes. Ce travail est le dernier d'une série d'études qui remettent en cause l'idée populaire selon laquelle les réseaux de neurones sont des boîtes noires qui ne révèlent rien de ce qui se passe à l'intérieur.

Histoire connexe

Les gens louent leurs visages pour devenir des clones marketing de style deepfake

Des personnages alimentés par l'IA basés sur de vraies personnes peuvent jouer dans des milliers de vidéos et dire n'importe quoi, dans n'importe quelle langue.

Pour exposer les données de formation cachées, Ryan Webster et ses collègues de l'Université de Caen Normandie en France ont utilisé un type d'attaque appelé attaque d'adhésion, qui peut être utilisé pour savoir si certaines données ont été utilisées pour former un modèle de réseau de neurones. Ces attaques tirent généralement parti des différences subtiles entre la manière dont un modèle traite les données sur lesquelles il a été formé (et a donc vu des milliers de fois auparavant) et les données invisibles.

Par exemple, un modèle peut identifier avec précision une image inédite, mais avec un peu moins de confiance qu'une image sur laquelle il a été formé. Un deuxième modèle attaquant peut apprendre à repérer de tels tell dans le comportement du premier modèle et les utiliser pour prédire quand certaines données, comme une photo, sont dans l'ensemble d'apprentissage ou non.

De telles attaques peuvent entraîner de graves failles de sécurité. Par exemple, découvrir que les données médicales d'une personne ont été utilisées pour former un modèle associé à une maladie pourrait révéler que cette personne est atteinte de cette maladie.

L'équipe de Webster a étendu cette idée de sorte qu'au lieu d'identifier les photos exactes utilisées pour former un GAN, ils ont identifié des photos dans l'ensemble de formation du GAN qui n'étaient pas identiques mais semblaient représenter le même individu, en d'autres termes, des visages avec la même identité. Pour ce faire, les chercheurs ont d'abord généré des visages avec le GAN, puis ont utilisé une IA de reconnaissance faciale distincte pour détecter si l'identité de ces visages générés correspondait à l'identité de l'un des visages vus dans les données d'entraînement.

Les résultats sont saisissants. Dans de nombreux cas, l'équipe a trouvé plusieurs photos de personnes réelles dans les données de formation qui semblaient correspondre aux faux visages générés par le GAN, révélant l'identité des personnes sur lesquelles l'IA avait été formée.

La colonne de gauche de chaque bloc montre les visages générés par un GAN. Ces faux visages sont suivis de trois photos de personnes réelles identifiées dans les données d'entraînement

UNIVERSITÉ DE CAEN NORMANDIE

Le travail soulève de graves problèmes de confidentialité. La communauté de l'IA a un sentiment de sécurité trompeur lorsqu'elle partage des modèles de réseaux de neurones profonds formés, déclare Jan Kautz, vice-président de la recherche sur l'apprentissage et la perception chez Nvidia.

En théorie, ce type d'attaque pourrait s'appliquer à d'autres données liées à un individu, telles que des données biométriques ou médicales. D'autre part, Webster souligne que les gens pourraient également utiliser la technique pour vérifier si leurs données ont été utilisées pour former une IA sans leur consentement.

Les artistes pourraient découvrir si leur travail a été utilisé pour former un GAN dans un outil commercial, dit-il : Vous pourriez utiliser une méthode comme la nôtre pour prouver une violation du droit d'auteur.

Le processus pourrait également être utilisé pour s'assurer que les GAN n'exposent pas de données privées en premier lieu. Le GAN a pu vérifier si ses créations ressemblaient à des exemples réels dans ses données d'entraînement, en utilisant la même technique développée par les chercheurs, avant de les diffuser.

Histoire connexe

L'année où les deepfakes se sont généralisés En 2020, les médias synthétiques basés sur l'IA ont commencé à s'éloigner des coins les plus sombres d'Internet.

Pourtant, cela suppose que vous puissiez obtenir ces données de formation, explique Kautz. Lui et ses collègues de Nvidia ont trouvé une manière différente d'exposer des données privées, y compris des images de visages et d'autres objets, des données médicales, etc., qui ne nécessitent aucun accès aux données de formation.

Au lieu de cela, ils ont développé un algorithme capable de recréer les données auxquelles un modèle formé a été exposé par inverser les étapes par lesquelles passe le modèle lors du traitement de ces données. Prenons un réseau de reconnaissance d'images formé : pour identifier ce qu'il y a dans une image, le réseau la fait passer à travers une série de couches de neurones artificiels. Chaque couche extrait différents niveaux d'informations, des bords aux formes en passant par des caractéristiques plus reconnaissables.

L'équipe de Kautz a découvert qu'elle pouvait interrompre un modèle au milieu de ces étapes et inverser sa direction, en recréant l'image d'entrée à partir des données internes du modèle. Ils ont testé la technique sur une variété de modèles de reconnaissance d'image et de GAN courants. Lors d'un test, ils ont montré qu'ils pouvaient recréer avec précision des images à partir d'ImageNet, l'un des ensembles de données de reconnaissance d'images les plus connus.

Images d'ImageNet (en haut) à côté des recréations de ces images réalisées en rembobinant un modèle formé sur ImageNet (en bas)

Nvidia

Comme dans le travail de Webster, les images recréées ressemblent étroitement aux vraies. Nous avons été surpris par la qualité finale, dit Kautz.

Les chercheurs soutiennent que ce type d'attaque n'est pas simplement hypothétique. Les smartphones et autres petits appareils commencent à utiliser davantage l'IA. En raison des contraintes de batterie et de mémoire, les modèles ne sont parfois qu'à moitié traités sur l'appareil lui-même et envoyés dans le cloud pour le dernier calcul informatique, une approche connue sous le nom de calcul fractionné. La plupart des chercheurs supposent que l'informatique partagée ne révélera aucune donnée privée du téléphone d'une personne, car seul le modèle est partagé, explique Kautz. Mais son attaque montre que ce n'est pas le cas.

Kautz et ses collègues travaillent maintenant à trouver des moyens d'empêcher les modèles de divulguer des données privées. Nous voulions comprendre les risques afin de minimiser les vulnérabilités, dit-il.

Même s'ils utilisent des techniques très différentes, il pense que son travail et celui de Webster se complètent bien. L'équipe de Webster a montré que des données privées pouvaient être trouvées dans la sortie d'un modèle ; L'équipe de Kautz a montré que les données privées pouvaient être révélées en procédant à l'envers, en recréant l'entrée. Il est important d'explorer les deux directions pour mieux comprendre comment prévenir les attaques, déclare Kautz.

cacher