Comment nous pourrions nous protéger de l'IA malveillante

Un diagramme montrant une image d'un panda, plus une image d'un peu de bruit, équivalant à une image d'un panda identifié à tort comme un gibbon. Photo panda : flickr.com / Gabriele Gherardi

Nous avons déjà abordé le concept d'exemples contradictoires - la classe de minuscules changements qui, lorsqu'ils sont introduits dans un modèle d'apprentissage en profondeur, le font mal se comporter. En mars, nous avons couvert le discours du professeur Dawn Song de l'UC Berkeley lors de notre conférence annuelle EmTech Digital sur la façon dont elle a utilisé des autocollants pour tromper une voiture autonome en lui faisant croire qu'un panneau d'arrêt était un panneau de 45 milles à l'heure, et comment elle a utilisé des autocollants sur mesure. messages pour faire en sorte qu'un modèle textuel crache des informations sensibles comme les numéros de carte de crédit. En avril, nous avons également parlé de la façon dont les pirates informatiques utilisaient des autocollants pour confondre Tesla Autopilot et diriger une voiture dans la circulation venant en sens inverse.

Ces dernières années, alors que les systèmes d'apprentissage en profondeur sont devenus de plus en plus omniprésents dans nos vies, les chercheurs ont démontré comment les exemples contradictoires peuvent tout affecter, du simple classificateurs d'images à systèmes de diagnostic du cancer , entraînant des conséquences allant de bénignes à potentiellement mortelles. Malgré leur danger, cependant, les exemples contradictoires sont mal compris. Et les chercheurs se sont inquiétés de savoir comment – ​​ou même si – le problème pouvait être résolu.

À nouveau papier du MIT indique maintenant une voie possible pour surmonter ce défi. Cela pourrait nous permettre de créer des modèles d'apprentissage en profondeur beaucoup plus robustes qui seraient beaucoup plus difficiles à manipuler de manière malveillante. Pour comprendre sa signification, passons d'abord en revue les bases des exemples contradictoires.

Comme nous l'avons déjà noté à maintes reprises, la puissance de l'apprentissage en profondeur provient de son excellente capacité à reconnaître des modèles dans les données . Alimentez un réseau neuronal de dizaines de milliers de photos d'animaux étiquetées, et il apprendra quels motifs sont associés à un panda et quels motifs sont associés à un singe. Il peut ensuite utiliser ces modèles pour identifier de nouvelles images d'animaux qu'il n'a jamais vus auparavant.

Mais les modèles d'apprentissage en profondeur sont également fragiles. Étant donné qu'un système de reconnaissance d'images ne repose que sur des modèles de pixels plutôt que sur une compréhension conceptuelle plus approfondie de ce qu'il voit, il est facile de tromper le système pour qu'il voie entièrement autre chose, simplement en perturbant les modèles de la bonne manière. Voici un exemple classique : ajoutez un peu de bruit à l'image d'un panda, et un système le classera comme un gibbon avec une confiance de près de 100 %. Le bruit, ici, c'est l'attaque contradictoire.

Ian Goodfellow et al/OpenAI

Depuis quelques années, des chercheurs observent ce phénomène, notamment dans les systèmes de vision par ordinateur, sans vraiment savoir comment se débarrasser de telles vulnérabilités. En fait, un article présenté la semaine dernière lors de la grande conférence de recherche sur l'IA ICLR s'est demandé si les attaques contradictoires sont inévitables . Il semblerait que peu importe le nombre d'images de panda que vous alimentez un classificateur d'images, il y aura toujours une sorte de perturbation que vous pouvez concevoir pour désactiver le système.

Mais le nouveau document du MIT démontre que nous avons mal pensé aux attaques contradictoires. Plutôt que de penser à des moyens d'amasser plus et de meilleures données de formation pour alimenter notre système, nous devrions fondamentalement repenser la façon dont nous abordons la formation.

Il l'a montré en identifiant une propriété plutôt intéressante des exemples contradictoires qui nous aide à comprendre pourquoi ils sont si efficaces. Le bruit ou les autocollants apparemment aléatoires qui déclenchent des classifications erronées exploitent en fait des modèles très précis et minuscules que le système d'image a appris à associer fortement à des objets spécifiques. En d'autres termes, la machine ne se comporte pas mal lorsqu'elle voit un gibbon là où nous voyons un panda. Il s'agit en effet de voir un motif de pixels, imperceptible pour l'homme, qui se produisait beaucoup plus souvent sur les photos de gibbon que sur les photos de panda lors de l'entraînement.

Les chercheurs ont illustré cela en menant une expérience : ils ont créé un ensemble de données d'images de chiens qui avaient toutes été modifiées de manière infime, ce qui amènerait un classificateur d'images standard à les identifier à tort comme des chats. Ils ont ensuite mal étiqueté les images en tant que chats et les ont utilisées pour former un nouveau réseau de neurones à partir de zéro. Après la formation, ils ont montré au réseau neuronal de véritables images de chats, et il les a tous correctement identifiés comme des chats.

Ce que cela a suggéré aux chercheurs, c'est que dans chaque ensemble de données, il existe deux types de corrélations : des schémas qui réellement corrèlent avec la signification des données, telles que les moustaches dans une image de chat ou les colorations de la fourrure dans une image de panda, et les modèles qui existent dans les données de formation mais ne se généralisent pas à d'autres contextes. Ces dernières corrélations trompeuses, comme nous les appellerons, sont celles qui sont exploitées dans les attaques contradictoires. Dans le diagramme ci-dessus, par exemple, l'attaque tire parti d'un motif de pixels faussement corrélé avec les gibbons en enfouissant ces pixels imperceptibles dans l'image du panda. Le système de reconnaissance, formé pour reconnaître le motif trompeur, le capte ensuite et suppose qu'il regarde un gibbon.

Cela nous indique que si nous voulons éliminer le risque d'attaques contradictoires, nous devons changer la façon dont nous entraînons nos modèles. Actuellement, nous laissons le réseau de neurones choisir les corrélations qu'il souhaite utiliser pour identifier les objets dans une image. Mais par conséquent, nous n'avons aucun contrôle sur les corrélations qu'il trouve et si elles sont réelles ou trompeuses. Si, au lieu de cela, nous entraînions nos modèles à ne se souvenir que des modèles réels - ceux qui sont réellement liés à la signification des pixels - il serait théoriquement possible de produire des systèmes d'apprentissage en profondeur qui ne peuvent pas être pervertis de cette manière pour nuire.

Lorsque les chercheurs ont testé cette idée en utilisant uniquement des corrélations réelles pour former leur modèle, cela a en fait atténué la vulnérabilité du modèle : il n'a été manipulé avec succès que 50 % du temps, alors qu'un modèle formé à la fois sur des corrélations réelles et fausses pouvait être manipulé 95 % du temps.

Autrement dit, il semble que les exemples contradictoires ne soient pas inévitables. Mais nous avons besoin de plus de recherche pour les éliminer complètement.

Cette histoire a été initialement publiée dans notre newsletter sur l'IA nominée par Webby, The Algorithm. Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous ici. C'est gratuit.

cacher