Le talon d'Achille de Machine Vision révélé par Google Brain Researchers

L'une des avancées les plus spectaculaires de la science moderne a été l'essor de la vision artificielle. En quelques années seulement, une nouvelle génération de techniques d'apprentissage automatique a changé la façon dont les ordinateurs voient.

Les machines surpassent désormais les humains en reconnaissance faciale et en reconnaissance d'objets et sont en train de révolutionner de nombreuses tâches basées sur la vision telles que la conduite, la surveillance de la sécurité, etc. La vision artificielle est maintenant surhumaine.

Mais un problème se fait jour. Les chercheurs en vision artificielle ont commencé à remarquer certaines lacunes inquiétantes de leurs nouvelles charges. Il s'avère que les algorithmes de vision artificielle ont un talon d'Achille qui leur permet d'être trompés par des images modifiées d'une manière qu'il serait trivial pour un humain de repérer.

Ces images modifiées sont appelées images contradictoires et constituent une menace importante. Un exemple contradictoire pour le domaine de la reconnaissance faciale pourrait consister en des marques très subtiles appliquées sur le visage d'une personne, de sorte qu'un observateur humain reconnaîtrait correctement son identité, mais un système d'apprentissage automatique les reconnaîtrait comme étant une personne différente, disent Alexey Kurakin et Samy. Bengio de Google Brain et Ian Goodfellow d'OpenAI, une société de recherche en IA à but non lucratif.

Parce que les systèmes de vision artificielle sont si nouveaux, on sait peu de choses sur les images contradictoires. Personne ne comprend comment les créer au mieux, comment ils trompent les systèmes de vision industrielle ou comment se protéger contre ce type d'attaque.

Aujourd'hui, cela commence à changer grâce aux travaux de Kurakin et co, qui ont commencé à étudier systématiquement les images contradictoires pour la première fois. Leur travail montre à quel point les systèmes de vision artificielle sont vulnérables à ce type d'attaque.

L'équipe commence avec une base de données standard pour la recherche en vision industrielle, connue sous le nom d'ImageNet. Il s'agit d'une base de données d'images classées en fonction de ce qu'elles montrent. Un test standard consiste à former un algorithme de vision artificielle sur une partie de cette base de données, puis à tester dans quelle mesure il classe une autre partie de la base de données.

Les performances de ces tests sont mesurées en comptant la fréquence à laquelle l'algorithme a la bonne classification dans ses 5 meilleures réponses ou même sa réponse dans le top 1 (son soi-disant top 5 précision ou top 1 précision) ou combien de fois il n'a pas le bon réponse dans son top 5 ou son top 1 (son top 5 taux d'erreur ou son top 1 taux d'erreur).

L'un des meilleurs systèmes de vision artificielle est l'algorithme Inception v3 de Google, qui a un taux d'erreur parmi les 5 premiers de 3,46 %. Les humains effectuant le même test ont un taux d'erreur d'environ 5% dans le top 5, donc Inception v3 a vraiment des capacités surhumaines.

Kurakin et co ont créé une base de données d'images contradictoires en modifiant 50 000 images d'ImageNet de trois manières différentes. Leurs méthodes exploitent l'idée que les réseaux de neurones traitent les informations pour faire correspondre une image à une classification particulière. La quantité d'informations que cela nécessite, appelée l'entropie croisée, est une mesure de la difficulté de la tâche d'appariement.

Leur premier algorithme apporte une petite modification à une image d'une manière qui tente de maximiser cette entropie croisée. Leur deuxième algorithme itère simplement ce processus pour modifier davantage l'image.

Ces algorithmes modifient tous deux l'image d'une manière qui la rend plus difficile à classer correctement. Ces méthodes peuvent entraîner des erreurs de classification sans intérêt, comme confondre une race de chiens de traîneau avec une autre race de chiens de traîneau, disent-ils.

Leur algorithme final a une approche beaucoup plus intelligente. Cela modifie une image d'une manière qui amène le système de vision artificielle à la classer de manière erronée d'une manière spécifique, de préférence celle qui ressemble le moins à la vraie classe. La classe la moins probable est généralement très différente de la vraie classe, donc cette méthode d'attaque entraîne des erreurs plus intéressantes, comme confondre un chien avec un avion, disent Kurakin et co.

Ils testent ensuite dans quelle mesure l'algorithme Inception v3 de Google peut classer les 50 000 images contradictoires.

Les deux algorithmes simples réduisent considérablement la précision du top 5 et du top 1. Mais leur algorithme le plus puissant - la méthode de classe la moins probable - réduit rapidement la précision à zéro pour les 50 000 images. (L'équipe ne dit pas dans quelle mesure l'algorithme réussit à diriger les erreurs de classification.)

Cela suggère que les images contradictoires constituent une menace importante, mais il existe une faiblesse potentielle dans cette approche. Toutes ces images contradictoires sont introduites directement dans le système de vision artificielle.

Mais dans le monde réel, une image sera toujours modifiée par le système de caméra qui enregistre les images. Et un algorithme d'image contradictoire serait inutile si ce procédé neutralisait son effet. Une question importante est donc de savoir dans quelle mesure ces algorithmes sont robustes aux transformations qui ont lieu dans le monde réel.

Pour tester cela, Kurakin et co impriment toutes les images contradictoires avec les originaux et les photographient à la main avec un smartphone Nexus 5. Ils alimentent ensuite ces images contradictoires transformées dans le système de vision artificielle.

Kurakin et co disent que la méthode de classe la moins probable est la plus vulnérable à ces types de transformations mais que les autres supportent raisonnablement bien. En d'autres termes, les algorithmes d'image contradictoires sont vraiment une menace dans le monde réel. Selon l'équipe, une fraction importante des images contradictoires créées à l'aide du réseau d'origine sont mal classées même lorsqu'elles sont transmises au classificateur via la caméra.

C'est un travail intéressant qui jette une lumière importante sur le talon d'Achille de la vision industrielle. Et il y a beaucoup de travail à faire. Kurakin et co veulent développer des images contradictoires pour d'autres types de systèmes de vision et les rendre encore plus efficaces.

Tout cela soulèvera quelques sourcils dans la communauté de la sécurité informatique. Les systèmes de vision artificielle sont désormais meilleurs que les humains pour reconnaître les visages, il est donc naturel de s'attendre à ce qu'ils soient utilisés pour tout, du déverrouillage des smartphones et des portes d'entrée au contrôle des passeports et à la biométrie des comptes bancaires. Mais Kurakin et co soulèvent la perspective de tromper ces systèmes avec facilité.

Au cours des deux dernières années, nous avons beaucoup appris sur la qualité des systèmes de vision industrielle. Maintenant, nous découvrons à quel point ils peuvent facilement être dupés.

Réf : arxiv.org/abs/1607.02533 : Exemples contradictoires dans le monde physique

cacher