Un nouvel ensemble d'images qui trompent l'IA pourrait aider à la rendre plus résistante aux pirates

photographie montrant un champignon, une libellule et un écureuil, tous mal étiquetés comme bretzel, couvercle de trou d'homme et otarie Unsplash : Florian Van Duyn / Krzysztof Niewolny / Pranay Pareek

L'intelligence artificielle est excellente pour identifier les objets dans les images, mais il est toujours assez facile de tout gâcher. Ajoutez quelques traits de choix ou une couche de bruit statique invisible à l'œil humain, et vous pouvez désactiver un système de reconnaissance d'image, parfois avec un effet mortel. L'ajout d'autocollants à un panneau d'arrêt peut faire croire à une voiture autonome que le panneau affiche une limite de vitesse de 45 milles à l'heure, par exemple, tandis que les ajouter à une route peut faire dévier une Tesla dans la voie de circulation venant en sens inverse. (Du bon côté, les mêmes techniques peuvent également vous protéger de l'état de surveillance. Vous en gagnez, vous en perdez.)

Tous ces éléments sont connus comme des exemples contradictoires - et les chercheurs se démènent maintenant pour développer des moyens d'en protéger les systèmes d'IA. Mais dans un papier L'année dernière, un groupe de chercheurs de Google Brain et de Princeton, dont l'un des premiers chercheurs sur ce sujet, Ian Goodfellow, a fait valoir que la bourse émergente était trop théorique et passait à côté de l'essentiel.

Alors que la majeure partie de la recherche se concentrait sur la protection des systèmes contre des perturbations spécialement conçues, un pirate, ont-ils dit, serait susceptible de choisir un outil plus brutal : une photo complètement différente plutôt qu'un motif de bruit à superposer à une photo existante. Cela aussi pourrait entraîner un mauvais comportement du système.

La critique a incité Dan Hendrycks, doctorant à l'Université de Californie à Berkeley, à compiler un nouvel ensemble de données d'image . Il appelle les images qu'il contient des exemples contradictoires naturels - sans aucun ajustement spécial, ils trompent un système de toute façon.

Ils incluent des choses comme un écureuil que les systèmes courants considèrent à tort comme un lion de mer, ou une libellule qu'ils identifient à tort comme un couvercle de trou d'homme. Ces exemples semblent beaucoup plus difficiles à défendre, dit-il. Les exemples contradictoires synthétiques doivent connaître toutes les défenses du système d'IA pour être plus efficaces. En revanche, les exemples naturels peuvent très bien fonctionner même lorsque ces défenses changent, dit-il.

Hendrycks a publié une première version de l'ensemble de données, avec environ 6 000 images, la semaine dernière lors de la Conférence internationale sur l'apprentissage automatique. Il prévoit de publier une version finale avec près de 8 000 dans quelques semaines. Il a l'intention que la communauté des chercheurs utilise l'ensemble de données comme référence.

En d'autres termes, plutôt que d'entraîner les systèmes de reconnaissance d'images directement sur les images, ils devraient les réserver uniquement aux tests. Si les gens devaient simplement s'entraîner sur cet ensemble de données, il s'agirait simplement de mémoriser ces exemples, dit-il. Cela résoudrait l'ensemble de données, mais pas la tâche d'être robuste aux nouveaux exemples.

Briser la logique derrière les erreurs parfois déroutantes que les exemples provoquent pourrait conduire à des systèmes plus résilients. En quoi cela confond-il une libellule avec du guacamole ? Les blagues d'Hendryck. On ne sait pas trop pourquoi l'erreur est commise.

cacher