211service.com
Comment l'apprentissage automatique malveillant pourrait faire dérailler l'IA
Jérémy Portje
L'intelligence artificielle ne révolutionnera rien si les pirates peuvent s'en mêler.
C'est l'avertissement de Chanson de l'aube , professeur à l'UC Berkeley spécialisé dans l'étude des risques de sécurité liés à l'IA et à l'apprentissage automatique.
S'exprimant à EmTech Digital, un événement à San Francisco produit par MIT Technology Review, Song a averti que de nouvelles techniques pour sonder et manipuler les systèmes d'apprentissage automatique - connues dans le domaine sous le nom de méthodes d'apprentissage automatique contradictoires - pourraient causer de gros problèmes à quiconque cherche à exploiter le puissance de l'IA dans les entreprises.
Song a déclaré que l'apprentissage automatique contradictoire pourrait être utilisé pour attaquer à peu près n'importe quel système basé sur la technologie.
C'est un gros problème, a-t-elle dit au public. Nous devons nous unir pour y remédier.
L'apprentissage automatique contradictoire consiste à alimenter expérimentalement un algorithme en entrée pour révéler les informations sur lesquelles il a été formé, ou à déformer l'entrée d'une manière qui provoque un mauvais comportement du système. En entrant de nombreuses images dans un algorithme de vision par ordinateur, par exemple, il est possible de rétroconcevoir son fonctionnement et d'assurer certains types de sorties, y compris des sorties incorrectes.
Song a présenté plusieurs exemples de supercherie d'apprentissage contradictoire que son groupe de recherche a explorés.
Un projet, mené en collaboration avec Google, impliquait de sonder des algorithmes d'apprentissage automatique formés pour générer des réponses automatiques à partir de messages électroniques (dans ce cas, le Ensemble de données de courrier électronique Enron ). L'effort a montré qu'en créant les bons messages, il est possible que le modèle de machine crache des données sensibles telles que des numéros de carte de crédit. Les résultats ont été utilisés par Google pour empêcher l'exploitation de Smart Compose, l'outil qui génère automatiquement du texte dans Gmail.
Un autre projet consistait à modifier les panneaux de signalisation avec quelques autocollants d'apparence anodine pour tromper les systèmes de vision par ordinateur utilisés dans de nombreux véhicules. Dans une démo vidéo, Song a montré comment la voiture pouvait être trompée en pensant qu'un panneau d'arrêt indique en fait que la limite de vitesse est de 45 miles par heure. Cela pourrait être un énorme problème pour un système de conduite automatisé qui s'appuie sur de telles informations.
L'apprentissage automatique contradictoire est un domaine d'intérêt croissant pour les chercheurs en apprentissage automatique. Au cours des deux dernières années, d'autres groupes de recherche ont montré comment les API d'apprentissage automatique en ligne peuvent être sondées et exploitées pour trouver des moyens de les tromper ou de révéler des informations sensibles.
Sans surprise, l'apprentissage automatique contradictoire intéresse également énormément la communauté de la défense. Avec un nombre croissant de systèmes militaires, y compris des systèmes de détection et d'armes, exploitant l'apprentissage automatique, il existe un énorme potentiel pour que ces techniques soient utilisées à la fois de manière défensive et offensive.
Cette année, la branche de recherche du Pentagone, la DARPA, a lancé un projet majeur appelé Garantir la robustesse de l'IA contre la tromperie (GARD), visant à étudier l'apprentissage automatique contradictoire. Hava Siegelman , directeur du programme GARD, a récemment déclaré au MIT Technology Review que l'objectif de ce projet était de développer des modèles d'IA robustes face à un large éventail d'attaques adverses, plutôt que simplement capables de se défendre contre des attaques spécifiques.