211service.com
Les IA d'apprentissage par renforcement sont vulnérables à un nouveau type d'attaque
REVUE TECHNOLOGIQUE DU MIT / ADAM GLEAVE
Le robot de football fait la queue pour tirer au but. Mais au lieu de se préparer à le bloquer, le gardien se laisse tomber au sol et remue les jambes. Confus, l'attaquant fait une petite danse bizarre sur le côté, en tapant du pied et en agitant un bras, puis tombe. 1-0 au gardien.
Ce n'est pas une tactique que vous verrez utilisée par les pros, mais cela montre qu'une intelligence artificielle formée via l'apprentissage par renforcement profond - la technique derrière les IA de pointe comme AlphaZero et l'OpenAI Five - est plus vulnérable aux attaques qu'auparavant pensée. Et cela pourrait avoir de graves conséquences.
Adam Gleave
Au cours des dernières années, les chercheurs ont trouvé de nombreuses façons de casser les IA formées à l'aide de données étiquetées, connues sous le nom d'apprentissage supervisé. De minuscules ajustements apportés à l'entrée d'une IA, comme la modification de quelques pixels dans une image, peuvent complètement la déconcerter, ce qui lui permet d'identifier une image d'un paresseux comme une voiture de course, par exemple. Ces soi-disant attaques contradictoires n'ont pas de solution sûre.
Comparé à l'apprentissage supervisé, l'apprentissage par renforcement est une technique relativement nouvelle et moins étudiée. Mais il s'avère qu'il est également vulnérable aux entrées trafiquées. L'apprentissage par renforcement enseigne à une IA comment se comporter dans différentes situations en lui donnant des récompenses pour avoir fait la bonne chose. Finalement, l'IA apprend un plan d'action, connu sous le nom de politique. Les politiques permettent aux IA de jouer à des jeux, de conduire des voitures ou d'exécuter des systèmes de trading automatisés.
En 2017, Sandy Huang, qui est maintenant chez DeepMind, et ses collègues ont examiné une IA formée par renforcement pour apprendre à jouer au jeu vidéo classique Pong. Ils ont montré que l'ajout d'un seul pixel malveillant aux images d'entrée vidéo le ferait perdre de manière fiable . Aujourd'hui, Adam Gleave de l'Université de Californie à Berkeley a porté les attaques contradictoires à un autre niveau.
Gleave n'est pas trop inquiet pour la plupart des exemples que nous avons vus jusqu'à présent. Je suis un peu sceptique quant au fait qu'ils soient une menace, dit-il. L'idée qu'un attaquant va casser notre système d'apprentissage automatique en ajoutant une petite quantité de bruit ne semble pas réaliste. Mais au lieu de tromper une IA en lui faisant voir quelque chose qui n'est pas vraiment là, vous pouvez changer la façon dont les choses autour d'elle agissent. En d'autres termes, une IA entraînée à l'aide de l'apprentissage par renforcement peut être trompée par un comportement étrange. Gleave et ses collègues appellent cela une politique contradictoire. Il s'agit d'un modèle de menace jusque-là non reconnu, explique Gleave.
Perdre le contrôle
À certains égards, les politiques contradictoires sont plus inquiétantes que les attaques contre les modèles d'apprentissage supervisé, car les politiques d'apprentissage par renforcement régissent le comportement global d'une IA. Si une voiture sans conducteur classe mal l'entrée de sa caméra, elle pourrait se rabattre sur d'autres capteurs, par exemple. Mais sabotez le système de contrôle de la voiture, régi par un algorithme d'apprentissage par renforcement, et cela pourrait conduire à un désastre. Si des politiques devaient être déployées sans résoudre ces problèmes, cela pourrait être très grave, dit Gleave. Les voitures sans conducteur pourraient se détraquer si elles sont confrontées à un piéton qui agite les bras.
Gleave et ses collègues ont utilisé l'apprentissage par renforcement pour entraîner des robots à figurines à jouer à une poignée de jeux à deux joueurs, notamment taper dans un ballon dans un but, courir sur une ligne et lutter contre le sumo. Les bots étaient conscients de la position et du mouvement de leurs membres et de ceux de leurs adversaires.
Adam Gleave
Ils ont ensuite formé un deuxième ensemble de robots pour trouver des moyens d'exploiter le premier, et ce deuxième groupe a rapidement découvert des politiques contradictoires. L'équipe a découvert que les adversaires apprenaient à battre leurs victimes de manière fiable après s'être entraînés pendant moins de 3% du temps qu'il fallait aux victimes pour apprendre à jouer aux jeux en premier lieu.
Les adversaires ont appris à gagner non pas en devenant de meilleurs joueurs mais en accomplissant des actions qui ont enfreint la politique de leurs adversaires. Dans le jeu de football et le jeu de course, l'adversaire ne se lève parfois même jamais. Cela fait que la victime s'effondre en un tas tordu ou se tortille en rond. De plus, les victimes se sont en fait bien mieux comportées lorsqu'elles étaient masquées et incapables de voir du tout leur adversaire.
La recherche, qui sera présentée à la Conférence internationale sur les représentations de l'apprentissage à Addis-Abeba, en Éthiopie, en avril, montre que des politiques qui semblent robustes peuvent cacher de graves lacunes. Dans l'apprentissage par renforcement profond, nous n'évaluons pas vraiment les politiques de manière suffisamment complète, explique Gleave. Un modèle d'apprentissage supervisé, formé pour classer des images, par exemple, est testé sur un ensemble de données différent de celui sur lequel il a été formé pour s'assurer qu'il n'a pas simplement mémorisé un groupe particulier d'images. Mais avec l'apprentissage par renforcement, les modèles sont généralement formés et testés dans le même environnement. Cela signifie que vous ne pouvez jamais être sûr de la capacité du modèle à faire face à de nouvelles situations.
La bonne nouvelle est qu'il peut être plus facile de se défendre contre les politiques contradictoires que contre d'autres attaques contradictoires. Lorsque Gleave a affiné les victimes pour tenir compte du comportement étrange de leurs adversaires, les adversaires ont été contraints d'essayer des astuces plus familières, telles que faire trébucher leurs adversaires. C'est toujours un jeu sale mais n'exploite pas un problème dans le système. Après tout, les joueurs humains le font tout le temps.