L'intelligence artificielle militaire peut être facilement et dangereusement trompée

Une tortue et un fusil Images : getty

En mars dernier, des chercheurs chinois ont annoncé une attaque ingénieuse et potentiellement dévastatrice contre l'un des actifs technologiques les plus prisés des États-Unis : une voiture électrique Tesla.

L'équipe, du laboratoire de sécurité du géant chinois de la technologie Tencent, a démontré plusieurs façons de tromper les algorithmes d'IA sur la voiture de Tesla. En modifiant subtilement les données transmises aux capteurs de la voiture, les chercheurs ont pu embrouiller et dérouter l'intelligence artificielle qui fait fonctionner le véhicule.

Cette histoire faisait partie de notre numéro de novembre 2019

• Voir la suite du problème
• S'abonner

Dans un cas, un écran de télévision contenait un motif caché qui incitait les essuie-glaces à s'activer. Dans un autre, les marquages ​​au sol sur la route ont été très légèrement modifiés pour confondre le système de conduite autonome afin qu'il passe par-dessus et dans la voie pour le trafic venant en sens inverse.

Les algorithmes de Tesla sont normalement brillants pour repérer les gouttes de pluie sur un pare-brise ou suivre les lignes sur la route, mais ils fonctionnent d'une manière fondamentalement différente de la perception humaine. Cela rend ces algorithmes d'apprentissage en profondeur, qui balayent rapidement différentes industries pour des applications telles que la reconnaissance faciale et le diagnostic du cancer, étonnamment faciles à tromper si vous trouvez leurs points faibles.

Égarer une Tesla peut ne pas sembler être une menace stratégique pour les États-Unis. Mais que se passerait-il si des techniques similaires étaient utilisées pour tromper des drones d'attaque, ou des logiciels qui analysent des images satellites, en leur faisant voir des choses qui ne sont pas là ou ne pas voir des choses qui sont ?

Collecte d'intelligence artificielle

Partout dans le monde, l'IA est déjà considérée comme le prochain grand avantage militaire.

Au début de cette année, les États-Unis ont annoncé une grande stratégie pour exploiter l'intelligence artificielle dans de nombreux domaines de l'armée, notamment l'analyse du renseignement, la prise de décision, l'autonomie des véhicules, la logistique et l'armement. Le budget de 718 milliards de dollars proposé par le ministère de la Défense pour 2020 alloue 927 millions de dollars à l'IA et à l'apprentissage automatique. Les projets existants incluent des projets plutôt banals (tester si l'IA peut prédire quand les chars et les camions ont besoin d'entretien) ainsi que des éléments à la pointe de la technologie des armes (essaims de drones).

La poussée de l'IA du Pentagone est en partie motivée par la peur de la façon dont ses rivaux pourraient utiliser la technologie. L'année dernière, Jim Mattis, alors secrétaire à la Défense, a envoyé une note au président Donald Trump avertissant que les États-Unis sont déjà en retard en matière d'IA. Son inquiétude est compréhensible.

En juillet 2017, la Chine a formulé sa stratégie d'IA, déclarant que les principaux pays développés du monde considèrent le développement de l'IA comme une stratégie majeure pour améliorer la compétitivité nationale et protéger la sécurité nationale. Et quelques mois plus tard, Vladimir Poutine de Russie a déclaré de manière inquiétante : Celui qui devient le leader dans la sphère [de l'IA] deviendra le maître du monde.

L'ambition de construire les armes les plus intelligentes et les plus meurtrières est compréhensible, mais comme le montre le piratage de Tesla, un ennemi qui sait comment fonctionne un algorithme d'IA pourrait le rendre inutile ou même le retourner contre ses propriétaires. Le secret pour gagner les guerres de l'IA ne réside peut-être pas dans la fabrication des armes les plus impressionnantes, mais dans la maîtrise de la trahison inquiétante du logiciel.

Robots de combat

Par une belle journée ensoleillée l'été dernier à Washington, DC, Michael Kanaan était assis à la cafétéria du Pentagone, mangeant un sandwich et s'émerveillant devant un nouvel ensemble puissant d'algorithmes d'apprentissage automatique.

Quelques semaines plus tôt, Kanaan avait regardé un jeu vidéo dans lequel cinq algorithmes d'IA travaillaient ensemble pour presque déjouer, surpasser et déjouer cinq humains dans un concours qui impliquait de contrôler les forces, les campements et les ressources sur un champ de bataille complexe et tentaculaire. Le front sous les cheveux blonds coupés de Kanaan était cependant plissé alors qu'il décrivait l'action. C'était l'une des démonstrations les plus impressionnantes de stratégie d'IA qu'il ait jamais vues, un développement inattendu semblable aux progrès de l'IA dans les échecs, Atari et d'autres jeux.

Le jeu de guerre avait eu lieu dans Dota 2, un jeu vidéo de science-fiction populaire qui est incroyablement difficile pour les ordinateurs. Les équipes doivent défendre leur territoire tout en attaquant les campements de leurs adversaires dans un environnement plus complexe et trompeur que n'importe quel jeu de société. Les joueurs ne peuvent voir qu'une petite partie de l'image entière, et cela peut prendre environ une demi-heure pour déterminer si une stratégie est gagnante.

Les combattants de l'IA ont été développés non pas par l'armée mais par OpenAI, une société créée par des gros bonnets de la Silicon Valley, dont Elon Musk et Sam Altman, pour faire de la recherche fondamentale sur l'IA. Les guerriers algorithmiques de l'entreprise, connus sous le nom d'OpenAI Five, ont élaboré leurs propres stratégies gagnantes grâce à une pratique incessante et en répondant avec des mouvements qui se sont avérés les plus avantageux.

Les missiles guidés par l'IA pourraient être aveuglés par des données contradictoires, et peut-être même redirigés vers des cibles amies.

C'est exactement le type de logiciel qui intrigue Kanaan, l'une des personnes chargées d'utiliser l'intelligence artificielle pour moderniser l'armée américaine. Pour lui, cela montre ce que l'armée a à gagner en faisant appel aux meilleurs chercheurs mondiaux en IA. Mais s'ils sont disposés est de plus en plus en question.

Kanaan était le chef de file de l'Air Force sur le projet Maven, une initiative militaire visant à utiliser l'IA pour automatiser l'identification des objets dans l'imagerie aérienne. Google était un sous-traitant de Maven, et lorsque d'autres employés de Google l'ont découvert, en 2018, l'entreprise a décidé d'abandonner le projet. Il a ensuite conçu un code de conduite sur l'IA indiquant que Google n'utiliserait pas son IA pour développer des armes ou d'autres technologies dont le but principal ou la mise en œuvre est de causer ou de faciliter directement des blessures aux personnes.

Les travailleurs de certaines autres grandes entreprises de technologie ont ensuite exigé que leurs employeurs évitent les contrats militaires. De nombreux chercheurs éminents en intelligence artificielle ont soutenu un effort visant à lancer une interdiction mondiale du développement d'armes entièrement autonomes.

Pour Kanaan, cependant, ce serait un gros problème si l'armée ne pouvait pas travailler avec des chercheurs comme ceux qui ont développé l'OpenAI Five. Plus troublante encore est la perspective qu'un adversaire ait accès à une telle technologie de pointe. Le code est juste là pour que n'importe qui puisse l'utiliser, a-t-il dit. Il a ajouté : la guerre est bien plus complexe que certains jeux vidéo.

Cinq algorithmes fonctionnent ensemble pour déjouer cinq humains dans le jeu vidéo basé sur le champ de bataille Dota 2. image de courtoisie

La poussée de l'IA

Kanaan est généralement très optimiste à propos de l'IA, en partie parce qu'il sait de première main à quel point elle est utile pour les troupes. Il y a six ans, en tant qu'officier du renseignement de l'armée de l'air en Afghanistan, il était responsable du déploiement d'un nouveau type d'outil de collecte de renseignements : un imageur hyperspectral. L'instrument peut repérer des objets qui sont normalement cachés à la vue, comme des chars drapés de camouflage ou des émissions d'une usine de fabrication de bombes improvisée. Kanaan dit que le système a aidé les troupes américaines à retirer plusieurs milliers de livres d'explosifs du champ de bataille. Même ainsi, il était souvent impossible pour les analystes de traiter les grandes quantités de données collectées par l'imageur. Nous avons passé trop de temps à examiner les données et pas assez à prendre des décisions, dit-il. Parfois, cela prenait tellement de temps que vous vous demandiez si vous auriez pu sauver plus de vies.

Une solution pourrait résider dans une percée en vision par ordinateur par une équipe dirigée par Geoffrey Hinton de l'Université de Toronto. Il a montré qu'un algorithme inspiré d'un réseau de neurones à plusieurs couches pouvait reconnaître des objets dans des images avec une compétence sans précédent lorsqu'il disposait de suffisamment de données et de puissance informatique.

La formation d'un réseau de neurones implique l'alimentation en données, comme les pixels d'une image, et la modification continue des connexions dans le réseau, à l'aide de techniques mathématiques, de sorte que la sortie se rapproche d'un résultat particulier, comme l'identification de l'objet dans l'image. Au fil du temps, ces réseaux d'apprentissage en profondeur apprennent à reconnaître les modèles de pixels qui composent les maisons ou les personnes. Les progrès de l'apprentissage en profondeur ont déclenché le boom actuel de l'IA ; la technologie sous-tend les systèmes autonomes de Tesla et les algorithmes d'OpenAI.

Kanaan a immédiatement reconnu le potentiel de l'apprentissage en profondeur pour traiter les différents types d'images et de données de capteurs qui sont essentielles aux opérations militaires. Lui et d'autres membres de l'Air Force ont rapidement commencé à faire pression sur leurs supérieurs pour qu'ils investissent dans la technologie. Leurs efforts ont contribué à la grande poussée de l'IA du Pentagone.

Mais peu de temps après que l'apprentissage en profondeur ait fait irruption sur la scène, les chercheurs ont découvert que les propriétés mêmes qui le rendent si puissant sont aussi un talon d'Achille.

Tout comme il est possible de calculer comment ajuster les paramètres d'un réseau afin qu'il classe correctement un objet, il est possible de calculer comment des modifications minimes de l'image d'entrée peuvent entraîner une mauvaise classification du réseau. Dans de tels exemples contradictoires, seuls quelques pixels de l'image sont modifiés, ce qui lui donne le même aspect pour une personne mais est très différent d'un algorithme d'IA. Le problème peut survenir partout où l'apprentissage en profondeur peut être utilisé, par exemple pour guider des véhicules autonomes, planifier des missions ou détecter des intrusions sur le réseau.

Au milieu de l'augmentation des utilisations militaires de l'IA, ces mystérieuses vulnérabilités du logiciel ont reçu beaucoup moins d'attention.

Cibles mobiles

Un objet remarquable sert à illustrer la puissance de l'apprentissage automatique contradictoire. C'est une tortue modèle.

Pour vous ou moi, cela semble normal, mais pour un drone ou un robot exécutant un algorithme de vision d'apprentissage en profondeur particulier, cela semble être… un fusil. Dans un projet distinct, les chercheurs avaient utilisé des images 2D afin qu'un système de vision IA mis à disposition via le cloud de Google les confond avec à peu près n'importe quoi. (Google a depuis mis à jour l'algorithme pour qu'il ne soit pas dupe.)

La tortue n'a pas été créée par un adversaire d'un État-nation, mais par quatre gars du MIT. L'un d'eux est Anish Athalye, un jeune homme dégingandé et très poli qui travaille sur la sécurité informatique au Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT. Dans une vidéo sur l'ordinateur portable d'Athalye des tortues testées (certains des modèles ont été volés lors d'une conférence, dit-il), il est tourné à 360 degrés et retourné à l'envers. L'algorithme détecte la même chose encore et encore : carabine, carabine, carabine.

Les premiers exemples contradictoires étaient fragiles et sujets à l'échec, mais Athalye et ses amis pensaient pouvoir concevoir une version suffisamment robuste pour fonctionner sur un objet imprimé en 3D. Cela impliquait de modéliser un rendu 3D d'objets et de développer un algorithme pour créer la tortue, un exemple contradictoire qui fonctionnerait à différents angles et distances. Plus simplement, ils ont développé un algorithme pour créer quelque chose qui tromperait de manière fiable un modèle d'apprentissage automatique.

Les applications militaires sont évidentes. En utilisant un camouflage algorithmique contradictoire, des chars ou des avions pourraient se cacher des satellites et des drones équipés d'IA. Les missiles guidés par l'IA pourraient être aveuglés par des données contradictoires, et peut-être même redirigés vers des cibles amies. Les informations introduites dans les algorithmes de renseignement pourraient être empoisonnées pour dissimuler une menace terroriste ou tendre un piège aux troupes dans le monde réel.

Athalye est surpris par le peu d'inquiétude qu'il a rencontrée concernant l'apprentissage automatique contradictoire. J'ai parlé à un tas de gens dans l'industrie, et je leur ai demandé s'ils s'inquiétaient des exemples contradictoires. La réponse est, presque dans tous les domaines, non, dit-il, car les entreprises se concentrent sur le fonctionnement de leurs systèmes d'IA en tant que priorité absolue.

Heureusement, le Pentagone commence à s'en apercevoir. En août dernier, la Defense Advanced Research Projects Agency (DARPA) a annoncé plusieurs grands projets de recherche sur l'IA. Parmi eux se trouve GARD, un programme axé sur l'apprentissage automatique contradictoire. Hava Siegelmann, professeur à l'Université du Massachusetts à Amherst et responsable du programme GARD, affirme que ces attaques pourraient être dévastatrices dans des situations militaires car les gens ne peuvent pas les identifier. C'est comme si nous étions aveugles, dit-elle. C'est ce qui le rend vraiment très dangereux.

Les défis présentés par l'apprentissage automatique contradictoire expliquent également pourquoi le Pentagone est si désireux de travailler avec des entreprises comme Google et Amazon ainsi qu'avec des institutions universitaires comme le MIT. La technologie évolue rapidement et les dernières avancées s'installent dans des laboratoires gérés par des entreprises de la Silicon Valley et des meilleures universités, et non par des sous-traitants de la défense conventionnels.

Surtout, ils se produisent également en dehors des États-Unis, en particulier en Chine. Je pense qu'un monde différent arrive, dit Kanaan, l'expert en IA de l'Air Force. Et c'est celui que nous devons combattre avec l'IA.

Le contrecoup contre l'utilisation militaire de l'IA est compréhensible, mais il peut manquer la vue d'ensemble. Même si les gens s'inquiètent des robots tueurs intelligents, un risque plus important à court terme est peut-être un brouillard de guerre algorithmique, que même les machines les plus intelligentes ne peuvent pas traverser.

Will Knight était jusqu'à récemment rédacteur en chef pour l'IA au MIT Technology Review, et travaille maintenant chez Wired.

cacher