211service.com
Combien de temps avant que les systèmes d'IA ne soient piratés de manière créative ?
Les dernières techniques d'intelligence artificielle sont adoptées par les entreprises à un rythme effréné. Avant longtemps, les pirates pourraient également commencer à y regarder de plus près, et ils pourraient causer toutes sortes de problèmes en trompant ces systèmes avec des données illusoires.
S'exprimant lors d'une récente conférence sur l'IA à Barcelone, en Espagne, Ian Goodfellow, chercheur à OpenAI qui a fait un travail de pionnier sur la tromperie des systèmes d'apprentissage automatique, a déclaré qu'il était facile d'attaquer les systèmes. Presque tout ce que vous pensez faire de mal à un modèle d'apprentissage automatique peut être fait dès maintenant, a-t-il déclaré. Et le défendre est vraiment, vraiment difficile.
Au cours des dernières années, les chercheurs ont démontré diverses manières de manipuler les programmes d'apprentissage automatique en exploitant leur propension à repérer des modèles dans les données. Ils sont vulnérables, en partie parce qu'ils manquent d'intelligence réelle. Par exemple, il est possible d'utiliser un panneau d'affichage pour inciter les systèmes de vision des voitures autonomes à voir des choses qui ne sont pas là. Des signaux inaudibles peuvent inciter les assistants à commande vocale à effectuer des actions indésirables, comme visiter un site Web et télécharger un logiciel malveillant.
Goodfellow et d'autres développent des contre-mesures. Il est possible d'entraîner un système d'apprentissage automatique à reconnaître puis à ignorer les exemples trompeurs. Mais il est délicat de se protéger contre toutes les agressions possibles.
Tromper les systèmes d'apprentissage automatique peut devenir plus qu'un exercice académique. C'est très réel, dit Patrick McDaniel, professeur à l'Université d'État de Pennsylvanie qui a exploré la question. Les systèmes d'apprentissage automatique pilotent toutes sortes de fonctions qui pourraient être monétisées par des adversaires, et donc des attaquants organisés et sophistiqués adopteront ces attaques.
McDaniel souligne que les pirates déjouent les systèmes d'apprentissage automatique depuis des années. Les spammeurs, par exemple, ont alimenté des algorithmes d'apprentissage avec de faux e-mails pour permettre aux messages de spam de passer plus tard. Il dit qu'il ne faudra peut-être pas longtemps avant que des attaques plus sophistiquées n'émergent.
Les premières attaques arriveront très bientôt contre les systèmes de classification en ligne, dit McDaniel. Cela pourrait inclure des filtres anti-spam modernes, des systèmes conçus pour détecter le matériel illicite ou protégé par le droit d'auteur et des systèmes de sécurité informatique avancés basés sur l'apprentissage automatique.
Un nouvel article suggère que le problème pourrait être plus répandu qu'on ne le savait auparavant. Il montre que certaines déceptions peuvent être réutilisées contre différents systèmes d'apprentissage automatique, voire contre un grand système de boîte noire dont un attaquant n'a pas de connaissances préalables.
Les bugs qui se cachent dans ces outils d'apprentissage automatique populaires pourraient fournir un autre moyen de les cibler. De nouveaux outils d'apprentissage automatique se développent à un rythme rapide et sont souvent publiés gratuitement en ligne avant d'être utilisés dans des services actifs tels que la reconnaissance d'images ou des outils d'analyse du langage naturel.
S'exprimant lors de la même conférence en Espagne, Octavian Suciu, doctorant à l'Université du Maryland, a souligné un certain nombre de ces vulnérabilités dans certains outils populaires. Suciu a analysé le code source de ces programmes et il a découvert qu'il pouvait être manipulé. Il a trouvé des problèmes avec la façon dont certains outils stockent les informations en mémoire, ce qui signifie que l'alimentation d'une très grande quantité de données pourrait écraser une partie du programme, modifiant ainsi son comportement.
Suciu spécule que l'approche pourrait fournir un moyen pratique de manipuler, par exemple, un outil qui offre des prévisions boursières, qui pourraient ensuite être utilisées pour vendre à découvert le marché. Si [un modèle] vous dit que le stock va augmenter, vous pouvez modifier la prédiction pour dire qu'il va baisser, dit-il.