AI Fight Club pourrait nous aider à nous sauver d'un avenir de cyberattaques super intelligentes

Jean Malte

Une nouvelle compétition annonce ce qui est susceptible de devenir l'avenir de la cybersécurité et de la cyberguerre, avec des algorithmes d'IA offensifs et défensifs qui se battent.

le concours , qui se déroulera sur les cinq prochains mois, est dirigé par Kagglé , une plate-forme pour les compétitions de science des données. Il opposera les algorithmes des chercheurs les uns aux autres dans des tentatives de se confondre et de se tromper, l'espoir étant que ce combat donnera un aperçu de la façon de renforcer les systèmes d'apprentissage automatique contre de futures attaques.

C'est une brillante idée de catalyser la recherche à la fois pour tromper les réseaux de neurones profonds et pour concevoir des réseaux de neurones profonds qui ne peuvent pas être dupes, déclare Jeff Cluné , professeur adjoint à l'Université du Wyoming qui étudie les limites de l'apprentissage automatique.

Le concours comportera trois volets. Un défi consistera simplement à essayer de confondre un système d'apprentissage automatique afin qu'il ne fonctionne pas correctement. Une autre consistera à essayer de forcer un système à classer quelque chose de manière incorrecte. Et un troisième consistera à développer les défenses les plus robustes. Les résultats seront présentés lors d'une grande conférence sur l'IA plus tard cette année.

L'apprentissage automatique, et l'apprentissage en profondeur en particulier, devient rapidement un outil indispensable dans de nombreuses industries. La technologie consiste à introduire des données dans un type spécial de programme informatique, à spécifier un résultat particulier et à faire développer par une machine son propre algorithme pour atteindre le résultat. Pour ce faire, l'apprentissage en profondeur modifie les paramètres d'un vaste réseau interconnecté de neurones simulés mathématiquement.

On sait depuis longtemps que les systèmes d'apprentissage automatique peuvent être trompés. Les spammeurs peuvent, par exemple, échapper aux filtres anti-spam modernes en déterminant les modèles que l'algorithme du filtre a été entraîné à identifier.

Ces dernières années, cependant, les chercheurs ont montré que même les algorithmes les plus intelligents peuvent parfois être induits en erreur de manière surprenante. Par exemple, des algorithmes d'apprentissage en profondeur avec une compétence quasi humaine pour reconnaître des objets dans des images peut être dupe par des images apparemment abstraites ou aléatoires qui exploitent les modèles de bas niveau recherchés par ces algorithmes (voir The Dark Secret at the Heart of AI ).

L'apprentissage automatique contradictoire est plus difficile à étudier que l'apprentissage automatique conventionnel - il est difficile de dire si votre attaque est forte ou si votre défense est réellement faible, explique Ian Goodfellow, chercheur à Cerveau Google , une division de Google dédiée à la recherche et à l'application de l'apprentissage automatique, qui a organisé le concours.

Alors que l'apprentissage automatique devient omniprésent, la crainte est que de telles attaques puissent être utilisées à des fins lucratives ou purement malveillantes. Il est possible que des pirates informatiques contournent les mesures de sécurité afin d'installer des logiciels malveillants, par exemple.

La sécurité informatique évolue définitivement vers l'apprentissage automatique, déclare Goodfellow. Les méchants utiliseront l'apprentissage automatique pour automatiser leurs attaques, et nous utiliserons l'apprentissage automatique pour se défendre.

En théorie, les criminels pourraient également tromper les systèmes de reconnaissance vocale et faciale, ou même mettre des affiches pour tromper les systèmes de vision des voitures autonomes, les faisant s'écraser.

Kaggle est devenu un vivier inestimable pour le développement d'algorithmes et un vivier de data scientists talentueux. La société a été acquise par Google en mars et fait désormais partie de la plateforme Google Cloud. Goodfellow et un autre chercheur de Google Brain, Alexey Kurakin, ont soumis l'idée du défi avant l'acquisition.

Benjamin Hamner, cofondateur et CTO de Kaggle, dit qu'il espère que le concours attirera l'attention sur un problème imminent. À mesure que l'apprentissage automatique devient plus largement utilisé, la compréhension des problèmes et des risques de l'apprentissage contradictoire devient de plus en plus importante, dit-il.

Les avantages du concours ouvert l'emportent sur les risques associés à la publication de nouveaux types d'attaques, ajoute-t-il : Nous pensons que cette recherche est mieux créée et partagée ouvertement, plutôt qu'à huis clos.

Clune, quant à lui, dit qu'il souhaite que le concours teste des algorithmes censés résister aux attaques. Mon argent est sur les réseaux qui continueront à être dupés dans un avenir prévisible, dit-il.

cacher