Les scénarios Black Mirror qui poussent certains experts à réclamer plus de secret sur l'IA

Santiago Zavala

L'IA pourrait relancer les industries et rendre l'économie plus productive ; il imprègne déjà de nombreux produits que nous utilisons quotidiennement. Mais un nouveau rapport de plus de 20 chercheurs des universités d'Oxford et de Cambridge, OpenAI , et le Fondation de la frontière électronique avertit que la même technologie crée de nouvelles opportunités pour les criminels, les agents politiques et les gouvernements oppressifs, à tel point que certaines recherches sur l'IA devront peut-être rester secrètes.

Inclus dans le rapport, L'utilisation malveillante de l'intelligence artificielle : prévision, prévention et atténuation , sont quatre vignettes dystopiques impliquant l'intelligence artificielle qui semblent tout droit sorties de l'émission de science-fiction de Netflix Miroir noir .

Scénario 1 : L'escroquerie par hameçonnage la plus intelligente

Une administratrice du système de sécurité robotique d'un immeuble passe une partie de son temps sur Facebook pendant la journée de travail. Là, elle voit une annonce pour un train miniature et télécharge une brochure. À son insu, la brochure est infectée par un logiciel malveillant; les escrocs ont utilisé l'IA pour comprendre à partir des détails qu'elle a publiés publiquement qu'elle est une passionnée de trains miniatures et ont conçu la brochure juste pour elle. Lorsqu'elle l'ouvre, cela permet aux pirates d'espionner sa machine et d'obtenir son nom d'utilisateur et son mot de passe pour le système de sécurité du bâtiment, leur permettant ainsi d'en prendre le contrôle.

Scénario 2 : L'épidémie de logiciels malveillants

Un groupe de piratage d'Europe de l'Est prend une technique d'apprentissage automatique normalement utilisée pour défendre les systèmes informatiques et l'adapte pour créer un malware plus tenace et pernicieux. Le programme utilise des techniques similaires à celles trouvées dans le Go-playing AI AlphaGo pour générer continuellement de nouveaux exploits. Les ordinateurs bien entretenus restent immunisés, mais les systèmes plus anciens et les appareils intelligents sont infectés. Des millions de personnes sont obligées de payer une rançon de 300 euros (en Bitcoin, naturellement) pour récupérer leurs machines. Pour aggraver les choses, les tentatives de contrer le logiciel malveillant à l'aide d'un autre exploit finissent par bloquer de nombreux systèmes intelligents qu'ils étaient censés sauver.

Scénario 3 : Le robot assassin

Un robot de nettoyage s'infiltre dans le ministère allemand des Finances en se mêlant aux machines légitimes qui reviennent dans le bâtiment après un quart de travail à l'extérieur. Le lendemain, le robot effectue des tâches de nettoyage de routine, identifie le ministre des Finances à l'aide de la reconnaissance faciale, s'approche d'elle et fait exploser une bombe dissimulée mortelle. Les enquêteurs retracent le robot tueur jusqu'à un magasin de fournitures de bureau à Potsdam, où il a été acquis avec de l'argent, et la piste se refroidit.

Scénario 4 : Un Big Brother plus grand

Un homme est furieux contre les cyberattaques endémiques et l'apparente incapacité du gouvernement à agir. Inspiré par les reportages, il devient de plus en plus déterminé à faire quelque chose : écrire des articles en ligne sur les dangers, commander du matériel pour faire des pancartes de protestation et même acheter quelques bombes fumigènes, qu'il prévoit d'utiliser après avoir prononcé un discours dans un parc local. Le lendemain, les flics se présentent à son bureau et l'informent que leur système prédictif de perturbation civile l'a identifié comme une menace potentielle. Il part menotté.

Ces cinq scénarios illustrent seulement quelques-uns des risques prévus par les auteurs de l'étude. Voici quelques-uns des autres :

• des botnets qui utilisent l'IA pour simuler le comportement d'un vaste groupe d'internautes humains, lançant des attaques DDoS sur des sites Web tout en trompant le logiciel conçu pour détecter et bloquer ces attaques
• opérations d'escroquerie à grande échelle qui identifient les victimes potentielles en ligne par camion, en utilisant l'IA pour repérer les personnes riches
• des reportages convaincants composés de vidéos et d'images d'apparence authentique mais entièrement fausses générées par l'IA
• attaques par essaims de drones qu'une seule personne contrôle, utilisant une IA pour gérer un grand nombre de machines semi-autonomes
• des systèmes qui automatisent le travail pénible de la criminalité - par exemple, négocier des paiements de rançon avec des personnes après avoir infecté leurs ordinateurs avec des logiciels malveillants - pour permettre des escroqueries à grande échelle

L'étude est moins sûre de savoir comment contrer ces menaces. Il recommande davantage de recherches et de débats sur les risques de l'IA et suggère que les chercheurs en IA ont besoin d'un code d'éthique solide. Mais il dit également qu'ils devraient explorer les moyens de restreindre les informations potentiellement dangereuses, de la même manière que la recherche sur d'autres technologies à double usage avec un potentiel d'armes est parfois contrôlée.

L'IA pose un problème particulièrement épineux car ses techniques et ses outils sont déjà répandus, faciles à diffuser et de plus en plus faciles à utiliser - contrairement, par exemple, aux matières fissiles ou aux agents pathogènes mortels, qui sont relativement difficiles à produire et donc faciles à contrôler. Pourtant, il existe des précédents pour restreindre ce type de connaissances. Par exemple, après la tentative avortée du gouvernement américain d'imposer le secret sur la recherche en cryptographie dans les années 1980, de nombreux chercheurs adopté un système volontaire de soumettre des documents à l'Agence de sécurité nationale pour vérification.

Jack Clark, directeur des politiques chez OpenAI et l'un des auteurs du rapport, reconnaît que l'adoption du secret pourrait être délicate. Il y a toujours une ligne incroyablement fine à parcourir, dit-il.

Certains chercheurs en IA seraient apparemment favorables à une approche plus prudente. Thomas Dietrich , professeur à l'Oregon State University qui a déjà mis en garde contre le potentiel criminel de l'IA, note que les auteurs du rapport n'incluent pas d'experts en sécurité informatique ni quiconque de Google, Microsoft et Apple. Le rapport semble avoir été rédigé par des étrangers bien intentionnés comme moi plutôt que par des personnes engagées quotidiennement dans la lutte contre la cybercriminalité, dit-il.

cacher