Comment créer une intelligence artificielle malveillante

La possibilité qu'une intelligence artificielle malveillante puisse constituer une menace sérieuse pour l'humanité est devenue une question vivement débattue. Diverses personnalités de haut niveau, du physicien Stephen Hawking à l'entrepreneur technologique Elon Musk, ont mis en garde contre le danger.

C'est pourquoi le domaine de la sécurité de l'intelligence artificielle émerge comme une discipline importante. Les informaticiens ont commencé à analyser les conséquences involontaires de systèmes d'IA mal conçus, de systèmes d'IA créés avec des cadres éthiques défectueux ou qui ne partagent pas les valeurs humaines.

Mais il y a une omission importante dans ce domaine, disent les chercheurs indépendants Federico Pistono et Roman Yampolskiy de l'Université de Louisville dans le Kentucky. Rien, à notre connaissance, n'a été publié sur la façon de concevoir une machine malveillante, disent-ils.

C'est un problème important car les spécialistes de la sécurité informatique doivent comprendre la bête qu'ils affrontent avant de pouvoir espérer la vaincre.

Aujourd'hui, Pistono et Yampolskiy tentent de corriger cela, au moins en partie, et le point clé qu'ils font valoir est qu'une IA malveillante est plus susceptible d'émerger que dans certains environnements. Ils ont donc défini les conditions dans lesquelles un système d'IA malveillant pourrait émerger. Et leurs conclusions rendront la lecture inconfortable pour une ou deux entreprises.

Alors, quels signes avant-coureurs indiquent qu'il est possible de travailler sur un système d'IA malveillant ? Pistono et Yampolskiy disent qu'il y aura probablement des signes clairs.

L'une des plus évidentes serait l'absence de conseils de surveillance dans le développement des systèmes d'IA. Si un groupe décidait de créer une intelligence artificielle malveillante, il s'ensuit qu'empêcher un comité de surveillance mondial de voir le jour augmenterait sa probabilité de succès, disent-ils.

Un tel groupe le fait en minimisant l'importance de son travail et les dangers qu'il pose et même en faisant circuler des informations confuses. La stratégie consiste à diffuser des informations contradictoires qui créeraient un doute dans l'imagination du public sur les dangers et les opportunités de la recherche sur l'intelligence générale artificielle, disent-ils.

Un autre signe important serait l'existence d'un code source fermé derrière le système d'intelligence artificielle. Il est bien connu des experts en cryptographie et en sécurité informatique que les logiciels et algorithmes à source fermée sont moins sécurisés que leurs homologues libres et open source, disent Pistono et Yampolskiy. L'existence même de logiciels et de matériel non libres met l'humanité en danger.

Au lieu de cela, ils disent que l'intelligence artificielle pourrait être développée à l'aide de logiciels open source, bien que cela ne soit pas clair. Le processus open source permet à plus de personnes de rechercher et de corriger les défauts. Mais cela donne également accès à des criminels, des terroristes et autres, qui pourraient utiliser le logiciel à des fins néfastes.

L'intelligence artificielle se développe actuellement de ces deux manières.

Les systèmes à source fermée ont connu des succès largement médiatisés. Le système d'IA de Google a récemment triomphé de l'humanité dans l'ancien jeu de Go, par exemple. Facebook a également un groupe de recherche sur l'IA de haut niveau, bien qu'il ait eu moins de succès publiquement.

Aucune des deux sociétés n'a été claire sur la manière dont ses recherches sont régies. La filiale DeepMind de Google, par exemple, affirme avoir un comité d'éthique de l'IA, mais a toujours refusé de révéler qui y siège. Facebook dit simplement que les craintes concernant l'IA ont été exagérées.

Le développement de l'intelligence artificielle open-source est moins avancé. Mais il a récemment commencé à prendre de l'ampleur, poussé au moins en partie par les craintes concernant les rivaux commerciaux.

Le profil le plus élevé de ces efforts est OpenAI, une organisation d'intelligence artificielle à but non lucratif créée en 2015 dans le but de faire progresser l'intelligence numérique de la manière la plus susceptible de profiter à l'humanité dans son ensemble, sans contrainte par le besoin de générer un rendement financier.

Il est soutenu par des promesses de financement allant jusqu'à 1 milliard de dollars de la part, entre autres, de l'entrepreneur technologique Elon Musk, qui a mis en garde à plusieurs reprises contre les dangers de l'IA. (Musk a également financé en partie le travail de l'un des auteurs de cette étude, Roman Yampolskiy.)

Il n'est pas clair si OpenAI augmentera ou réduira les chances d'émergence d'un système d'IA malveillant. Mais l'objectif au moins est de s'assurer que tout ce qui se passe se passe à la vue du public.

Une lacune dans tout cela est que la pratique de la cybersécurité pour les systèmes d'IA est beaucoup moins développée que pour les logiciels ordinaires.

Les experts en sécurité informatique reconnaissent depuis longtemps que les logiciels malveillants constituent une menace importante pour la société moderne. De nombreuses applications critiques pour la sécurité - centrales nucléaires, contrôle du trafic aérien, systèmes de survie, etc. - ne sont guère plus qu'un grave défaut de conception loin du désastre. La situation est exacerbée par les concepteurs de logiciels intentionnellement malveillants (virus, chevaux de Troie, etc.) qui traquent et exploitent ces failles.

Pour lutter contre cela, les experts en sécurité ont développé un écosystème puissant qui identifie les failles et les corrige avant qu'elles ne puissent être exploitées. Ils étudient les logiciels malveillants et cherchent des moyens de les neutraliser.

Ils disposent également d'un système de communication pour diffuser ces informations au sein de leur communauté mais pas au-delà. Cela permet de corriger rapidement les défauts avant que leur connaissance ne se répande.

Mais un système similaire ne fonctionne pas encore efficacement dans le monde de la recherche en IA.

Cela n'a peut-être pas d'importance alors que les systèmes d'IA sont relativement bénins. La plupart des IA d'aujourd'hui se concentrent sur des sujets tels que le traitement du langage naturel, la reconnaissance d'objets et des tâches telles que la conduite.

Mais, compte tenu du rythme de développement de ces dernières années, cela est susceptible de changer rapidement. Une question importante est de savoir comment les humains pourraient combattre une intelligence artificielle malveillante qui pourrait avoir des conséquences désastreuses pour l'humanité. C'est une question qui mérite d'être examinée en détail maintenant.

Réf : arxiv.org/abs/1605.02817 : Recherche contraire à l'éthique : comment créer une intelligence artificielle malveillante

cacher