Un algorithme d'apprentissage automatique peut montrer si les secrets d'État sont correctement classifiés

Le département d'État américain génère quelque deux milliards d'e-mails chaque année. Une fraction importante de ceux-ci contiennent des informations sensibles ou secrètes et doivent donc être classifiées, un processus long et coûteux. Rien qu'en 2015, il a dépensé 16 milliards de dollars pour protéger les informations classifiées.

Mais la fiabilité de ce processus de classification n'est pas claire. Personne ne sait si les règles de classification des informations sont appliquées de manière cohérente et fiable. En effet, il existe un différend important sur ce qui constitue même une information qui devrait être classifiée.

De plus, il est facile d'imaginer que l'erreur humaine joue un rôle considérable dans la mauvaise classification des secrets officiels. Mais personne ne sait à quel point ces erreurs peuvent être importantes.

Aujourd'hui, cela change grâce au travail de Renato Rocha Souza du groupe de réflexion brésilien Fundação Getulio Vargas à Rio De Janeiro et de ses collègues de l'Université Columbia à New York. Ces gars-là ont utilisé un algorithme d'apprentissage automatique pour étudier plus d'un million de câbles déclassifiés du Département d'État des années 1970.

Leur travail fournit un aperçu sans précédent de la nature des secrets officiels, de la manière dont les humains appliquent les règles et de la fréquence à laquelle des erreurs se glissent dans le processus pour révéler des informations sensibles ou masquer des détails autrement anodins. Les algorithmes révèlent également des modèles suspects dans la façon dont les câbles disparaissent.

L'équipe a commencé avec un corpus d'un million de câbles, qu'elle a téléchargé depuis les Archives nationales des États-Unis sous la forme de fichiers XML. Chaque câble est un message texte échangé entre le Département d'État et une mission diplomatique dans un pays étranger comme une ambassade ou un consulat.

Les câbles sont étiquetés comme secrets, confidentiels, à usage officiel limité ou non classifiés. Les informations secrètes sont définies comme ayant le potentiel de porter gravement atteinte à la sécurité nationale, les informations confidentielles sont définies comme ayant le potentiel de causer des dommages mais pas de dommages graves. La catégorie d'utilisation officielle limitée n'était pas définie dans les années 1970 et reste encore aujourd'hui controversée.

Les câbles contiennent également d'autres informations. Chaque message a une date, un expéditeur et un destinataire, un sujet et, bien sûr, le texte du message.

Souza et co ont utilisé diverses approches d'apprentissage automatique pour déterminer la corrélation entre ces facteurs et l'étiquette de classification. Et après avoir découvert cette corrélation, ils ont ensuite testé l'algorithme pour voir dans quelle mesure il pouvait prédire si un câble donné était classé ou non.

Les résultats rendent la lecture intéressante. Souza et co disent que le message lui-même est le meilleur indicateur pour savoir si un câble est classifié. De toutes les caractéristiques, la fréquence relative des différents mots dans le corps était la plus utile pour identifier les informations sensibles, disent-ils. Les données de l'expéditeur et du destinataire sont également un bon indicateur du niveau de sensibilité mais peuvent conduire l'algorithme à classer de nombreux câbles qui n'ont pas été classés comme ceux qui l'ont été. En d'autres termes, cela conduit à un taux élevé de faux positifs.

Lorsque l'algorithme d'apprentissage automatique combine les différents types de métadonnées dans ses décisions, il peut repérer environ 90 % des câbles classés, avec un taux de faux positifs de seulement 11 %. Et Souza et co disent qu'il devrait être possible de faire mieux si des câbles encore classés étaient inclus.

Les faux positifs et les faux négatifs sont eux-mêmes intéressants. Ce sont des câbles qui, selon la machine, seraient classifiés mais ne l'étaient pas et vice versa. Dans de nombreux cas, la machine a révélé des câbles qui avaient été mal classés par les humains. Un exemple est un câble sur la sensibilité du gouvernement japonais aux inspections américaines de ses installations nucléaires. Ce câble n'était pas classifié, mais aurait dû l'être puisque le texte révèle qu'il était à l'origine confidentiel, disent les chercheurs.

L'une des limites des données est que de nombreux câbles ont été perdus, apparemment en raison de problèmes de conversion en format électronique. L'aspect peut-être le plus intéressant de ce travail est qu'il suggère que ces messages peuvent avoir disparu pour d'autres raisons.

Un indice est la vitesse à laquelle les messages ont disparu, qui diffère pour les câbles classifiés et non classifiés. Les messages électroniques classés comme «secrets» étaient plus de trois fois plus susceptibles de disparaître que les messages non classifiés et à usage officiel limité, disent Souza et co.

De plus, les métadonnées associées aux câbles survivent souvent lorsque le message électronique a été perdu. Comment cela a pu arriver est un casse-tête.

De plus, si les messages étaient perdus lors de leur conversion d'un format à un autre, ils seraient plus susceptibles de disparaître lorsque le Département d'État mettrait en place son nouveau système de stockage de données. Il est à noter que la plupart de ces câbles [manquants] ne datent pas de la première mise en place du système par le Département d'État, alors que l'on pourrait s'attendre à ce qu'il s'agisse de résoudre des problèmes de transfert fiable de données entre différentes plates-formes matérielles et logicielles, selon l'équipe.

Le travail a des implications importantes pour l'équilibre entre la transparence et le secret. Les machines peuvent clairement aider à surveiller la pratique de la classification des données. Mais ils ne peuvent pas le faire mieux en moyenne que les bases de données à partir desquelles ils apprennent. Si ceux-ci contiennent des erreurs, comme le font clairement les câbles du Département d'État, les machines seront inévitablement paralysées.

Mais une question intéressante est de savoir si les données révélées par ce type d'apprentissage automatique doivent elles-mêmes être classifiées si elles révèlent des modèles de comportement qui pourraient être préjudiciables à l'intérêt national. Par exemple, la vitesse à laquelle des informations confidentielles sont étiquetées à tort comme non classifiées pourrait être utile pour une puissance étrangère tentant de recueillir des informations classifiées à partir de câbles non classifiés.

De toute évidence, il reste du travail à faire. Souza et co disent que malgré les énormes dépenses du Département d'État pour la protection des informations classifiées, il y a peu ou pas de recherche publiée sur la cohérence de la classification. On ne comprend pas non plus à quel point ce type d'apprentissage automatique peut révéler.

Peut-être que tout ce travail se fait à huis clos. D'un autre côté, peut-être pas.

Réf : arxiv.org/abs/1611.00356 : Utilisation de l'intelligence artificielle pour identifier les secrets d'État

cacher