Comment la DARPA a pris la menace du bot Twitter avec une main derrière le dos

L'un des phénomènes les plus inquiétants sur Twitter est la prolifération de robots qui génèrent automatiquement des tweets dans le but de diffuser du spam, de gagner de l'argent de manière illicite grâce à la fraude au clic et, plus inquiétant encore, d'influencer la discussion sur des sujets tels que le terrorisme et la politique.

Le nombre de comptes Twitter impliqués dans ce type d'activité n'est pas faible. En 2014, Twitter a admis que plus de 8 % de ses comptes étaient automatisés, soit quelque 23 millions d'utilisateurs actifs de Twitter.

La société a souligné que bon nombre d'entre eux étaient parfaitement légitimes - nombre de ces comptes republient ou affichent ouvertement les tweets d'autres utilisateurs. Néanmoins, un nombre important d'entre eux ne font clairement rien de bon, et les bots d'influence sont particulièrement préoccupants.

Par exemple, le groupe se faisant appeler État islamique utilise les médias sociaux en ligne pour persuader les jeunes d'embrasser leur cause. Certains observateurs pensent que la Russie s'est lancée dans une importante campagne de désinformation sur les réseaux sociaux pour l'annexion de la Crimée. D'autres disent que les bots ont joué un rôle important en influençant le résultat des élections en Inde en 2014.

Ainsi, un moyen de repérer de manière fiable les robots d'influence sur Twitter serait extrêmement utile. L'année dernière, la Defense Advanced Research Projects Agency (DARPA) a entrepris de trouver une telle méthode en organisant un concours de quatre semaines au cours duquel les équipes ont été invitées à repérer des bots dans un flux de messages sur le thème des vaccinations. Une équipe est ressortie clairement gagnante et les résultats ont démontré de nouvelles stratégies importantes pour identifier les bots dans le monde réel.

Aujourd'hui, nous avons un aperçu unique de cette compétition et des stratégies employées par les équipes grâce à un article de V.S. Subrahmanian à l'Université du Maryland à College Park et Sentimetrix et quelques copains.

La compétition était à peu près aussi réaliste que la DARPA pouvait la rendre. Les tweets étaient des messages récoltés sur le flux Twitter lors d'un débat de 2014 sur les vaccinations. Dans ce débat, un certain nombre de bots avaient été créés dans le cadre d'un concours pour voir comment ils pouvaient influencer les discussions. La DARPA disposait donc d'une connaissance de terrain des comptes rendus artificiels et des comptes réels.

Au total, l'ensemble de données contenait plus de quatre millions de messages provenant de plus de 7 000 comptes, dont 39 étaient des bots dans les lobbies pro ou anti-vaccination. Chaque message contenait un identifiant unique, un profil d'utilisateur comprenant une image, une URL et une photo, le cas échéant. Les données comprenaient également un horodatage ainsi que des informations sur les abonnés et le moment où un compte ne suivait plus un autre. Tout cela a été joué aux concurrents dans un environnement Twitter synthétique pendant quatre semaines en février et mars.

Les équipes devaient ensuite analyser ce flux Twitter et deviner quels utilisateurs étaient des bots. Chaque supposition correcte leur a valu un seul point, mais une équipe a perdu 0,25 point pour chaque supposition incorrecte. Une équipe qui a deviné tous les bots ré jours avant la fin du défi ont également obtenu ré points, puisque la DARPA s'intéresse particulièrement à la détection précoce des bots d'influence.

L'équipe gagnante appartenait à la société d'analyse des médias sociaux Sentimetrix, qui a deviné tous les bots 12 jours avant la date limite en ne faisant qu'une seule estimation incorrecte. Cela leur a donné un score de 50,75 points. (L'équipe de deuxième place, de l'Université de Californie du Sud, a marqué 45 points, trouvant tous les bots six jours avant la date limite sans suppositions incorrectes.)

Les stratégies gagnantes sont révélatrices. Les équipes ont commencé par tenter d'identifier un premier ensemble de bots dans les données. Fait intéressant, aucune des équipes n'a été en mesure d'automatiser cette étape et la plupart ont utilisé une intervention humaine importante.

Sentimetrix a utilisé un algorithme pré-entraîné pour rechercher un comportement de type bot. L'équipe avait formé cet algorithme sur les données Twitter de l'élection indienne de 2014 qui comportait de nombreux bots. Il a recherché une grammaire inhabituelle, la similitude de la linguistique avec les chatbots en langage naturel tels qu'Eliza, et des comportements inhabituels tels que de longues périodes de tweet sans interruption qu'un humain ne pouvait pas facilement effectuer.

Cela a révélé quatre comptes qui étaient clairement des bots, et Sentimetrix les a ensuite utilisés pour en trouver d'autres. Une hypothèse était que les fabricants de robots ont tendance à produire de nombreux robots similaires et à les relier les uns aux autres pour gonfler leur popularité. Ainsi, l'équipe a pu utiliser l'analyse de réseau et de cluster pour trouver d'autres bots probables, qu'ils ont ensuite comparés à des bots connus.

L'équipe a également utilisé des fonctionnalités telles que l'activité temporelle des comptes en supposant qu'un compte automatisé afficherait des régularités inhabituelles. Sentimetrix a également recherché des utilisateurs qui ont changé d'allégeance au cours du débat de pro à anti-vaccination (ou vice versa). Ils ont supposé que cela pourrait être une stratégie de bot pour infiltrer un côté de l'argument, puis publier des arguments opposés.

Une caractéristique clé du succès de Sentimetrix était la façon dont il visualisait les résultats de son travail sur un tableau de bord en ligne afin qu'un utilisateur humain puisse facilement voir l'état de l'analyse pour chaque utilisateur.

Dans cette deuxième étape, Sentimetrix a identifié 25 autres bots. Cela leur a donné suffisamment de données pour former un algorithme d'apprentissage automatique afin de parcourir les données pour d'autres robots. Et cette approche les a conduits aux 10 bots restants.

Les équipes ne savaient pas combien de bots étaient au travail donc un problème majeur était de savoir quand arrêter la recherche. Sentimetrix, par exemple, s'est arrêté lorsqu'il n'a plus pu trouver de comptes qui ressemblaient à des bots.

C'est un travail impressionnant qui pourrait avoir une influence importante sur les efforts déployés pour trouver des robots qui tentent d'influencer les discussions en ligne de manière inappropriée. La publication de stratégies comme celle-ci devrait également aider les autres joueurs à développer des tactiques anti-bot.

Mais cela pourrait aussi avoir un impact négatif. La bataille entre les robots et les chasseurs de robots est en constante évolution. Avec des articles comme celui-ci, les chasseurs de bots révèlent leur main d'une manière qui permet aux fabricants de bots de concevoir des stratégies pour vaincre spécifiquement ces algorithmes. D'une certaine manière, c'est comme se battre avec une main attachée derrière le dos.

Néanmoins, la tentation de garder secrètes les stratégies de chasse aux robots serait dangereuse à promouvoir. Ce type d'ouverture fait partie de notre société libre et est certainement l'une des principales raisons pour lesquelles il vaut la peine de se battre pour la préserver.

Quoi qu'il en soit, cette bataille du chat et de la souris va continuer.

Ref: The DARPA Twitter Bot Challenge : arxiv.org/abs/1601.05140

cacher