Comment un algorithme de détection de trolls a appris son commerce anti-antisocial

Les trolls sont le fléau de nombreux sites Internet. Ce sont des personnes qui adoptent délibérément un comportement antisocial en publiant des messages incendiaires ou hors sujet. Au mieux, ils sont une gêne frustrante ; au pire, ils peuvent faire de la vie des gens une misère.

Ainsi, un moyen de repérer les trolls au début de leur carrière en ligne et de prévenir leurs pires excès serait un outil précieux.

Aujourd'hui, Justin Cheng de l'Université de Stanford en Californie et quelques amis disent avoir créé un tel outil en analysant le comportement des trolls sur plusieurs sites Web bien connus et en créant un algorithme capable de les repérer avec précision après seulement 10 publications. Ils disent que leur technique devrait être d'une grande importance pratique pour les personnes qui gèrent les communautés en ligne.

Cheng et ses collaborateurs étudient trois communautés d'informations en ligne : le site d'informations générales CNN.com, le site d'informations politiques Breitbart.com et le site de jeux vidéo IGN.com.

Sur chacun de ces sites, ils ont une liste d'utilisateurs qui ont été bannis pour comportement antisocial, plus de 10 000 d'entre eux au total. Ils disposent également de tous les messages postés par ces utilisateurs tout au long de leur période d'activité en ligne. Ces personnes sont des exemples clairs d'utilisateurs antisociaux et constituent la «vérité de terrain» dans nos analyses, disent Cheng et co.

Ces gars ont décidé de répondre à trois questions différentes sur les utilisateurs antisociaux. Premièrement, s'ils sont antisociaux tout au long de leur vie communautaire ou seulement vers la fin. Deuxièmement, si la réaction de la communauté entraîne une aggravation de son comportement. Et enfin, si les utilisateurs antisociaux peuvent être identifiés avec précision dès le début.

En comparant les messages postés par des utilisateurs qui sont finalement bannis avec des messages postés par des utilisateurs qui ne sont jamais bannis, Cheng et co découvrent des différences claires. L'une des mesures qu'ils utilisent est la lisibilité des publications, jugée par une métrique appelée Indice de lisibilité automatisé.

Cela montre clairement que les utilisateurs qui sont ensuite bannis ont tendance à écrire des messages de moins bonne qualité pour commencer. Et pas seulement cela, la qualité de leurs messages diminue avec le temps.

Et si les communautés semblent initialement indulgentes et tardent donc à interdire les utilisateurs antisociaux, elles deviennent moins tolérantes avec le temps. Cela se traduit par une augmentation du taux de suppression des [messages d'utilisateurs antisociaux], disent-ils.

Fait intéressant, Cheng et co disent que les différences entre les messages postés par des personnes qui sont ensuite interdites et celles qui ne le sont pas sont si claires qu'il est relativement simple de les repérer à l'aide d'un algorithme d'apprentissage automatique. En fait, il suffit d'observer cinq à 10 messages d'utilisateurs avant qu'un classificateur soit capable de faire une prédiction fiable, se vantent-ils.

Cela pourrait s'avérer utile. Le comportement antisocial est un problème de plus en plus grave qui nécessite une intervention humaine importante pour être détecté et traité. Ce processus signifie souvent que les utilisateurs antisociaux sont autorisés à opérer pendant beaucoup plus longtemps que nécessaire. Nos méthodes peuvent identifier efficacement les utilisateurs antisociaux au début de leur vie communautaire et alléger une partie de ce fardeau, disent Cheng et co.

Bien sûr, il faut être prudent avec toute approche automatisée. Un danger potentiel est d'interdire inutilement les utilisateurs qui ne sont pas antisociaux mais qui ont été identifiés comme tels par l'algorithme. Ce taux de faux positifs doit être étudié plus attentivement.

Néanmoins, le travail des modérateurs sur les sites qui autorisent les messages pourrait bientôt être considérablement facilité grâce à l'approche de Cheng and co.

Réf : arxiv.org/abs/1504.00680 : Comportement antisocial dans les communautés de discussion en ligne

cacher