Yahoo a un outil qui peut étonnamment bien détecter les abus en ligne

Les trolls semblent se cacher dans tous les coins d'Internet et ils se plaisent à gâcher votre journée. Mais si nos boîtes de réception peuvent être maintenues relativement exemptes de spam, pourquoi les machines ne peuvent-elles pas automatiquement éliminer les messages abusifs des tweets ou des commentaires ?

C'est une question qui semble pertinente pour le tissu même de la culture Internet aujourd'hui. La semaine dernière, Twitter banni une journaliste qu'elle accuse d'avoir orchestré une campagne d'injures visant l'une des stars du 100% féminin chasseurs de fantômes redémarrer. Twitter a déclaré qu'il introduirait de nouvelles directives et outils pour signaler les abus via son service. Certes, d'innombrables autres incidents sur Twitter et ailleurs passent inaperçus chaque jour.

En fait, les chercheurs progressent vers une technologie qui peut aider à mettre fin aux abus. Une équipe de Yahoo a récemment développé un algorithme capable de détecter les messages abusifs mieux que tout autre système automatisé à ce jour. Les chercheurs ont créé un ensemble de données sur les abus en collectant des messages sur des articles de Yahoo qui ont été signalés comme offensants par les propres éditeurs de commentaires de l'entreprise.

L'équipe Yahoo a utilisé un certain nombre de techniques conventionnelles, notamment la recherche de mots-clés abusifs, la ponctuation qui semblait souvent accompagner les messages abusifs et les indices syntaxiques quant au sens d'une phrase.

Mais les chercheurs ont également appliqué une approche plus avancée de la compréhension automatisée du langage, en utilisant une manière de représenter le sens des mots comme des vecteurs à plusieurs dimensions. Cette approche, connue sous le nom d'incorporation de mots, permet de traiter la sémantique de manière sophistiquée. Par exemple, même si un commentaire contient une chaîne de mots qui n'ont pas été identifiés comme abusifs, les représentations de cette chaîne dans l'espace vectoriel peuvent suffire à l'identifier comme tel.

Lorsque tout a été combiné, l'équipe a pu identifier les messages abusifs (à partir de son propre ensemble de données) avec une précision d'environ 90 %.

Attraper les 10% restants peut s'avérer délicat. Bien que les chercheurs en intelligence artificielle fassent des progrès significatifs dans la formation des machines à analyser le langage, l'intelligence artificielle doit encore doter les ordinateurs de la puissance cérébrale nécessaire pour démêler le sens. Comme le montre un concours organisé lors d'une récente conférence sur l'IA, les ordinateurs ne peuvent pas démêler les ambiguïtés les plus simples dans les phrases.

De nombreuses entreprises technologiques, dont Twitter, ont des chercheurs en IA dédiés à l'avancement de l'état de l'art dans des domaines tels que la reconnaissance d'images et la compréhension de texte. Mais jusqu'à présent, étonnamment, peu d'efforts semblent avoir été déployés pour détecter systématiquement les abus ou le harcèlement. Twitter a refusé de dire si son équipe d'IA travaille activement sur le problème (bien que cela semble probable). Mais il est peu probable que l'entreprise introduise une solution miracle pour filtrer les messages malveillants. Le problème avec le filtrage automatisé de la haine est que les mots sont chargés de sens qui ne peuvent être décompressés qu'avec une réelle intelligence.

Identifier automatiquement les abus est étonnamment difficile, déclare Alex Krasodomski-Jones, qui suit les abus en ligne en tant que chercheur au sein de la société basée au Royaume-Uni. Centre d'analyse des médias sociaux . Le langage de l'abus est amorphe - changeant fréquemment et souvent utilisé d'une manière qui n'évoque pas l'abus, comme lorsque des termes à connotation raciale ou sexuelle sont appropriés par les groupes qu'ils ont autrefois dénigrés. Étant donné 10 tweets, un groupe d'humains sera rarement d'accord sur ceux qui doivent être classés comme abusifs, vous pouvez donc imaginer à quel point ce serait difficile pour un ordinateur.

Tant que les machines n'auront pas acquis une véritable intelligence, il sera impossible de filtrer les messages haineux. Mais Krasodomski-Jones propose une autre raison, plus humaine, pour laquelle nous ne voulons peut-être pas d'une solution automatisée : dans un monde où ce que nous lisons est de plus en plus dicté par des algorithmes et des filtres, nous devons faire attention à ne pas exiger davantage d'interférences informatiques.

cacher