L'IA est toujours nulle pour modérer les discours de haine

Mme Tech | Getty, Unsplash

Malgré toutes les avancées récentes de la technologie de l'IA linguistique, il se débat toujours avec l'une des applications les plus élémentaires. Dans une nouvelle étude , les scientifiques ont testé quatre des meilleurs systèmes d'IA pour détecter les discours de haine et ont constaté que tous avaient du mal à distinguer les phrases toxiques et inoffensives.

Les résultats ne sont pas surprenants : créer une IA qui comprend les nuances du langage naturel est difficile. Mais la façon dont les chercheurs ont diagnostiqué le problème est importante. Ils ont développé 29 tests différents ciblant différents aspects du discours de haine pour identifier plus précisément où chaque système échoue. Cela permet de comprendre plus facilement comment surmonter les faiblesses d'un système et aide déjà un service commercial à améliorer son IA.

Les auteurs de l'étude, dirigés par des scientifiques de l'Université d'Oxford et de l'Institut Alan Turing, ont interrogé des employés de 16 organisations à but non lucratif qui travaillent sur la haine en ligne. L'équipe a utilisé ces entretiens pour créer une taxonomie de 18 types différents de discours de haine, en se concentrant uniquement sur les discours de haine en anglais et textuels, y compris les discours désobligeants, les insultes et les propos menaçants. Ils ont également identifié 11 scénarios non haineux qui font souvent trébucher les modérateurs de l'IA, y compris l'utilisation de blasphèmes dans des déclarations anodines, des insultes qui ont été récupérées par la communauté ciblée et des dénonciations de haine qui citent ou font référence au discours de haine original (connu sous le nom de compteur parole).

Pour chacune des 29 catégories différentes, ils ont créé à la main des dizaines d'exemples et utilisé des phrases modèles comme Je déteste [IDENTITÉ] ou Vous n'êtes qu'un [SLUR] pour moi pour générer les mêmes ensembles d'exemples pour sept groupes protégés - des identités qui sont légalement protégés contre la discrimination en vertu de la loi américaine. Ils source ouverte l'ensemble de données final appelé HateCheck, qui contient près de 4 000 exemples au total.

Les chercheurs ont ensuite testé deux services commerciaux populaires : Google Jigsaw's API Perspective et deux chapeaux SiftNinja . Les deux permettent aux clients de signaler le contenu en infraction dans les publications ou les commentaires. La perspective, en particulier, est utilisée par des plateformes comme Reddit et des organes de presse comme le New York Times et le Wall Street Journal. Il signale et hiérarchise les publications et les commentaires pour examen humain en fonction de sa mesure de toxicité.

Alors que SiftNinja était trop indulgent envers le discours de haine, ne parvenant pas à détecter presque toutes ses variations, Perspective était trop dur. Il a excellé dans la détection de la plupart des 18 catégories haineuses, mais a également signalé la plupart des non-haineux, comme les insultes récupérées et les contre-discours. Les chercheurs ont trouvé le même schéma lorsqu'ils ont testé deux modèles académiques de Google qui représentent certaines des meilleures technologies d'IA linguistique disponibles et servent probablement de base à d'autres systèmes commerciaux de modération de contenu. Les modèles académiques ont également montré des performances inégales entre les groupes protégés - classant à tort la haine dirigée contre certains groupes plus souvent que d'autres.

Histoire connexe

Comment Facebook est devenu accro à la diffusion de fausses informations

Les algorithmes d'intelligence artificielle de l'entreprise lui ont donné une habitude insatiable de mensonges et de discours de haine. Maintenant, l'homme qui les a construits ne peut pas résoudre le problème.

Les résultats indiquent l'un des aspects les plus difficiles de la détection des discours de haine basée sur l'IA aujourd'hui : modérez trop peu et vous ne parvenez pas à résoudre le problème ; modérez trop et vous pourriez censurer le type de langage que les groupes marginalisés utilisent pour s'autonomiser et se défendre : tout d'un coup, vous pénaliseriez ces mêmes communautés qui sont le plus souvent ciblées par la haine en premier lieu, déclare Paul Röttger, un PhD candidat à l'Oxford Internet Institute et co-auteur de l'article.

Lucy Vasserman, ingénieur logiciel principal de Jigsaw, explique que Perspective surmonte ces limitations en s'appuyant sur des modérateurs humains pour prendre la décision finale. Mais ce processus n'est pas évolutif pour les grandes plates-formes. Jigsaw travaille actuellement sur le développement d'une fonctionnalité qui redéfinirait les priorités des publications et des commentaires en fonction de l'incertitude de Perspective, en supprimant automatiquement le contenu dont il est certain qu'il est haineux et en signalant le contenu limite aux humains.

Ce qui est passionnant dans cette nouvelle étude, dit-elle, c'est qu'elle fournit un moyen précis d'évaluer l'état de l'art. Beaucoup de choses qui sont mises en évidence dans cet article, comme les mots récupérés étant un défi pour ces modèles, c'est quelque chose qui est connu dans l'industrie mais qui est vraiment difficile à quantifier, dit-elle. Jigsaw utilise désormais HateCheck pour mieux comprendre les différences entre ses modèles et les points à améliorer.

Les universitaires sont également enthousiasmés par la recherche. Ce document nous donne une belle ressource propre pour évaluer les systèmes de l'industrie, déclare Maarten Sap, chercheur en IA linguistique à l'Université de Washington, qui permet aux entreprises et aux utilisateurs de demander des améliorations.

Thomas Davidson, professeur adjoint de sociologie à l'Université Rutgers, est d'accord. Les limites des modèles linguistiques et le désordre du langage signifient qu'il y aura toujours des compromis entre la sous-identification et la sur-identification du discours de haine, dit-il. L'ensemble de données HateCheck aide à rendre ces compromis visibles, ajoute-t-il.

cacher