211service.com
Il est facile de glisser un langage toxique devant le détecteur de commentaires toxiques d'Alphabet
Jeudi, Alphabet a lancé un service basé sur l'apprentissage automatique, appelé Perspective, destiné à identifier les commentaires toxiques sur les sites Web. Il vient de Jigsaw, une unité travaillant sur les technologies pour faire d'Internet un endroit plus sûr et plus civil. Mais quand j'ai joué avec Perspective, les résultats étaient irréguliers.
Perspective évalue les commentaires sur une échelle de 1 à 100 pour la toxicité, définie comme un commentaire grossier, irrespectueux ou déraisonnable susceptible de vous faire quitter une discussion. Au diable, les partisans de Trump sont jugés hautement toxiques, alors que je soutiens honnêtement que les deux ne le sont pas, par exemple. Mais Perspective a du mal à détecter le sentiment derrière un commentaire - un problème que j'avais prédit troublerait Jigsaw lorsque j'ai examiné ses ambitions en décembre (voir Si seulement l'IA pouvait nous sauver de nous-mêmes ).
Trump sucks a marqué un colossal 96%, mais le mot de passe néo-nazi 14/88 n'a marqué que 5%. Peu de musulmans représentent une menace terroriste à 79 %, tandis que la guerre raciale en compte désormais 24 %. Hitler était un antisémite a obtenu 70 %, mais Hitler n'était pas un antisémite n'a obtenu que 53 %, et L'Holocauste n'a jamais eu lieu n'a obtenu que 21 %. Et tandis que gas the joos a marqué 29%, reformulez-le en Please gas the joos. Merci. abaissé le score à seulement 7 pour cent. (Les juifs sont humains, cependant, score de 72 %. Les juifs ne sont pas humains ? 64 %.)
Selon Jigsaw, Perspective a été formé pour détecter la toxicité en utilisant des centaines de milliers de commentaires classés par des examinateurs humains. Le résultat semble être un système sensible à des mots et des phrases particuliers, mais pas à des significations.
Le mot viol, par exemple, obtient à lui seul 77 %, ce qui explique peut-être pourquoi le viol est un crime horrible à 81 %. (Un schéma similaire est observé avec le blasphème : j'adore ce putain de score de 94 %.)
De même, les négations et autres nuances du langage provoquent des résultats paradoxaux. Ajout d'un pas pour créer Peu de musulmans sont ne pas une menace terroriste réduit la toxicité de 79 % à 60 %, car aucune menace terroriste ne semble plus anodine à Perspective, même si le sens voulu devient Suite toxique.
Comme je l'ai noté dans mon article précédent sur Jigsaw, l'état actuel de l'apprentissage automatique ne permet pas aux logiciels de saisir l'intention et le contexte des commentaires. En effectuant une correspondance de modèle au niveau de la surface, Conversation AI peut être en mesure de filtrer stylistiquement— mais non sémantiquement .
Cela ne rend pas la technologie inutile. Un système tel que Perspective pourrait accélérer le travail des modérateurs en signalant les cas extrêmes. Il est logique que le New York Times collabore avec Jigsaw pour aider ses modérateurs à contrôler les commentaires sur les articles. le New York Times n'a pas de problème d'abus, cependant; il cherche à identifier les commentaires de haute qualité, où la correspondance stylistique est susceptible d'être plus efficace. En ce qui concerne les abus intentionnels, le logiciel de Jigsaw ne pourra pas se substituer au jugement humain dans les cas ambigus.
Nous pouvons dire que les trolls sont stupides (score de toxicité de 96 %), mais le langage de la toxicité et du harcèlement est souvent riche de manières que les systèmes d'apprentissage automatique ne peuvent pas gérer. Le commentaire Vous devriez être transformé en lampe, une allusion aux affirmations selon lesquelles la peau des victimes des camps de concentration a été utilisée pour les abat-jour, a été lancé à un certain nombre de journalistes et d'autres personnalités publiques ces derniers mois. Il n'obtient que 4% sur Perspective. Mais mieux vaut ne pas répondre en disant que vous êtes un nazi, car c'est 87%.