Bienvenue dans le cycle sans fin de censure et d'erreurs de TikTok

Mme Tech | Envato

Ziggi Tyler fait partie du Creator Marketplace de TikTok, une plate-forme privée où les marques peuvent se connecter avec les meilleurs créateurs de l'application. Et la semaine dernière, il a remarqué quelque chose d'assez troublant à propos de la modération automatique des biographies des créateurs.

Lorsqu'il a essayé d'entrer certaines phrases dans sa biographie, certaines d'entre elles – les vies noires comptent, soutenir les Noirs, soutenir les voix noires et soutenir le succès des Noirs – ont été signalées comme du contenu inapproprié. Mais les versions blanches des mêmes phrases étaient acceptables.

Si je vais sur le Creator Marketplace et que je mets 'soutenir la suprématie blanche' et que j'appuie sur Accepter, ça va, dit-il dans une vidéo TikTok , debout devant ce qu'il a dit était une capture vidéo de lui faisant exactement cela sur son propre téléphone. Pour être listé sur le marché, il a dû supprimer ce qu'il avait écrit.

Histoire connexe

TikTok a changé la forme du visage de certaines personnes sans demander

Les utilisateurs ont remarqué ce qui semblait être un filtre de beauté qu'ils n'avaient pas demandé et qu'ils ne pouvaient pas désactiver.

Dans une vidéo de suivi , Tyler a montré les phrases je suis un néo-nazi et je suis un antisémite pour être accepté, tandis que je suis un homme noir a été signalé. L'histoire a explosé, portée en partie par un public déjà frustré par la manière dont les créateurs noirs sont traités sur TikTok. Dans un commentaire à Insider , un porte-parole de l'entreprise s'est excusé pour l'erreur importante et a déclaré que ce que Tyler voyait était le résultat d'un filtre automatique défini pour bloquer les mots associés au discours de haine. Le système, a-t-il déclaré, a été configuré par erreur pour signaler des phrases sans respecter l'ordre des mots. La société a déclaré à recode que cette erreur particulière provenait de l'inclusion des mots Black et public, car sa détection du discours de haine a repris le dé dans le public et a signalé l'association comme inappropriée.

Devenir public, devenir viral

C'est loin d'être le seul incident de ce genre à avoir lieu sur la plateforme. Il y a quelques semaines, TikTok appliqué par erreur ce qui semblait être un filtre de beauté obligatoire qui a créé une mâchoire plus mince pour certains utilisateurs d'Android.

En avril, entre-temps, un créateur de TikTok a remarqué que la nouvelle fonctionnalité de sous-titrage automatique de la plate-forme bloquait l'expression femmes asiatiques. Et début 2021, les créateurs intersexes ont constaté que le hashtag #intersex n'était plus détectable sur l'application.

Ce sont tous des exemples d'un schéma qui se répète sur TikTok : un créateur remarque d'abord un problème bizarre et potentiellement dangereux avec la modération ou l'algorithme de la plate-forme, qui affecte souvent de manière disproportionnée les groupes marginalisés. Ensuite, ils font une vidéo sur ce qui se passe, et cette vidéo obtient beaucoup de vues. Finalement, peut-être, un journaliste s'intéresse à ce qui se passe, demande à l'entreprise de s'expliquer, et le problème est résolu. TikTok publie ensuite une déclaration disant que le problème était le résultat d'une erreur, et met l'accent sur le travail qu'ils font pour soutenir les créateurs et les causes concernées.

Ce n'est pas forcément une surprise que ces vidéos fassent l'actualité. Les gens font leurs vidéos parce qu'ils travaillent. Obtenir des vues a été l'une des stratégies les plus efficaces pour pousser une grande plate-forme à réparer quelque chose pendant des années. Tiktok, Twitter et Facebook ont ​​permis aux utilisateurs de signaler plus facilement les abus et les violations des règles par d'autres utilisateurs. Mais lorsque ces entreprises semblent enfreindre leurs propres politiques, les gens trouvent souvent que la meilleure voie à suivre est simplement d'essayer de publier à ce sujet sur la plate-forme elle-même, dans l'espoir de devenir viral et d'attirer l'attention qui mène à une sorte de résolution. Les deux vidéos de Tyler sur les biographies de Marketplace, par exemple, ont chacune plus d'un million de vues.

'Le contenu est signalé parce qu'il s'agit de quelqu'un d'un groupe marginalisé qui parle de ses expériences avec le racisme. Le discours de haine et parler de discours de haine peuvent ressembler beaucoup à un algorithme.

Casey Fiesler, Université du Colorado, Boulder

Je suis probablement tagué environ une fois par semaine, explique Casey Fiesler, professeur adjoint à l'Université du Colorado à Boulder, qui étudie l'éthique technologique et les communautés en ligne. Elle est active sur TikTok, avec plus de 50 000 abonnés, mais même si tout ce qu'elle voit ne ressemble pas à une préoccupation légitime, elle dit que le défilé régulier de problèmes de l'application est réel. TikTok a eu plusieurs erreurs de ce type au cours des derniers mois, qui ont toutes eu un impact disproportionné sur les groupes marginalisés de la plateforme.

Examen de la technologie MIT a interrogé TikTok sur chacun de ces exemples récents, et les réponses sont similaires : après enquête, TikTok constate que le problème a été créé par erreur, souligne que le contenu bloqué en question n'enfreint pas leurs politiques, et des liens pour soutenir l'entreprise donne de tels groupes.

La question est de savoir si ce cycle – une erreur technique ou politique, une réponse virale et des excuses – peut être modifié.

Résoudre les problèmes avant qu'ils ne surviennent

Il y a deux types de méfaits de cette modération de contenu probablement algorithmique que les gens observent, dit Fiesler. L'un est les faux négatifs. Les gens se demandent 'pourquoi y a-t-il tant de discours de haine sur cette plate-forme et pourquoi n'est-il pas supprimé?'

L'autre est un faux positif. Leur contenu est signalé parce qu'il s'agit de quelqu'un d'un groupe marginalisé qui parle de ses expériences avec le racisme, dit-elle. Le discours de haine et parler de discours de haine peuvent ressembler beaucoup à un algorithme.

Ces deux catégories, a-t-elle noté, nuisent aux mêmes personnes : ceux qui sont ciblés de manière disproportionnée pour des abus finissent par être censurés par algorithme pour en avoir parlé.

TikTok de mystérieux algorithmes de recommandation font partie de son succès – mais ses limites floues et en constante évolution ont déjà un effet dissuasif sur certains utilisateurs. Fiesler note que de nombreux créateurs de TikTok s'autocensurent sur la plateforme afin d'éviter de déclencher une révision. Et même si elle ne sait pas exactement ce que cette tactique accomplit, Fielser a également commencé à le faire, elle-même, juste au cas où. Les interdictions de compte, les mystères algorithmiques et les décisions de modération bizarres font constamment partie de la conversation sur l'application.

Histoire connexe

Comment Facebook est devenu accro à la diffusion de fausses informations

Les algorithmes d'intelligence artificielle de l'entreprise lui ont donné une habitude insatiable de mensonges et de discours de haine. Maintenant, l'homme qui les a construits ne peut pas résoudre le problème.

Pire encore, bon nombre de ces erreurs, selon Fiesler, seraient faciles à prédire si les entreprises réfléchissaient simplement davantage à la manière dont les différents utilisateurs interagiraient réellement avec leur application. Le bug du discours de haine rencontré par Tyler serait difficile à manquer si la société le testait sur le langage que les créateurs noirs utilisent réellement pour se décrire, par exemple.

Obtenir la bonne modération est complexe, dit Feisler, mais cela n'excuse pas cette répétition constante.

Je suis souvent plus sensible aux défis de ces choses que la plupart des gens, dit-elle. Mais même moi, je me dis, 'vraiment?' À un moment donné, il y a des modèles, et vous devriez savoir ce qu'il faut rechercher.

J'ai demandé à Fiesler si quelque chose pouvait ralentir ce cycle, même s'il est impossible de le résoudre à ce stade. Une partie de la réponse est l'une des histoires les plus anciennes de la technologie : embaucher et écouter des personnes d'horizons divers .

Mais, dit-elle, une plus grande transparence doit également faire partie de la solution. Fiesler ne peut pas dire exactement pourquoi le détecteur de discours haineux de TikTok s'est si mal passé la semaine dernière, car l'application n'a pas publié beaucoup d'informations sur son fonctionnement, ni aux chercheurs comme elle, ni aux utilisateurs dont le contenu est supprimé ou supprimé. des processus qui, comme le montre l'histoire, peuvent facilement mal tourner. En tant que journaliste, lorsque j'ai demandé à TikTok (et à d'autres moments, à d'autres plates-formes) des explications plus détaillées sur la raison pour laquelle quelque chose qu'ils appellent un bogue s'est produit et sur ce qu'ils font pour l'empêcher de se reproduire à l'avenir, le la réponse est brève, insatisfaisante ou la société refuse complètement de commenter le dossier.

Si les créateurs reçoivent constamment des éléments signalés de manière inappropriée, il doit y avoir des processus d'appel vraiment simples, dit-elle.

Pendant ce temps : le cycle va continuer.

cacher