La fusillade de masse en Nouvelle-Zélande montre à quel point les réseaux sociaux sont brisés

Catégorie: Silicon Valley Posté 15 mars

Vendredi, un homme armé a retransmis en direct le meurtre de dizaines d'innocents dans deux mosquées de Christchurch, en Nouvelle-Zélande, et le monde a reçu un terrible rappel de la faiblesse des politiques et des algorithmes existants en matière de médias sociaux pour contrôler les contenus violents et offensants.

Dans les jours qui ont précédé la fusillade, l'agresseur s'est apparemment vanté de ses plans et a publié un manifeste en ligne. Il a ensuite diffusé l'acte horrible en direct sur Facebook. L'attaque a fait 49 morts et des dizaines de blessés.

Direct: Au cours des 18 derniers mois, à la suite de scandales de harcèlement et de fausses nouvelles, les entreprises de médias sociaux ont investi massivement dans les modérateurs de contenu . Mais cela n'a pas empêché la diffusion de la vidéo de la fusillade. Non seulement le flux en direct aurait duré 20 minutes, mais la vidéo résultante a ensuite été republiée sur YouTube, certains clips restant pendant plus d'une heure.

Plusieurs facteurs ont contribué à laisser passer les images à travers les filtres, selon les experts.

Défi en temps réel : Il est essentiel d'attraper une vidéo rapidement, afin qu'elle ne se propage pas sur d'autres plateformes. Mais la modération des réseaux sociaux n'est tout simplement pas destinée à capturer du contenu en temps réel. Il est impossible d'automatiser le processus de manière efficace, et identifier les flux en direct qui doivent être arrêtés manuellement revient à trouver une aiguille dans la botte de foin des données qui circulent sur le réseau tout le temps, dit Savon Charles , professeur à l'école de journalisme de NYU. Il ajoute que Facebook pourrait exiger des utilisateurs qu'ils se forgent une réputation avant de les laisser diffuser du contenu en direct, afin de réduire les risques.

Frappez une taupe : Les modérateurs sont débordés dans le meilleur des cas. La vidéo du tournage hébergée sur YouTube s'est probablement propagée si rapidement que les humains employés pour vérifier les contenus inappropriés n'ont pas eu le temps de tout capter. Ces travailleurs disposent généralement de quelques secondes pour passer un appel. Le processus peut être partiellement automatisé, mais ceux qui ont republié la séquence l'ont apparemment coupée et ont introduit des distorsions pour éviter ces algorithmes.

Échec algorithmique : Les entreprises de médias sociaux utilisent également des ajustements algorithmiques pour éliminer la priorité des contenus suspects. Mais Mike Ananny , professeur agrégé à l'Université de Californie du Sud, affirme que ces algorithmes ont probablement été lancés par la popularité des vidéos incriminées.

Ce n'est pas notre problème : Ces facteurs reflètent le problème systémique clé : Facebook, YouTube et d'autres grandes plateformes sociales ne se considèrent pas comme les arbitres du contenu en premier lieu. Des études ont montré que les sources d'information d'extrême droite peuvent être contrôlées de manière plus proactive pour empêcher la diffusion de matériel violent ou haineux. Ils ont cette attitude d'être post hoc, dit Ananny. C'est quelque chose de profondément culturel.