Instagram utilise l'IA pour empêcher les gens de publier des commentaires abusifs

Catégorie: Intelligence artificielle Posté juil. 09

La plate-forme de médias sociaux signalera les commentaires éventuellement offensants avant qu'ils ne soient publiés et demandera à l'affiche de reconsidérer.

Le contexte: L'abus en ligne a toujours été un problème compliqué en raison de son ampleur et de ses nuances. Ce qui compte comme digne de censure est un débat perpétuel : filtre trop et empiète sur l'expression de soi ; filtrent trop peu et cela crée un environnement hostile. Ajoutez à cela la complexité des différentes langues, cultures et normes, et le défi devient vraiment difficile à relever.

Inintelligence artificielle : C'est pourquoi les plateformes de médias sociaux comme Facebook se sont tournées vers l'intelligence artificielle pour les aider à trier le volume considérable de publications et de commentaires. Mais le langage a toujours été particulièrement difficile à analyser pour l'IA - des choses simples comme les doubles sens, le sarcasme ou même les fautes d'orthographe peuvent déclencher un système en se trompant de sens. Pour contourner cela, Facebook emploie des milliers de modérateurs de contenu à intervenir lorsque ses algorithmes ne parviennent pas à porter un jugement final. Cependant, des enquêtes ont révélé que ces emplois sont souvent brutaux et exténuants.

La solution d'Instagram : Instagram, qui appartient à Facebook, tente maintenant une nouvelle approche. Plutôt que de s'appuyer uniquement sur ses algorithmes pour censurer le matériel offensant, il s'appuiera également sur l'autocensure des utilisateurs. Au fur et à mesure qu'un commentaire est publié, si le modèle d'IA de la plate-forme le signale comme nuisible, l'affiche verra une fenêtre contextuelle demandant Êtes-vous sûr de vouloir publier ceci ?

Lors des premiers tests, Instagram a découvert que la fonctionnalité encourageait de nombreuses personnes à annuler leurs commentaires, selon l'article d'hier. annonce d'un article de blog . C'est une tactique intelligente pour essayer d'alléger une partie du fardeau de la modération humaine du contenu sans être trop restrictif.

Données d'entraînement: Ce n'est pas la première fois qu'Instagram utilise l'IA pour nettoyer le langage. En juin 2017, il a également lancé un filtre de commentaires offensants utilisant l'apprentissage automatique pour masquer les abus les plus évidents. La plate-forme a depuis continué à améliorer son modèle d'apprentissage automatique, en utilisant probablement les millions de points de données générés par les utilisateurs lorsqu'ils ont signalé des commentaires dans le passé. La dernière fonctionnalité demande également aux utilisateurs d'informer Instagram s'il a signalé leur commentaire comme offensant par erreur, une autre boucle de rétroaction qui pourrait générer des données de formation plus utiles.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.