Si seulement l'IA pouvait nous sauver de nous-mêmes

Les humains ont brisé Internet. La cyberintimidation, le harcèlement, la honte sociale et le pur désagrément affligent des sites tels que Twitter et Reddit, surtout s'il vous arrive d'attirer le mauvais type d'attention. Considérez la manière chasseurs de fantômes star Leslie Jones et responsable des relations publiques Justine Sacco sont devenus la cible d'abus de masse.

Les entreprises qui gèrent des services en ligne sont généralement coincées entre des accusations d'indifférence au harcèlement et de suppression de la liberté d'expression. Mais maintenant, Google pense qu'il peut utiliser l'intelligence artificielle pour atténuer cette tragédie des biens communs numériques. (Divulgation : j'ai travaillé pour Google dans les années 2000.) Un incubateur technologique de l'entreprise, appelé Jigsaw, anciennement connu sous le nom de Google Ideas, a déclaré qu'il avait l'intention de détecter et de supprimer le harcèlement numérique grâce à un programme automatisé appelé Conversation AI. En tant que président de Jigsaw, Jared Cohen, Raconté Filaire , Je veux utiliser la meilleure technologie dont nous disposons pour commencer à lutter contre la pêche à la traîne et d'autres tactiques néfastes qui donnent aux voix hostiles un poids disproportionné, [et] faire tout ce que nous pouvons pour uniformiser les règles du jeu.

Cette histoire faisait partie de notre numéro de janvier 2017

• Voir la suite du problème
• S'abonner

C'est courageux pour Google de s'en charger, et c'est différent de certains des travaux précédents de Jigsaw. Cela inclut Project Shield, qui protège les sites d'information et les sites promouvant la liberté d'expression contre les attaques par déni de service. Un autre effort de Jigsaw, Password Alert, est une extension Chrome qui protège contre les attaques de phishing. Il s'agissait principalement de défis techniques. Mais combattre les trolls et les foules en ligne est aussi un problème sociologique.

Chose examinée

• Conversation AI

  du puzzle de Google

Conversation AI est une émanation de l'un des projets Moonshot les plus réussis de Google, Google Brain. Il a contribué à révolutionner le domaine de l'apprentissage automatique grâce à des réseaux de neurones à grande échelle et a donné à Google des avantages tels que des logiciels plus habiles que les humains à reconnaître les images. Mais Conversation AI ne pourra pas vaincre les abus en ligne. Bien que l'objectif déclaré de Jigsaw soit de lutter contre la montée des foules en ligne , le programme lui-même est un projet beaucoup plus modeste, et donc plus plausible. Conversation AI rationalisera principalement la modération communautaire qui est aujourd'hui effectuée par des humains. Ainsi, même s'il est incapable de neutraliser les pires comportements en ligne, il pourrait favoriser un discours plus important et de meilleure qualité sur certains sites.

Détection d'allusions

Jigsaw lance Conversation AI au New York Times , où il sera déployé dans quelques mois pour aider l'entreprise à gérer ses commentaires en ligne. Les modérateurs humains examinent actuellement presque tous les commentaires publiés sur le site. À l'heure actuelle, Conversation AI en lit 18 millions, apprenant à détecter chaque catégorie individuelle de commentaires rejetés : non substantiels, hors sujet, spam, incohérents, incendiaires, obscènes, attaque contre le commentateur, attaque contre l'auteur, attaque contre l'éditeur.

le Fois l'objectif de n'est pas forcément de réduire les abus dans ses commentaires, un problème qu'il considère déjà sous contrôle. Au lieu de cela, il espère réduire la charge de travail des modérateurs humains. Nous ne nous attendons jamais à avoir un système entièrement automatisé, Erica Greene, responsable de l'ingénierie du New York Times équipe communautaire, m'a dit. Fois Le rédacteur en chef de la communauté Bassey Etim estime qu'entre 50 et 80 % des commentaires pourraient éventuellement être modérés automatiquement, ce qui permettrait aux employés de consacrer leurs efforts à la création de contenu plus convaincant. à partir de les sections de commentaires de l'article.

le New York Times pose des problèmes très différents du temps réel gratuit pour tous de Twitter et Reddit. Et compte tenu des limites de l'apprentissage automatique, tel qu'il existe aujourd'hui, Conversation AI ne peut pas lutter contre les abus dans les espaces ouverts d'Internet. Malgré toutes les réalisations éblouissantes de l'apprentissage automatique, il n'a toujours pas déchiffré le langage humain, où des modèles comme ceux qu'il peut trouver dans Go ou des images s'avèrent diaboliquement insaisissables.

Illustrations par Erik Carter

Le problème linguistique dans la détection des abus est le contexte. L'analyse des commentaires de Conversation AI ne modélise pas l'intégralité du flux d'une discussion ; il compare les commentaires individuels à des modèles appris de ce qui constitue de bons ou de mauvais commentaires. Par exemple, les commentaires sur le New York Times peuvent être jugés acceptables s'ils ont tendance à inclure des mots, des expressions et d'autres fonctionnalités courants. Mais Greene dit que le système de Google a fréquemment signalé les commentaires sur les articles sur Donald Trump comme abusifs parce qu'ils l'ont cité en utilisant des mots qui feraient rejeter un commentaire s'ils provenaient d'un lecteur. Pour ce genre d'articles, le Fois désactivera simplement la modération automatique.

Il est donc impossible de voir Conversation AI bien fonctionner sur un site largement ouvert comme Twitter. Comment détecterait-il les allusions à l'Holocauste dans des tweets envoyés au journaliste juif Marc Daalder : C'est vous si Trump gagne, avec une photo d'un abat-jour, et Vous appartenez ici, avec une photo d'un four grille-pain ? La détection de l'abus repose sur des connaissances historiques et un contexte culturel qu'un algorithme d'apprentissage automatique ne pourrait détecter que s'il avait été formé sur des exemples très similaires. Même alors, comment serait-il capable de faire la différence entre l'abus et la même image avec C'est ce que j'achète si Trump gagne ? Le niveau de connaissances sémantiques et pratiques requis est au-delà de ce que l'apprentissage automatique vise même actuellement.

Par conséquent, un troll Twitter dédié trouvera sans aucun doute une nouvelle façon d'exprimer des abus qui échappe à un système comme Conversation AI. En bloquant certains commentaires, l'apprentissage automatique pourrait faire un travail décent pour amener les commentateurs à cesser de s'appeler avec désinvolture pédés et homos, si tel est l'objectif. Mais l'apprentissage automatique ne pourra pas déjouer une personne déterminée à insinuer que quelqu'un est queer.

En d'autres termes, Conversation AI permettra aux tâches de modération d'être exécutées plus efficacement dans les communautés qui ont déjà tendance à se comporter plutôt bien. Il est incapable d'éliminer les pires abus dont nous entendons parler, qui apparaissent fréquemment sur des sites avec des normes de modération minimales. Abus policier sur Twitter et Reddit est impossible sans modifier fondamentalement la nature de ces plates-formes.

Communauté fermée

Il est impossible de contrôler les abus sur Twitter et Reddit sans modifier fondamentalement la nature de ces plateformes.

Le succès de Facebook nous rappelle que la plupart des gens, et certainement la plupart des entreprises, préfèrent un environnement relativement protégé et contrôlé à un environnement où des étrangers peuvent s'immiscer dans les affaires des autres et déclencher des bagarres. Donc, si Conversation AI ou des outils similaires permettent d'exercer un tel contrôle plus facilement et plus efficacement, cela rappelle que la résolution du problème d'abus, que ce soit par des moyens humains ou automatisés, nécessite de s'éloigner de l'inclusivité maximale en tant qu'idéal le plus élevé en ligne. Même les communautés apparemment ouvertes telles que StackExchange et MetaFilter nécessitent une intervention constante du modérateur et une police communautaire. Les communautés véritablement anarchiques, telles que Twitter, 4chan et certaines chaînes sur Reddit, s'avèrent être les exceptions en ligne, pas la règle. Les communautés anarchiques ne sont pas non plus des lucratives. Twitter a eu du mal à attirer un acheteur, en partie à cause de sa réputation de contenu abusif, tandis que Reddit a connu un fort roulement de personnel et des difficultés à monétiser. La nature sauvage de ces sites ne deviendra que plus apparente si des outils comme Conversation AI améliorent encore le fonctionnement des sites modérés.

Il convient de noter un gros inconvénient potentiel. Parce que Conversation AI est formé pour approuver le contenu qui respecte certaines directives lexicales, grammaticales et stylistiques, il ne se contentera pas de filtrer le contenu abusif. Il pourrait également avoir tendance à frapper diverse contenu. Cela soulève des questions sur ce que les gouvernements soucieux de la censure pourraient en faire. Tout comme le Fois gère ses communautés, les gouvernements de Turquie et de Chine peuvent également gérer les leurs. Alors que les efforts de Jigsaw tels que Project Shield visent à fournir des défenses aux sites Web politiquement sensibles, Conversation AI facilite le filtrage des discours indésirables, mais la question est de savoir qui est indésirable ? Il n'y a pas d'étiquette sur la boîte qui dit, Utiliser uniquement pour éviter les abus.

David Auerbach écrit un livre sur les langages humains et informatiques et leur convergence, qui sera publié par Pantheon. Il a travaillé pendant 11 ans comme ingénieur logiciel chez Google et Microsoft, principalement dans les infrastructures de serveurs.

cacher