L'algorithme de Google pour détecter les discours de haine est raciste

Catégorie: Silicon Valley Posté 13 août

Les systèmes d'intelligence artificielle destinés à repérer les contenus en ligne abusifs sont beaucoup plus susceptibles de qualifier les tweets d'offensants s'ils ont été publiés par des personnes qui s'identifient comme afro-américaines.

Les nouvelles: Les chercheurs ont construit deux systèmes d'IA et les a testés sur une paire d'ensembles de données de plus de 100 000 tweets qui avaient été annotés par des humains avec des étiquettes comme offensant, aucun ou discours de haine. L'un des algorithmes a signalé à tort 46 % des tweets inoffensifs d'auteurs afro-américains comme offensants. Des tests sur des ensembles de données plus importants, dont un composé de 5,4 millions de tweets, ont révélé que les publications d'auteurs afro-américains étaient 1,5 fois plus susceptibles d'être qualifiées d'offensantes. Lorsque les chercheurs ont ensuite testé Google La perspective , un outil d'intelligence artificielle que l'entreprise permet à quiconque d'utiliser pour modérer les discussions en ligne, ils ont trouvé des préjugés raciaux similaires.

Un équilibre difficile à trouver : Les fusillades de masse perpétrées par des suprémacistes blancs aux États-Unis et en Nouvelle-Zélande ont conduit à des appels croissants des politiciens pour que les plateformes de médias sociaux fassent plus pour éliminer les discours de haine. Ces études soulignent à quel point la tâche est compliquée. Le fait que le langage soit offensant peut dépendre de qui le dit et de qui l'entend. Par exemple, une personne noire utilisant le mot N est très différente d'une personne blanche qui l'utilise. Mais les systèmes d'IA ne comprennent pas et ne peuvent actuellement pas comprendre cette nuance.

Le risque: En nous précipitant pour utiliser un logiciel pour éliminer automatiquement le langage offensant, nous risquons de faire taire les voix des minorités. La modération de contenu en ligne est un métier traumatisant et difficile , les entreprises technologiques souhaitent donc s'appuyer sur des systèmes d'IA plutôt que sur des êtres humains (ils sont également beaucoup moins chers). Cette étude montre les énormes risques inhérents à cette approche.

Inscrivez-vous ici à notre newsletter quotidienne The Download pour recevoir votre dose des dernières nouvelles incontournables du monde de la technologie émergente.