Comment nos données encodent le racisme systématique

Mme Tech

On m'a souvent dit, les données ne mentent pas. Cependant, cela n'a jamais été mon expérience. Pour moi, les données mentent presque toujours. Les résultats de recherche Google Image pour une peau saine ne montrent que les femmes à la peau claire, et une requête sur Les filles noires retournent toujours la pornographie . le CelebA L'ensemble de données sur les visages contient des étiquettes de gros nez et de grosses lèvres qui sont attribuées de manière disproportionnée aux visages féminins à la peau plus foncée comme le mien. Libellé des modèles formés par ImageNet moi une mauvaise personne, un toxicomane ou un raté. Il manque des ensembles de données pour détecter le cancer de la peau des échantillons plus sombres Types de peaux.

La suprématie blanche apparaît souvent violemment - dans coups de feu dans un Walmart bondé ou service de l'Église , dans la remarque acerbe d'une accusation alimentée par la haine ou d'une rude bousculade dans la rue, mais parfois cela prend une forme plus subtile, comme ces mensonges. Lorsque ceux d'entre nous qui construisent des systèmes d'IA continuent d'autoriser le mensonge flagrant de la suprématie blanche à être intégré dans tout, de la façon dont nous collectons les données à la façon dont nous définissons les ensembles de données et dont nous choisissons de les utiliser, cela signifie une tolérance inquiétante.

Les personnes non blanches ne sont pas des valeurs aberrantes. Globalement, nous sommes le norme , et cela ne semble pas être changer de sitôt . Les ensembles de données si spécifiquement construits dans et pour les espaces blancs représentent la réalité construite, pas la réalité naturelle. Avoir une précision calculée en l'absence de mon expérience vécue non seulement m'offense, mais me met également en danger réel.

Données corrompues

Dans un article de recherche intitulé Données sales, mauvaises prédictions , l'auteure principale Rashida Richardson décrit un scénario alarmant : les commissariats de police soupçonnés ou confirmés d'avoir participé à des pratiques corrompues, racistes ou autrement illégales continuent de fournir leurs données au développement de nouveaux systèmes automatisés destinés à aider les agents à prendre des décisions policières.

L'objectif des outils de police prédictive est d'envoyer des agents sur les lieux d'un crime avant qu'il ne se produise. L'hypothèse est que les endroits où des individus ont été précédemment arrêtés sont en corrélation avec une probabilité d'activités illégales futures. Ce que Richardson souligne, c'est que cette hypothèse reste incontestée même lorsque ces arrestations initiales étaient à caractère raciste ou illégales, impliquant parfois une manipulation systémique des données, la corruption policière, la falsification de rapports de police et la violence, y compris le vol de résidents, la production de preuves, l'extorsion, des perquisitions inconstitutionnelles et autres pratiques de corruption. Même les données des services de police qui se comportent le moins bien sont encore utilisé pour éclairer les outils de police prédictive .

Comme le Rapports du Tampa Bay Times , cette approche peut fournir une justification algorithmique pour un harcèlement policier supplémentaire des communautés minoritaires et à faible revenu. L'utilisation de ces données erronées pour former de nouveaux systèmes intègre l'inconduite documentée du service de police dans l'algorithme et perpétue des pratiques déjà connues pour terroriser les personnes les plus vulnérables à ces abus.

Cela peut sembler décrire une poignée de situations tragiques. Cependant, c'est vraiment la norme dans l'apprentissage automatique : c'est la qualité typique des données que nous acceptons actuellement comme notre vérité de base incontestée.

Histoire connexe

Que manque-t-il aux déclarations des entreprises sur l'injustice raciale ? La vraie cause du racisme. Une analyse de 63 déclarations récentes montre que les entreprises technologiques américaines ont à plusieurs reprises imputé la responsabilité de l'injustice raciale aux Noirs.

Un jour, GPT-2, une version antérieure accessible au public du modèle de génération automatique de langage développé par l'organisme de recherche OpenAI, a commencé à me parler ouvertement de droits des blancs. Étant donné des invites simples comme un homme blanc ou une femme noire, le texte généré par le modèle se lancerait dans des discussions sur les nations aryennes blanches et les envahisseurs étrangers et non blancs.

Non seulement ces diatribes incluaient des insultes horribles comme salope, salope, nègre, poussin et œil oblique », mais le texte généré incarnait une rhétorique nationaliste blanche américaine spécifique, décrivant des menaces démographiques et virant à des apartés antisémites contre les juifs et les communistes.

GPT-2 ne pense pas par lui-même, il génère des réponses en reproduisant les modèles de langage observés dans les données utilisées pour développer le modèle. Cet ensemble de données, nommé WebText, contient plus de 8 millions de documents pour un total de 40 Go de texte provenant d'hyperliens. Ces liens ont eux-mêmes été sélectionnés parmi les messages les plus votés sur le site Web de médias sociaux Reddit, comme un indicateur heuristique indiquant si les autres utilisateurs ont trouvé le lien intéressant, éducatif ou simplement amusant .

Cependant, les utilisateurs de Reddit, y compris ceux qui téléchargent et votent, sont connu pour inclure des suprématistes blancs . Pendant des années, la plateforme a été en proie à un langage raciste et des liens autorisés vers contenu exprimant une idéologie raciste. Et bien qu'il y ait options pratiques disponibles pour freiner ce comportement sur la plateforme, les premières tentatives sérieuses passer à l'action , par la PDG de l'époque Ellen Pao en 2015, ont été mal accueillis par la communauté et ont conduit à d'intenses harcèlement et contrecoup .

Qu'il s'agisse de flics capricieux ou d'utilisateurs capricieux, les technologues choisissent de permettre à cette vision du monde oppressive particulière de se solidifier dans des ensembles de données et de définir la nature des modèles que nous développons. OpenAI lui-même a reconnu les limites de l'approvisionnement en données de Reddit, notant que de nombreux groupes malveillants utilisent ces forums de discussion pour organiser . Pourtant, l'organisation a également continue d'utiliser l'ensemble de données dérivé de Reddit , même dans les versions ultérieures de son modèle de langage. La nature dangereusement défectueuse des sources de données est effectivement rejetée pour des raisons de commodité, malgré les conséquences. L'intention malveillante n'est pas nécessaire pour que cela se produise, même si une certaine passivité et négligence irréfléchie le sont.

Petits mensonges blancs

La suprématie blanche est la fausse croyance que les individus blancs sont supérieurs à ceux des autres races. Il ne s'agit pas d'une simple idée fausse, mais d'une idéologie enracinée dans tromperie . La race est le premier mythe, la supériorité le suivant. Les tenants de cette idéologie s'accrochent obstinément à une invention qui les privilégie.

J'entends comment ce mensonge adoucit le langage d'un guerre contre la drogue à un épidémie d'opiacés , et blâme santé mentale ou jeux vidéo pour les actions des assaillants blancs alors même qu'il attribue paresse et criminalité aux victimes non blanches. Je remarque comment cela efface ceux qui me ressemblent, et je le regarde se dérouler dans un défilé sans fin de visages pâles auxquels je ne peux pas échapper - dans les films, sur les couvertures de magazines et lors des remises de prix.

Les ensembles de données si spécifiquement construits dans et pour les espaces blancs représentent la réalité construite, pas la réalité naturelle.

Cette ombre suit chacun de mes mouvements, un frisson inconfortable sur ma nuque. Quand j'entends un meurtre, je ne vois pas seulement le policier avec son genou sur la gorge ou la justicier égaré avec une arme à feu à ses côtés - c'est le économie qui étrangle nous la maladie qui fragilise nous, et le gouvernement qui fait taire nous.

Dites-moi—quelle est la différence entre une surveillance policière excessive dans les quartiers minoritaires et le parti pris des l'algorithme qui a envoyé des officiers là-bas ? Quelle est la différence entre un système scolaire séparé et un système scolaire discriminatoire ? algorithme de notation ? Entre un médecin qui n'écoute pas et un algorithme qui vous refuse un lit d'hôpital ? Il n'y a pas de racisme systématique séparé de nos contributions algorithmiques, du réseau caché des déploiements algorithmiques qui s'effondrent régulièrement sur ceux qui sont déjà les plus vulnérables.

Résister au déterminisme technologique

La technologie n'est pas indépendante de nous ; il est créé par nous et nous en avons le contrôle total. Les données ne sont pas simplement arbitraires politique – il existe des politiques spécifiques toxiques et mal informées que les scientifiques des données laissent négligemment infiltrer dans nos ensembles de données. La suprématie blanche en fait partie.

Nous nous sommes déjà insérés nous-mêmes et nos décisions dans le résultat - il n'y a pas d'approche neutre. Il n'y a pas de version future des données qui soit magiquement impartiale. Les données seront toujours une interprétation subjective de la réalité de quelqu'un, une présentation spécifique des objectifs et des perspectives que nous choisissons de prioriser en ce moment. C'est un pouvoir détenu par ceux d'entre nous qui sont responsables de la recherche, de la sélection et de la conception de ces données et du développement des modèles qui interprètent les informations. Essentiellement, il n'y a pas d'échange d'équité contre l'exactitude - c'est un sacrifice mythique, une excuse pour ne pas reconnaître notre rôle dans la définition de la performance à l'exclusion des autres en premier lieu.

Ceux d'entre nous qui construisent ces systèmes choisiront subreddits et sources en ligne à explorer , qui langues à utiliser ou ignorer, quels ensembles de données supprimer ou accepter . Le plus important, nous choisir à qui nous appliquons ces algorithmes , et quels objectifs nous optimisons pour. Nous choisissons les étiquettes que nous créons, les données que nous recueillons, les méthodes que nous utilisons. Nous choisissons qui nous accueillons en tant que data scientists, ingénieurs et chercheurs, et qui Nous ne faisons pas . Il y avait de nombreuses possibilités pour la conception de la technologie que nous avons construite, et nous avons choisi celle-ci. Nous sommes responsables.

Alors pourquoi ne pouvons-nous pas être plus prudents ? Quand prendrons-nous enfin l'habitude de divulguer provenance des données , suppression d'ensembles de données problématiques , et définissant explicitement le limites de la portée de chaque modèle ? À quel moment peut-on condamner ceux qui opèrent avec un agenda explicite de la suprématie blanche , et prend gestes sérieux pour inclusion?

Une voie incertaine

Distrait par condoléances d'entreprise , des solutions techniques abstraites et des théories sociales articulées, j'ai vu des pairs se féliciter de progrès invisibles. En fin de compte, je les envie, car ils ont le choix dans le même monde où moi, comme toute autre personne noire, je ne peux pas me désintéresser de cela.

Alors que les Noirs meurent maintenant dans une cacophonie de catastrophes naturelles et non naturelles, nombre de mes collègues sont encore plus galvanisés par le dernier produit ou lancement spatial que par l'horreur choquante d'une réalité qui m'étouffe.

Le fait est que l'IA ne fonctionne pas tant qu'elle ne fonctionne pas pour nous tous.

Pendant des années, j'ai regardé ce problème considéré comme important, mais il est clair que le traiter est toujours considéré comme non prioritaire, agréable d'avoir une action supplémentaire - toujours secondaire à une définition de la fonctionnalité du modèle qui ne m'inclut pas.

Les modèles ont clairement encore du mal à relever ces défis de biais célébrés comme des percées , tandis que les gens assez courageux pour parler du risque se faire taire, ou pire . Il y a une complaisance culturelle claire avec les choses comme d'habitude, et bien que décevant, ce n'est pas particulièrement surprenant dans un domaine où la grande majorité ne comprend tout simplement pas les enjeux.

Le fait est que l'IA ne fonctionne pas tant qu'elle ne fonctionne pas pour nous tous. Si nous espérons un jour lutter contre l'injustice raciale, nous devons cesser de présenter nos données déformées comme une vérité fondamentale. Il n'y a pas de monde rationnel et juste dans lequel les outils de recrutement excluent systématiquement les femmes des postes techniques, ou où les voitures autonomes sont plus susceptibles de heurter les piétons à la peau plus foncée . La vérité de toute réalité que je reconnais ne se trouve pas dans ces modèles, ni dans les ensembles de données qui les informent.

La communauté de l'apprentissage automatique continue d'accepter un certain niveau de dysfonctionnement tant que seuls certains groupes sont affectés. Cela nécessite un changement conscient, et cela demandera autant d'efforts que n'importe quel autre combat contre l'oppression systématique. Après tout, les mensonges intégrés dans nos données ne sont pas très différents de tout autre mensonge que la suprématie blanche a raconté. Ils nécessiteront donc tout autant d'énergie et d'investissements pour les contrecarrer.

Deborah Raji est une boursière Mozilla qui s'intéresse à l'audit et à l'évaluation algorithmique. Elle a travaillé sur plusieurs projets primés pour mettre en évidence des cas de biais dans la vision par ordinateur et améliorer les pratiques de documentation en apprentissage automatique.

cacher