211service.com
Les algorithmes de police prédictive sont racistes. Ils doivent être démontés.
Franziska Barczyk
Yeshimabeit Milner était au lycée la première fois qu'elle a vu des enfants qu'elle connaissait se faire menotter et fourrer dans des voitures de police. C'était le 29 février 2008, et le directeur d'une école voisine de Miami, à majorité haïtienne et afro-américaine, avait étouffé l'un de ses élèves. Le lendemain, plusieurs dizaines d'enfants ont organisé une manifestation pacifique. Ça ne s'est pas bien passé.
Cette nuit-là, Miami's NBC 6 News at Six a débuté avec un segment intitulé Chaos on Campus. (Il y a un extrait sur YouTube .) Les tensions sont vives à Edison Senior High après qu'une lutte pour les droits se soit terminée par une bataille avec la loi, a indiqué l'émission. Coupure sur des images téléphoniques floues d'adolescents qui crient : le chaos que vous voyez est une bagarre totale à l'intérieur de la cafétéria de l'école.
Des étudiants ont déclaré aux journalistes que la police les avait frappés avec des matraques, les avait jetés au sol et les avait poussés contre les murs. La police a affirmé que c'était eux qui avaient été attaqués - avec des bouteilles d'eau, des sodas, du lait, etc. - et a appelé des renforts d'urgence. Environ 25 étudiants ont été arrêtés et nombre d'entre eux ont été accusés de crimes multiples, notamment d'avoir résisté à l'arrestation avec violence. Milner se souvient d'avoir regardé à la télévision et d'avoir vu des enfants avec lesquels elle était allée à l'école primaire être placées en garde à vue. C'était tellement fou, dit-elle.
'Il y a une longue histoire de données militarisées contre les communautés noires.'
Pour Milner, les événements de cette journée et les implications à long terme pour les personnes arrêtées ont été déterminants. Peu de temps après, alors qu'elle était encore à l'école, elle s'est impliquée dans l'activisme basé sur les données, documentant les expériences de ses camarades en matière de police raciste. Elle est aujourd'hui directrice de Données pour les vies noires , une organisation communautaire de défense des droits numériques qu'elle a cofondée en 2017. Ce qu'elle a appris à l'adolescence l'a poussée à lutter contre partialité dans le système de justice pénale et le démantèlement de ce qu'elle appelle le pipeline école-prison. Il y a une longue histoire de données militarisées contre les communautés noires, dit-elle.
Les inégalités et les abus de pouvoir de la police ne font pas que jouer dans la rue ou lors d'émeutes scolaires. Pour Milner et d'autres militants, l'accent est désormais mis sur les domaines où le potentiel de dommages durables est le plus élevé : les outils de police prédictive et l'utilisation abusive des données par les forces de police. Plusieurs études ont montré que ces outils perpétuer systémique racisme , et pourtant nous savons encore très peu de choses sur leur fonctionnement, qui les utilise et dans quel but. Tout cela doit changer avant qu'un calcul approprié puisse avoir lieu. Heureusement, le vent tourne peut-être.
Il existe deux grands types d'outils de police prédictive. Les algorithmes basés sur la localisation s'appuient sur des liens entre les lieux, les événements et les taux de criminalité historiques pour prédire où et quand les crimes sont plus susceptibles de se produire, par exemple, dans certaines conditions météorologiques ou lors de grands événements sportifs. Les outils identifient les points chauds et la police planifie des patrouilles autour de ces dénonciations. L'un des plus courants, appelé PredPol, qui est utilisé par des dizaines de villes aux États-Unis , divise les emplacements en blocs de 500 par 500 pieds et met à jour ses prévisions tout au long de la journée, une sorte de prévision météorologique sur la criminalité.
D'autres outils s'appuient sur des données sur les personnes, telles que leur âge, leur sexe, leur état civil, leurs antécédents de toxicomanie et leur casier judiciaire, pour prédire qui a de fortes chances d'être impliqué dans de futures activités criminelles. Ces outils axés sur la personne peuvent être utilisés soit par la police, pour intervenir avant qu'un crime ne se produise, soit par les tribunaux, pour déterminer lors des audiences préliminaires ou lors de la détermination de la peine si une personne arrêtée est susceptible de récidiver. Par exemple, un outil appelé COMPAS, utilisé dans de nombreuses juridictions pour aider à prendre des décisions concernant la libération provisoire et la condamnation, émet un score statistique entre 1 et 10 pour quantifier la probabilité qu'une personne soit de nouveau arrêtée si elle est libérée.
Le problème réside dans les données dont se nourrissent les algorithmes. D'une part, les algorithmes prédictifs sont facilement faussés par les taux d'arrestation. Selon les chiffres du ministère américain de la Justice, vous êtes plus de deux fois plus susceptibles d'être arrêtés si vous êtes noir que si vous êtes blanc. Une personne noire est cinq fois plus susceptible d'être arrêtée sans motif valable qu'une personne blanche. L'arrestation massive à Edison Senior High n'était qu'un exemple d'un type de réponse policière disproportionnée qui n'est pas rare dans les communautés noires.
Les enfants que Milner a vus être arrêtés étaient mis en place pour une vie d'évaluation biaisée à cause de ce dossier d'arrestation. Mais ce n'est pas seulement leur propre vie qui a été affectée ce jour-là. Les données générées par leurs arrestations auraient été introduites dans des algorithmes qui cibleraient de manière disproportionnée tous les jeunes Noirs évalués par les algorithmes. Bien que, selon la loi, les algorithmes n'utilisent pas la race comme prédicteur, d'autres variables, telles que le milieu socio-économique, l'éducation et le code postal, agissent comme des proxys. Même sans tenir compte explicitement de la race, ces outils sont racistes.
C'est pourquoi, pour beaucoup, le concept même de police prédictive est le problème. L'écrivain et universitaire Dorothée Roberts , qui étudie le droit et les droits sociaux à l'Université de Pennsylvanie, l'a bien mis dans un table ronde en ligne en juin. Le racisme a toujours consisté à prédire, à donner l'impression que certains groupes raciaux sont prédisposés à faire de mauvaises choses et justifient donc leur contrôle, a-t-elle déclaré.
Les évaluations des risques font partie du système de justice pénale depuis des décennies. Mais les services de police et les tribunaux ont davantage recours aux outils automatisés ces dernières années, pour deux raisons principales. Premièrement, les coupes budgétaires ont conduit à une recherche d'efficacité. Les gens appellent pour retirer le financement de la police, mais ils ont déjà été remboursés, dit Milner. Les villes font faillite depuis des années et remplacent les flics par des algorithmes. Les chiffres exacts sont difficiles à obtenir, mais on pense que des outils prédictifs sont utilisés par les forces de police ou tribunaux dans la plupart des États américains.
La deuxième raison de l'utilisation accrue des algorithmes est la croyance répandue qu'ils sont plus objectifs que les humains : ils ont d'abord été introduits pour rendre la prise de décision dans le système de justice pénale plus équitable. À partir des années 1990, les premières techniques automatisées utilisaient des arbres de décision basés sur des règles, mais aujourd'hui, la prédiction se fait avec l'apprentissage automatique.
BANCS D'ARGILE VIA UNSPLASHEncore de plus en plus de preuves suggère que des préjugés humains ont été intégrés à ces outils parce que les modèles d'apprentissage automatique sont formés sur des données policières biaisées. Loin d'éviter le racisme, ils peuvent simplement mieux le cacher. De nombreux critiques considèrent désormais ces outils comme une forme de tech-washing , où un vernis d'objectivité recouvre les mécanismes qui perpétuent les inégalités dans la société.
Ce n'est vraiment qu'au cours des dernières années que l'opinion des gens sur ces outils est passée de quelque chose qui pourrait atténuer les préjugés à quelque chose qui pourrait les enraciner, dit Alice Xiang , un avocat et scientifique des données qui dirige des recherches sur l'équité, la transparence et la responsabilité au sein du Partenariat sur l'IA. Ces biais se sont aggravés depuis l'apparition de la première génération d'outils de prédiction il y a 20 ou 30 ans. Nous avons d'abord pris de mauvaises données, puis nous avons utilisé des outils pour aggraver les choses, dit Katy Weathington , qui étudie le biais algorithmique à l'Université du Colorado à Boulder. C'est juste une boucle qui s'auto-renforce encore et encore.
Les choses pourraient empirer. Dans le sillage de la protestations contre les préjugés de la police après la mort de George Floyd aux mains d'un policier à Minneapolis, certains services de police redoublent d'efforts pour utiliser des outils prédictifs. Il y a un mois, le commissaire du département de police de New York, Dermot Shea, a envoyé une lettre à ses officiers. Dans le climat actuel, nous devons combattre la criminalité différemment, a-t-il écrit. Nous le ferons avec moins d'arrêts de rue - vous exposant peut-être à moins de danger et de responsabilité - tout en utilisant mieux les données, l'intelligence et toute la technologie à notre disposition... Cela signifie que pour la part du NYPD, nous allons redoubler de précision- efforts de police.
La police aime l'idée d'outils qui leur donnent un coup de tête et leur permettent d'intervenir tôt parce qu'ils pensent que cela réduit les taux de criminalité, dit Rashida Richardson , directeur de la recherche sur les politiques à l'AI Now Institute. Mais en pratique, leur utilisation peut ressembler à du harcèlement. Les chercheurs ont découvert que certains services de police donnent aux agents les listes les plus recherchées des personnes que l'outil identifie comme à haut risque. Cela a été révélé pour la première fois lorsque des habitants de Chicago ont rapporté que la police avait frappé à leur porte et leur avait dit qu'ils étaient surveillés. Dans d'autres États, dit Richardson, la police avertissait les personnes inscrites sur les listes qu'elles couraient un risque élevé d'être impliquées dans des crimes liés aux gangs et leur demandait de prendre des mesures pour éviter cela. S'ils étaient arrêtés par la suite pour tout type de crime, les procureurs utilisaient l'avertissement préalable pour demander des charges plus lourdes. C'est presque comme une forme numérique de piégeage, où vous donnez aux gens de vagues informations et que vous leur en voulez ensuite, dit-elle.
'C'est presque comme une forme numérique de piégeage.'
De même, des études, y compris une commandée par le Centre for Data Ethics and Innovation du gouvernement britannique l'année dernière - suggèrent que l'identification de certaines zones comme points chauds incite les agents à s'attendre à des problèmes lors d'une patrouille, ce qui les rend plus susceptibles d'arrêter ou d'arrêter des personnes là-bas en raison de préjugés plutôt que de nécessité.
Un autre problème avec les algorithmes est que beaucoup ont été formés sur des populations blanches en dehors des États-Unis, en partie parce que les casiers judiciaires sont difficiles à obtenir dans différentes juridictions américaines. Static 99, un outil conçu pour prédire la récidive chez les délinquants sexuels, a été formé au Canada, où seulement 3 % environ de la population est noire, contre 12 % aux États-Unis. Plusieurs autres outils utilisés aux États-Unis ont été développés en Europe, où 2 % de la population est noire. En raison des différences de conditions socio-économiques entre les pays et les populations, les outils sont susceptibles d'être moins précis là où ils n'ont pas été formés. De plus, certains algorithmes pré-essai formés il y a de nombreuses années utilisent encore des prédicteurs obsolètes. Par exemple, certains prédisent encore qu'un accusé qui n'a pas de téléphone fixe est moins susceptible de se présenter au tribunal.
Mais ces outils fonctionnent-ils, même imparfaitement ? Cela dépend de ce que vous entendez par travail. En général, il est pratiquement impossible de dissocier l'utilisation d'outils de police prédictive des autres facteurs qui influent sur les taux de criminalité ou d'incarcération. Pourtant, une poignée de petites études ont tiré des conclusions limitées. Certains montrent des signes que l'utilisation par les tribunaux d'outils d'évaluation des risques a eu un impact positif mineur. UNE Étude de 2016 d'un outil d'apprentissage automatique utilisé en Pennsylvanie pour éclairer les décisions de libération conditionnelle n'a trouvé aucune preuve qu'il compromettait la sécurité publique (c'est-à-dire qu'il identifiait correctement les personnes à haut risque qui ne devraient pas être libérées sur parole) et certaines preuves qu'il identifiait des personnes non violentes qui pouvaient être libérées en toute sécurité.
Rashida Richardson est directrice de la recherche sur les politiques à l'AI Now Institute. Elle a précédemment dirigé des travaux sur les questions juridiques liées à la confidentialité et à la surveillance à l'American Civil Liberties Union.
AVEC LA COURTOISIE D'AI MAINTENANTUne autre étude, en 2018, a examiné un outil utilisé par les tribunaux du Kentucky et a constaté que même si les scores de risque étaient interprétés de manière incohérente entre les comtés, ce qui entraînait des écarts entre qui était et qui n'était pas libéré, l'outil aurait légèrement réduit les taux d'incarcération s'il avait été utilisé correctement. Et l'American Civil Liberties Union rapporte qu'un outil d'évaluation adopté dans le cadre de la loi de 2017 sur la réforme de la justice pénale du New Jersey a conduit à une Baisse de 20 % du nombre de personnes incarcérées en attendant leur procès .
Les partisans de ces outils affirment que les algorithmes peuvent être plus justes que les décideurs humains, ou du moins rendre l'injustice explicite. Dans de nombreux cas, en particulier lors des audiences préliminaires sur le cautionnement, on s'attend à ce que les juges se précipitent dans plusieurs dizaines d'affaires en peu de temps. Dans une étude sur les audiences préliminaires dans le comté de Cook, dans l'Illinois, les chercheurs ont découvert que les juges passaient en moyenne 30 secondes à examiner chaque cas.
Dans de telles conditions, il est raisonnable de supposer que les juges prennent des décisions rapides motivées au moins en partie par leurs préjugés personnels. Mélissa Hamilton à l'Université de Surrey au Royaume-Uni, qui étudie les problèmes juridiques liés aux outils d'évaluation des risques, critique leur utilisation dans la pratique mais pense qu'ils peuvent faire un meilleur travail que les gens en principe. L'alternative est le cerveau de la boîte noire d'un décideur humain, dit-elle.
Mais il y a un problème évident. Les données d'arrestation utilisées pour former des outils prédictifs ne donnent pas une image précise de l'activité criminelle. Les données sur les arrestations sont utilisées parce que c'est ce que les services de police enregistrent. Mais les arrestations ne débouchent pas nécessairement sur des condamnations. Nous essayons de mesurer les personnes qui commettent des crimes, mais tout ce que nous avons, ce sont des données sur les arrestations, dit Xiang.
'Nous essayons de mesurer les personnes qui commettent des crimes, mais tout ce que nous avons, ce sont des données sur les arrestations.'
De plus, les données sur les arrestations encodent les modèles de comportement policier raciste. En conséquence, ils sont plus susceptibles de prédire un potentiel élevé de criminalité dans les quartiers minoritaires ou parmi les personnes minoritaires. Même lorsque les données sur les arrestations et sur la criminalité correspondent, il existe une myriade de raisons socio-économiques pour lesquelles certaines populations et certains quartiers ont des taux de criminalité historiques plus élevés que d'autres. L'intégration de ces données dans des outils prédictifs permet au passé de façonner l'avenir.
Certains outils utilisent également des données sur l'endroit où un appel à la police a été effectué, ce qui reflète encore plus faiblement les tendances réelles de la criminalité que les données sur les arrestations, et encore plus déformé par des motivations racistes . Envisager le cas d'Amy Cooper , qui a appelé la police simplement parce qu'un ornithologue noir, Christian Cooper, lui a demandé de mettre son chien en laisse dans Central Park à New York.
Ce n'est pas parce qu'il y a un appel qu'un crime a été commis qu'un crime a réellement eu lieu, dit Richardson. Si l'appel devient un point de données pour justifier l'envoi de la police dans un quartier spécifique, ou même pour cibler un individu spécifique, vous obtenez une boucle de rétroaction où les technologies basées sur les données légitiment le maintien de l'ordre discriminatoire.
Alors que de plus en plus de critiques soutiennent que ces outils ne sont pas adaptés à leur objectif, il y a des appels à une sorte d'action affirmative algorithmique, dans laquelle le biais dans les données est contrebalancé d'une manière ou d'une autre. Une façon de procéder pour les algorithmes d'évaluation des risques, en théorie, serait d'utiliser des seuils de risque différentiels - trois arrestations pour une personne noire pourraient indiquer le même niveau de risque que, disons, deux arrestations pour une personne blanche.
C'était l'une des approches examinées dans une étude publier d en mai par Jennifer Skeem, qui étudie les politiques publiques à l'Université de Californie à Berkeley, et Christopher Lowenkamp, analyste en sciences sociales au Bureau administratif des tribunaux américains à Washington, DC. La paire a examiné trois options différentes pour éliminer le biais dans les algorithmes qui avaient évalué le risque de récidive pour environ 68 000 participants, moitié blancs et moitié noirs. Ils ont constaté que le meilleur équilibre entre les races était atteint lorsque les algorithmes tenaient explicitement compte de la race – ce que les outils existants sont légalement interdits de faire – et attribuaient aux Noirs un seuil plus élevé que les Blancs pour être considérés comme à haut risque.
Bien sûr, cette idée est assez controversée. Cela signifie essentiellement manipuler les données afin de pardonner une certaine proportion de crimes en raison de la race de l'auteur, dit Xiang : C'est quelque chose qui rend les gens très mal à l'aise. L'idée de soumettre les membres de différents groupes à des normes différentes va à l'encontre du sens de l'équité de nombreuses personnes, même si cela est fait d'une manière qui est censée remédier à l'injustice historique. (Vous pouvez essayer ce compromis par vous-même dans notre histoire interactive sur les préjugés algorithmiques dans le système de justice pénale , qui vous permet de tester une version simplifiée de l'outil COMPAS.)
En tout cas, le système judiciaire américain n'est pas prêt à avoir une telle discussion. La profession juridique a été très en retard sur ces outils d'évaluation des risques, dit Hamilton. Au cours des dernières années, elle a donné des cours de formation aux avocats et a constaté que les avocats de la défense ne sont souvent même pas conscients que leurs clients sont évalués de cette manière. Si vous n'êtes pas au courant, vous n'allez pas le contester, dit-elle.
Le manque de sensibilisation peut être imputé à l'obscurité de l'image globale : les forces de l'ordre ont été si discrètes sur la façon dont elles utilisent ces technologies qu'il est très difficile pour quiconque d'évaluer leur efficacité. Même lorsque l'information est disponible, il est difficile de lier un système à un résultat donné. Et les quelques études détaillées qui ont été réalisées se concentrent sur des outils spécifiques et tirent des conclusions qui peuvent ne pas s'appliquer à d'autres systèmes ou juridictions.
On ne sait même pas quels outils sont utilisés et qui les utilise. Nous ne savons pas combien de services de police ont utilisé ou utilisent actuellement la police prédictive, dit Richardson.
Par exemple, le fait que la police de la Nouvelle-Orléans utilisait un outil prédictif développé par la société secrète d'exploration de données Palantir n'a été révélé qu'après une enquête de The Verge . Et les archives publiques montrent que le La police de New York a versé 2,5 millions de dollars à Palantir mais ne dit pas pourquoi.
GETTYLa plupart des outils sont concédés sous licence aux services de police par un mélange hétéroclite de petites entreprises, d'autorités étatiques et de chercheurs. Certains sont des systèmes propriétaires ; certains ne le sont pas. Ils fonctionnent tous de manière légèrement différente. Sur la base des sorties des outils, les chercheurs recréent tant bien que mal ce qu'ils croient être en train de se passer.
Hamid Khan, un militant qui s'est battu pendant des années pour que la police de Los Angeles abandonne un outil prédictif appelé PredPol, a exigé un audit de l'outil par l'inspecteur général du département de police. Selon Khan , en mars 2019, l'inspecteur général a déclaré que la tâche était impossible car l'outil était si compliqué.
Au Royaume-Uni, Hamilton a essayé d'examiner un outil appelé OASys, qui, comme COMPAS, est couramment utilisé dans les audiences préliminaires, la détermination de la peine et la libération conditionnelle. La société qui fabrique OASys effectue ses propres audits et n'a pas publié beaucoup d'informations sur son fonctionnement, explique Hamilton. Elle a essayé à plusieurs reprises d'obtenir des informations auprès des développeurs, mais ils ont cessé de répondre à ses demandes. Elle dit, je pense qu'ils ont regardé mes études et ont décidé : Non.
Le refrain familier des entreprises qui fabriquent ces outils est qu'elles ne peuvent pas partager d'informations car cela reviendrait à divulguer des secrets commerciaux ou des informations confidentielles sur les personnes que les outils ont évaluées.
Tout cela signifie que seule une poignée d'entre eux ont été étudiés en détail, bien que certaines informations soient disponibles sur quelques-uns d'entre eux. Static 99 a été développé par un groupe de data scientists qui ont partagé des détails sur ses algorithmes. L'évaluation de la sécurité publique, l'un des outils d'évaluation des risques avant procès les plus courants aux États-Unis, a été initialement développée par Arnold Ventures, une organisation privée, mais il s'est avéré plus facile de convaincre les juridictions de l'adopter si certains détails sur son fonctionnement étaient révélés. , dit Hamilton. Pourtant, les fabricants des deux outils ont refusé de publier les ensembles de données qu'ils ont utilisés pour la formation, ce qui serait nécessaire pour bien comprendre leur fonctionnement.
L'achat d'un outil d'évaluation des risques est soumis aux mêmes réglementations que l'achat d'un chasse-neige.
Non seulement il y a peu d'informations sur les mécanismes à l'intérieur de ces outils, mais les critiques disent que les services de police et les tribunaux ne font pas assez pour s'assurer qu'ils achètent des outils qui fonctionnent comme prévu. Pour le NYPD, l'achat d'un outil d'évaluation des risques est soumis aux mêmes réglementations que l'achat d'un chasse-neige, explique Milner.
La police est en mesure d'aller à toute vitesse dans l'achat de technologie sans savoir ce qu'elle utilise, sans investir de temps pour s'assurer qu'elle peut être utilisée en toute sécurité, dit Richardson. Et puis il n'y a pas d'audit ou d'analyse en cours pour déterminer si cela fonctionne même.
Les efforts pour changer cela se sont heurtés à de la résistance. Le mois dernier à New York passé la Loi sur la surveillance publique des technologies de surveillance (POST) , qui oblige le NYPD à répertorier toutes ses technologies de surveillance et à décrire comment elles affectent les habitants de la ville. Le NYPD est la plus grande force de police aux États-Unis, et les partisans du projet de loi espèrent que la divulgation fera également la lumière sur la technologie utilisée par les autres services de police du pays. Mais arriver aussi loin était difficile. Richardson, qui a fait un travail de plaidoyer sur le projet de loi, le regardait rester dans les limbes depuis 2017, jusqu'à ce que les appels généralisés à la réforme de la police au cours des derniers mois fassent pencher la balance des opinions.
C'est la frustration d'essayer de trouver des informations de base sur les pratiques de police numérique à New York qui a conduit Richardson à travailler sur le projet de loi. La police avait résisté quand elle et ses collègues voulaient en savoir plus sur l'utilisation des outils de surveillance par le NYPD. Les demandes de Freedom of Information Act et les litiges de la New York Civil Liberties Union ne fonctionnaient pas. En 2015, avec l'aide du membre du conseil municipal Daniel Garodnik, ils ont proposé une législation qui forcerait la question.
Nous avons subi une réaction importante de la part du NYPD, y compris une campagne de relations publiques désagréable suggérant que le projet de loi donnait la carte de la ville aux terroristes, dit Richardson. Il n'y avait aucun soutien du maire et d'un conseil municipal hostile.
Avec ses problèmes éthiques et son manque de transparence, l'état actuel de la police prédictive est un gâchis. Mais que peut-on y faire ? Xiang et Hamilton pensent que les outils algorithmiques ont le potentiel d'être plus justes que les humains, tant que toutes les personnes impliquées dans leur développement et leur utilisation sont pleinement conscientes de leurs limites et s'efforcent délibérément de les rendre équitables.
Mais ce défi n'est pas seulement technique. Un calcul est nécessaire sur ce qu'il faut faire au sujet du biais dans les données, car cela est là pour rester. Il porte en lui les cicatrices de générations de maintien de l'ordre, dit Weathington.
Et ce que cela signifie d'avoir un algorithme équitable n'est pas quelque chose que les informaticiens peuvent répondre, dit Xiang. Ce n'est pas vraiment quelque chose que tout le monde peut répondre. Il s'agit de se demander à quoi ressemblerait un système de justice pénale équitable. Même si vous êtes avocat, même si vous êtes éthicien, vous ne pouvez pas fournir une réponse ferme à cela.
Ce sont des questions fondamentales qui ne seront pas solubles dans le sens où un problème mathématique peut être soluble, ajoute-t-elle.
Hamilton est d'accord. Les groupes de défense des droits civiques ont un choix difficile à faire, dit-elle : Si vous êtes contre l'évaluation des risques, davantage de minorités vont probablement rester enfermées. Si vous acceptez l'évaluation des risques, vous êtes en quelque sorte complice de la promotion des préjugés raciaux dans les algorithmes.
Mais cela ne signifie pas que rien ne peut être fait. Richardson dit que les décideurs devraient être interpellés pour leur ignorance tactique des lacunes de ces outils. Par exemple, le NYPD a été impliqué dans des dizaines de procès concernant des années de maintien de l'ordre biaisé. Je ne comprends pas comment vous pouvez vous occuper activement de négociations de règlement concernant des pratiques à préjugés raciaux et penser toujours que les données résultant de ces pratiques peuvent être utilisées, dit-elle.
Yeshimabeit Milner est cofondatrice et directrice de Data for Black Lives, un collectif de militants et d'informaticiens utilisant des données pour réformer le système de justice pénale.
AVEC LA COURTOISIE DES DONNÉES POUR LES VIES NOIRESPour Milner, la clé du changement est d'impliquer les personnes les plus touchées. En 2008, après avoir vu ces enfants qu'elle connaissait se faire arrêter, Milner a rejoint une organisation qui a interrogé environ 600 jeunes sur leurs expériences d'arrestations et de brutalités policières dans les écoles, puis a transformé ce qu'elle a appris en bande dessinée. Les jeunes de tout le pays ont utilisé la bande dessinée pour commencer à faire un travail similaire là où ils vivaient.
Aujourd'hui, son organisation, Data for Black Lives, coordonne environ 4 000 ingénieurs en logiciel, mathématiciens et militants dans les universités et les centres communautaires. Les outils d'évaluation des risques ne sont pas le seul moyen par lequel l'utilisation abusive des données perpétue le racisme systémique, mais c'est l'un de leurs objectifs. Nous n'allons pas empêcher chaque entreprise privée de développer des outils d'évaluation des risques, mais nous pouvons changer la culture et éduquer les gens, leur donner des moyens de repousser, dit Milner. À Atlanta, ils forment des personnes qui ont passé du temps en prison à faire de la science des données, afin qu'elles puissent jouer un rôle dans la réforme des technologies utilisées par le système de justice pénale.
En attendant, Milner, Weathington, Richardson et d'autres pensent que la police devrait cesser d'utiliser des outils prédictifs défectueux jusqu'à ce qu'il y ait un moyen convenu de les rendre plus justes.
La plupart des gens conviendraient que la société devrait avoir un moyen de décider qui est un danger pour les autres. Mais remplacer un flic ou un juge humain ayant des préjugés par des algorithmes qui dissimulent simplement ces mêmes préjugés n'est pas la solution. S'il y a ne serait-ce qu'une chance qu'ils perpétuent des pratiques racistes, ils devraient être retirés.
Cependant, comme l'ont constaté les défenseurs du changement, il faut de longues années pour faire une différence, avec une résistance à chaque étape. Ce n'est pas un hasard si Khan et Richardson ont vu des progrès après des semaines d'indignation nationale face à la brutalité policière. Les récents soulèvements ont définitivement joué en notre faveur, dit Richardson. Mais il a également fallu cinq ans de pression constante de sa part et de ses collègues défenseurs. Khan, lui aussi, faisait campagne contre la police prédictive dans le LAPD depuis des années.
Cette pression doit continuer, même après l'arrêt des marches. L'élimination des préjugés n'est pas une solution technique, dit Milner. Cela nécessite un changement de politique plus profond et, honnêtement, moins sexy et plus coûteux.