La police prédictive est toujours raciste, quelles que soient les données qu'elle utilise

David McNouveau/Getty Images

Ce n'est un secret pour personne que les outils de police prédictive sont partialité raciale . Un certain nombre d'études ont montré que des boucles de rétroaction racistes peuvent survenir si les algorithmes sont formés sur les données policières , comme les arrestations. Mais de nouvelles recherches montrent que la formation d'outils prédictifs d'une manière destinée à réduire les biais a peu d'effet.

Les données sur les arrestations biaisent les outils prédictifs, car la police est connue pour arrêter plus de personnes dans les quartiers noirs et d'autres minorités, ce qui conduit les algorithmes à diriger davantage de services de police vers ces zones, ce qui entraîne davantage d'arrestations. Le résultat est que les outils prédictifs répartissent mal les patrouilles de police : certains quartiers sont injustement désignés comme des points chauds de la criminalité tandis que d'autres sont sous-policés.

Histoire connexe

Les algorithmes de police prédictive sont racistes. Ils doivent être démontés. Le manque de transparence et les données de formation biaisées signifient que ces outils ne sont pas adaptés à leur objectif. Si nous ne pouvons pas les réparer, nous devrions les abandonner.

Pour leur défense, de nombreux développeurs d'outils de police prédictive affirment qu'ils ont commencé à utiliser les rapports de victimes pour obtenir une image plus précise des taux de criminalité dans différents quartiers. En théorie, les rapports des victimes devraient être moins biaisés car ils ne sont pas affectés par les préjugés de la police ou les boucles de rétroaction.

Mais Nil-Jana Akpinar et Alexandra Couldechova de l'Université Carnegie Mellon et Maria De-Arteaga de l'Université du Texas à Austin montrent que la vision fournie par les rapports des victimes est également faussée . L'équipe a construit son propre algorithme prédictif en utilisant le même modèle trouvé dans plusieurs outils populaires, y compris PredPol, le système le plus utilisé aux États-Unis. Ils ont formé le modèle sur les données de signalement des victimes pour Bogotá, en Colombie, l'une des très rares villes pour lesquelles des données indépendantes de signalement des crimes sont disponibles au niveau district par district.

Lorsqu'ils ont comparé les prédictions de leur outil aux données réelles sur la criminalité pour chaque district, ils ont constaté qu'il faisait des erreurs importantes. Par exemple, dans un district où peu de délits ont été signalés, l'outil a prédit environ 20 % des points chauds réels, c'est-à-dire des lieux à fort taux de criminalité. En revanche, dans un quartier avec un nombre élevé de signalements, l'outil a prédit 20% de points chauds en plus qu'il n'y en avait réellement.

Pour Rashida Richardson, avocate et chercheuse qui étudie les biais algorithmiques à la Rutgers Law School du New Jersey, ces résultats renforcent les travaux existants qui mettent en évidence les problèmes liés aux ensembles de données utilisés dans la police prédictive. Ils conduisent à des résultats biaisés qui n'améliorent pas la sécurité publique, dit-elle. Je pense que de nombreux fournisseurs de services de police prédictifs comme PredPol ne comprennent fondamentalement pas comment les conditions structurelles et sociales biaisent ou faussent de nombreuses formes de données sur la criminalité.

Alors pourquoi l'algorithme s'est-il tellement trompé ? Le problème avec les rapports des victimes est que les Noirs sont plus susceptibles d'être signalés pour un crime que les Blancs. Les Blancs plus riches sont plus susceptibles de déclarer un Noir plus pauvre que l'inverse. Et les Noirs sont également plus susceptibles de signaler d'autres Noirs. Comme pour les données sur les arrestations, cela conduit les quartiers noirs à être signalés comme des points chauds de la criminalité plus souvent qu'ils ne le devraient.

D'autres facteurs faussent également l'image. Le signalement des victimes est également lié à la confiance de la communauté ou à la méfiance envers la police, dit Richardson. Donc, si vous êtes dans une communauté avec un service de police historiquement corrompu ou notoirement raciste, cela affectera comment et si les gens signalent un crime. Dans ce cas, un outil prédictif pourrait sous-estimer le niveau de criminalité dans une zone, de sorte qu'il n'obtiendra pas le maintien de l'ordre dont il a besoin.

Pas de solution rapide

Pire encore, il n'y a toujours pas de solution technique évidente. Akpinar et Choouldechova ont tenté d'ajuster leur modèle de Bogotá pour tenir compte des biais qu'ils ont observés, mais n'avaient pas suffisamment de données pour faire une grande différence, bien qu'il y ait plus de données au niveau du district pour Bogotá que pour n'importe quelle ville américaine. En fin de compte, il n'est pas clair si l'atténuation du biais dans ce cas est plus facile que les efforts précédents qui ont fonctionné pour débiaiser les systèmes basés sur les données d'arrestation, dit Akpinar.

Ce qui peut être fait? Richardson pense que la pression publique pour démanteler les outils racistes et les politiques qui les sous-tendent est la seule réponse. C'est juste une question de volonté politique, dit-elle. Elle note que les premiers utilisateurs d'outils de police prédictive, comme Santa Cruz, ont annoncé qu'ils ne les utiliseraient plus et qu'il y a eu des rapports officiels cinglants sur l'utilisation de la police prédictive par le LAPD et le Chicago PD. Mais les réponses dans chaque ville étaient différentes, dit-elle.

Chicago a suspendu l'utilisation de la police prédictive mais a réinvesti dans une base de données pour les gangs de police, qui, selon Richardson, présentent bon nombre des mêmes problèmes.

Il est préoccupant de constater que même lorsque les enquêtes et les rapports du gouvernement révèlent des problèmes importants avec ces technologies, il ne suffit pas que les politiciens et les responsables de la police disent qu'elles ne devraient pas être utilisées, dit-elle.

cacher