Aux États-Unis, la police forme des IA prédictives de la criminalité sur des données falsifiées

David McNew/Personnel

En mai 2010, poussé par une série de scandales très médiatisés, le maire de la Nouvelle-Orléans a demandé au ministère américain de la Justice d'enquêter sur le service de police de la ville (NOPD). Dix mois plus tard, le DOJ a offert son analyse de cloquage : pendant la période de son examen à partir de 2005, le NOPD avait violé à plusieurs reprises la loi constitutionnelle et fédérale.

Il a utilisé une force excessive et disproportionnée contre les résidents noirs; les minorités raciales ciblées, les anglophones non natifs et les personnes LGBTQ ; et n'a pas réussi à lutter contre la violence à l'égard des femmes. Les problèmes, mentionné le procureur général adjoint Thomas Perez à l'époque, étaient sérieux, de grande envergure, systémiques et profondément enracinés dans la culture du département.

Malgré les découvertes inquiétantes, la ville est entrée dans une partenariat secret seulement un an plus tard avec la société d'exploration de données Palantir pour déployer un système de police prédictive. Le système a utilisé des données historiques, y compris des dossiers d'arrestation et des rapports de police électroniques, pour prévoir la criminalité et aider à façonner des stratégies de sécurité publique, selon entreprise et gouvernement de la ville matériaux. À aucun moment, ces documents n'ont suggéré un effort pour nettoyer ou modifier les données afin de remédier aux violations révélées par le DOJ. Selon toute vraisemblance, les données corrompues ont été introduites directement dans le système, renforçant les pratiques discriminatoires du département.

Les algorithmes de police prédictive deviennent une pratique courante dans les villes des États-Unis. Bien que le manque de transparence rende les statistiques exactes difficiles à cerner, PredPol, un fournisseur leader, se vante qu'il aide à protéger 1 Américain sur 33. Le logiciel est souvent présenté comme un moyen d'aider les services de police peu sollicités à prendre des décisions plus efficaces et basées sur les données.

Mais de nouvelles recherches suggèrent que la Nouvelle-Orléans n'est pas la seule à avoir entraîné ces systèmes avec des données sales. Dans un papier publié aujourd'hui, qui sera publié dans la NYU Law Review, des chercheurs de l'AI Now Institute, un centre de recherche qui étudie l'impact social de l'intelligence artificielle, ont constaté que le problème était omniprésent dans les juridictions étudiées. Cela a des implications importantes pour l'efficacité de la police prédictive et d'autres algorithmes utilisés dans le système de justice pénale.

Votre système est aussi bon que les données que vous utilisez pour l'entraîner, déclare Kate Crawford, cofondatrice et codirectrice d'AI Now et auteur de l'étude. Si les données elles-mêmes sont incorrectes, davantage de ressources policières seront concentrées sur les mêmes communautés sur-surveillées et souvent racialement ciblées. Donc, ce que vous avez fait est en fait une sorte de lavage technologique où les personnes qui utilisent ces systèmes supposent qu'ils sont en quelque sorte plus neutres ou objectifs, mais en réalité, ils ont enraciné une forme d'inconstitutionnalité ou d'illégalité.

Les chercheurs ont examiné 13 juridictions, en se concentrant sur celles qui ont utilisé des systèmes de police prédictive et ont fait l'objet d'une enquête commandée par le gouvernement. Cette dernière exigence garantissait que les pratiques policières avaient une documentation légalement vérifiable. Dans neuf des juridictions, ils ont trouvé des preuves solides que les systèmes avaient été formés sur des données sales.

Le problème n'était pas seulement des données faussées par un ciblage disproportionné des minorités, comme à la Nouvelle-Orléans. Dans certains cas, les services de police avaient une culture de manipulation ou de falsification délibérée des données sous une pression politique intense pour faire baisser les taux de criminalité officiels. À New York, par exemple, afin de dégonfler artificiellement les statistiques de la criminalité, les commandants de circonscription ont régulièrement demandé aux victimes sur les scènes de crime de ne pas porter plainte. Certains policiers ont même planté de la drogue sur des innocents pour respecter leur quota d'arrestations. Dans les systèmes de police prédictifs modernes, qui s'appuient sur l'apprentissage automatique pour prévoir la criminalité, ces points de données corrompus deviennent des prédicteurs légitimes.

Les conclusions de l’article remettent en question la validité des systèmes de police prédictive. Les fournisseurs de tels logiciels affirment souvent que les résultats biaisés de leurs outils sont facilement réparables, déclare Rashida Richardson, directrice de la recherche sur les politiques chez AI Now et auteur principal de l'étude. Mais dans tous ces cas, il existe un type de problème systémique qui se reflète dans les données, dit-elle. Le remède exigerait donc bien plus que la simple suppression d'un ou deux cas de mauvais comportement. Il n'est pas si facile de séparer les bonnes données des mauvaises données ou les bons flics des mauvais flics, ajoute Jason Schultz, responsable de la recherche de l'institut pour le droit et la politique, un autre auteur de l'étude.

Les fournisseurs affirment également qu'ils évitent les données plus susceptibles de refléter des préjugés, tels que les arrestations liées à la drogue, et optent plutôt pour des intrants de formation comme les appels au 911. Mais les chercheurs ont trouvé tout autant de biais dans les données supposées plus neutres. De plus, ils ont constaté que les fournisseurs n'auditent jamais de manière indépendante les données introduites dans leurs systèmes.

Histoire connexe

Histoire connexe L'utilisation de données historiques pour former des outils d'évaluation des risques pourrait signifier que les machines copient les erreurs du passé.

Le document met en lumière un autre débat qui fait rage aux États-Unis sur l'utilisation d'outils d'évaluation des risques criminels, qui utilisent également l'apprentissage automatique pour aider à déterminer quoi que ce soit, du sort des accusés pendant la procédure préliminaire à la sévérité de leurs peines. Les données dont nous discutons dans cet article ne sont pas seulement propres au maintien de l'ordre, dit Richardson. Il est utilisé dans tout le système de justice pénale.

Actuellement, une grande partie du débat s'est concentrée sur les mécanismes du système lui-même, à savoir s'il peut être conçu pour produire des résultats mathématiquement justes. Mais les chercheurs soulignent que ce n'est pas la bonne question. Séparer la question de l'algorithme du système social auquel il est connecté et intégré ne vous mènera pas très loin, dit Schultz. Nous devons vraiment reconnaître les limites de ce genre de tentatives mathématiques basées sur des calculs pour lutter contre les préjugés.

À l'avenir, les chercheurs espèrent que leurs travaux aideront à recadrer le débat pour se concentrer sur le système plus large plutôt que sur l'outil lui-même. Ils espèrent également que cela incitera les gouvernements à créer des mécanismes, comme le cadre algorithmique d'évaluation d'impact l'institut a publié l'année dernière, pour apporter plus de transparence, de responsabilité et de contrôle à l'utilisation des outils de prise de décision automatisés.

Si les mécanismes sociaux et politiques qui génèrent des données sales ne sont pas réformés, de tels outils ne feront que plus de mal que de bien, disent-ils. Une fois que les gens auront reconnu cela, alors peut-être que le débat se déplacera enfin sur les façons dont nous pouvons utiliser l'apprentissage automatique et d'autres avancées technologiques pour réellement arrêter la cause profonde du [crime], dit Richardson. Peut-être pouvons-nous résoudre les problèmes de pauvreté, de chômage et de logement en utilisant les données gouvernementales d'une manière plus bénéfique.

cacher