L'IA envoie des gens en prison et se trompe

Ian Waldie/Getty Images

L'IA peut ne pas sembler avoir un impact personnel énorme si votre contact le plus fréquent avec les algorithmes d'apprentissage automatique se fait via le fil d'actualités de Facebook ou les classements de recherche de Google. Mais au Données pour les vies noires conférence le week-end dernier, des technologues, des experts juridiques et des militants communautaires ont mis les choses en perspective avec une discussion sur le système de justice pénale américain. Là, un algorithme peut déterminer la trajectoire de votre vie.

Les États-Unis emprisonnent plus de personnes que tout autre pays au monde. Fin 2016, près de 2,2 millions d'adultes étaient détenus dans des prisons ou des prisons, et 4,5 millions supplémentaires se trouvaient dans d'autres établissements correctionnels. Autrement dit, 1 adulte américain sur 38 était sous une forme ou une autre de surveillance correctionnelle. Le cauchemar de cette situation est l'un des rares sujets qui unissent les politiciens des deux côtés de l'allée.

Sous une immense pression pour réduire le nombre de prisons sans risquer une augmentation de la criminalité, les salles d'audience à travers les États-Unis se sont tournées vers des outils automatisés pour tenter de faire passer les accusés dans le système judiciaire de la manière la plus efficace et la plus sûre possible. C'est là que commence la partie IA de notre histoire.

Les services de police utilisent des algorithmes prédictifs pour élaborer des stratégies sur l'endroit où envoyer leurs rangs. Les forces de l'ordre utilisent des systèmes de reconnaissance faciale pour aider à identifier les suspects. Ces pratiques ont suscité un examen bien mérité pour savoir si elles améliorent en fait la sécurité ou simplement perpétuent les inégalités existantes. Des chercheurs et défenseurs des droits civiques , par exemple, ont démontré à plusieurs reprises que les systèmes de reconnaissance faciale peuvent échouer de manière spectaculaire, en particulier pour les personnes à la peau foncée, confondant même les membres du Congrès avec des criminels condamnés.

Mais l'outil le plus controversé vient de loin après que la police a procédé à une arrestation. Dites bonjour aux algorithmes d'évaluation du risque criminel.

Les outils d'évaluation des risques sont conçus pour faire une chose : prendre en compte les détails du profil d'un accusé et cracher un score de récidive - un chiffre unique estimant la probabilité qu'il récidive. Un juge prend ensuite en compte cette note dans une myriade de décisions qui peuvent déterminer le type de services de réadaptation que des accusés particuliers devraient recevoir, s'ils devraient être détenus en prison avant le procès et la sévérité de leurs peines. Un faible score ouvre la voie à un destin plus clément. Un score élevé fait exactement le contraire.

La logique de l'utilisation de tels outils algorithmiques est que si vous pouvez prédire avec précision le comportement criminel, vous pouvez allouer des ressources en conséquence, que ce soit pour la réhabilitation ou pour les peines de prison. En théorie, cela réduit également tout biais influençant le processus, car les juges prennent des décisions sur la base de recommandations fondées sur des données et non sur leur instinct.

Vous avez peut-être déjà repéré le problème. Les outils modernes d'évaluation des risques sont souvent pilotés par des algorithmes formés sur des données historiques sur la criminalité.

Comme nous l'avons vu précédemment, les algorithmes d'apprentissage automatique utilisent des statistiques pour trouver des modèles dans les données. Donc, si vous lui fournissez des données historiques sur la criminalité, il identifiera les modèles associés à la criminalité. Mais ces modèles sont statistiques corrélations - loin d'être le même que causes . Si un algorithme découvrait, par exemple, qu'un faible revenu était corrélé à un taux de récidive élevé, vous ne seriez pas plus avisé de savoir si un faible revenu était réellement à l'origine de la criminalité. Mais c'est précisément ce que font les outils d'évaluation des risques : ils transforment les informations corrélatives en mécanismes de notation causale.

Aujourd'hui, les populations qui ont toujours été ciblées de manière disproportionnée par les forces de l'ordre, en particulier les communautés à faible revenu et minoritaires, risquent d'être frappées par des taux de récidive élevés. En conséquence, l'algorithme pourrait amplifier et perpétuer les biais intégrés et générer encore plus de données biaisées pour alimenter un cercle vicieux. Étant donné que la plupart des algorithmes d'évaluation des risques sont propriétaires, il est également impossible d'interroger leurs décisions ou de les tenir responsables.

Le débat sur ces outils fait toujours rage. En juillet dernier, plus de 100 organisations communautaires et de défense des droits civils, dont l'ACLU et la NAACP, signé une déclaration exhortant contre l'utilisation de l'évaluation des risques. Dans le même temps, de plus en plus de juridictions et d'États, dont la Californie, se sont tournés vers eux dans un effort de grêle pour réparer leurs prisons et prisons surchargées.

L'évaluation des risques basée sur les données est un moyen d'assainir et de légitimer les systèmes oppressifs, a déclaré Marbre Stahly-Butts, directrice exécutive de Law for Black Lives. sur scène à la conférence , hébergé au MIT Media Lab. C'est un moyen de détourner l'attention des problèmes réels qui affectent les communautés à faible revenu et minoritaires, comme les écoles sans financement et l'accès insuffisant aux soins de santé.

Nous ne sommes pas des risques, dit-elle. Nous sommes des besoins.

Cette histoire a paru à l'origine dans notre newsletter AI The Algorithm. Pour le recevoir directement dans votre boîte de réception, inscrivez-vous ici gratuitement.

cacher