211service.com
Des algorithmes secrets menacent l'État de droit
Prédire et façonner ce que vous ferez ensuite, que ce soit en tant qu'acheteur, travailleur ou électeur, est une activité importante pour les entreprises axées sur les données. Mais leurs méthodes doivent-elles également informer les juges et les procureurs ? Un programme ambitieux de prédiction de la récidive chez les condamnés apporte des évaluations algorithmiques des risques aux palais de justice américains.
Ces évaluations s'inscrivent dans le prolongement d'une tendance à instruments de prédiction actuarielle pour le risque de récidive. Ils peuvent sembler scientifiques, une injection de rationalité informatique dans un système de justice pénale criblé de discrimination et d'inefficacité. Cependant, ils sont troublants pour plusieurs raisons : beaucoup sont secrètement calculés ; ils refusent une procédure régulière et des explications intelligibles aux accusés ; et ils promeuvent une vision grincheuse et inhumaine du rôle de la punition dans la société.
Commençons par le secret, un facteur qui a apparemment alarmé même la Cour suprême dans le cas du score de risque COMPAS de la firme Northpointe. Dans Loomis c.Wisconsin , un juge a rejeté un accord de plaidoyer et a condamné un accusé (Loomis) à une peine plus sévère en partie parce qu'un score de risque COMPAS le considérait comme présentant un risque de récidive supérieur à la moyenne. Loomis a fait appel de la condamnation, arguant que ni lui ni le juge ne pouvaient examiner la formule d'évaluation des risques - c'était un secret commercial.
Franck Pasquale
L'État du Wisconsin a rétorqué que Northpointe l'obligeait à garder les algorithmes confidentiels, afin de protéger la propriété intellectuelle de l'entreprise. Et la Cour suprême du Wisconsin a confirmé la peine de Loomis, estimant que l'évaluation des risques n'était qu'une partie de la justification de la peine. Il voulait continuer à donner aux juges la possibilité de prendre en compte le score COMPAS dans le cadre de leur justification de la peine, même s'ils n'avaient aucune idée de la façon dont il était calculé.
Avocats , universitaires et militants remettent maintenant en question ce raisonnement. Les processus judiciaires sont, dans l'ensemble, ouverts au public. Les juges doivent motiver leurs actions les plus importantes, telles que la détermination de la peine. Lorsqu'un processus de notation algorithmique est tenu secret, il est impossible de contester aspects clés de celui-ci. Comment l'algorithme pondère-t-il différents points de données, et pourquoi ? Chacune de ces enquêtes est cruciale pour deux principes juridiques fondamentaux : la régularité de la procédure et la capacité de faire appel d'une décision défavorable.
La régularité de la procédure est un concept ouvert, mais essentiel pour les systèmes juridiques légitimes. Ce principe constitutionnel fondamental donne aux accusés le droit de comprendre de quoi ils sont accusés et quelles sont les preuves retenues contre eux. Un algorithme secret d'évaluation des risques qui offre un score accablant est analogue à la preuve offerte par un spécialiste anonyme , qu'on ne peut contre-interroger. Tout tribunal connaissant les principes fondamentaux de l'État de droit, ainsi que les principes de notification et d'explication des décisions des cinquième et quatorzième amendements, serait très réticent à permettre à un État de fonder des peines (même si ce n'est qu'en partie) sur un algorithme secret.
Deux formes de biais d'automatisation menacent également le droit à un appel valable. Les juges sont trop susceptibles de supposer que les méthodes quantitatives sont supérieures au raisonnement verbal ordinaire et de réduire la tâche à accomplir (la détermination de la peine) à une application des données quantitatives disponibles sur le risque de récidive. Les deux réponses sapent la complexité et le jugement humain nécessaires à la détermination de la peine.
Pire encore, lorsque les entreprises proposent des justifications commerciales pour garder leur sauce secrète hors de vue du public, les tribunaux se sont empressés de protéger les secrets commerciaux des sociétés de scoring. Cette tendance est troublante dans des contextes du secteur privé , puisque les délits commerciaux peuvent être commis en toute impunité grâce à l'opacité des systèmes de classement et de cotation. Même dans le cadre de vote , les autorités tardent à exiger des logiciels vérifiables et compréhensibles par des étrangers . Néanmoins, le cas de la condamnation pénale devrait être un pont trop loin pour les juges consciencieux - et cela explique probablement la décision de la Cour suprême des États-Unis. l'intérêt dans Loomis. Envoyer quelqu'un en prison grâce aux jugements inexplicables et inattaquables d'un programme informatique secret, c'est trop Miroir noir même pour les défenseurs les plus endurcis des privilèges des entreprises.
De plus, il existe des options entre le secret algorithmique complet et la divulgation publique complète. Comme je expliqué en 2010, la transparence qualifiée est une méthode bien établie permettant à certains experts d’évaluer les secrets commerciaux protégés (y compris le code et les données des entreprises) afin de tester la qualité, la validité et la fiabilité d’un système. Pensez à un maître spécial dans une affaire judiciaire ou à des installations d'information à compartiments sécurisés pour les agences de renseignement. Au strict minimum, les gouvernements ne devraient pas utiliser des algorithmes comme le score COMPAS sans une sorte d'assurance qualité externe permise par une transparence qualifiée.
Mais le secret n'est pas le seul problème ici. Supposons que l'évaluation algorithmique des risques devienne finalement plus publique, avec des formules et des données totalement transparentes. L'utilisation de la détermination de la peine fondée sur des preuves suscite encore de sérieuses inquiétudes, car l'analyse prédictive quantitative est souvent commercialisée dans des contextes de justice pénale.
Par exemple, la juriste Sonja Starr a argumenté que ce qui est vraiment critique dans le contexte de la détermination de la peine n'est pas seulement la récidive en soi, mais la différence qu'une peine d'emprisonnement plus longue fera sur la probabilité qu'un condamné récidive. L'évaluation algorithmique des risques peut éventuellement devenir très efficace pour prédire la récidive, mais qu'en est-il d'une évaluation des risques de l'évaluation des risques elle-même, c'est-à-dire le danger qu'une peine plus longue pour un délinquant à haut risque devienne une prophétie auto-réalisatrice, étant donné l'environnement criminogène de beaucoup de prisons ?
Il y a aussi de la valeur dans l'intelligibilité narrative dans le classement et l'évaluation des êtres humains. Les entreprises utilisent des analyses marketing pour prédire non seulement la probabilité de récidive criminelle, mais également les chances qu'une personne donnée soit malade mental , un mauvais employé , à étudiant en échec , à criminel , ou un terroriste . Même si nous pouvons mettre de côté les préoccupations de prophétie auto-réalisatrice soulevées ci-dessus, ces évaluations ne doivent être déployées qu'avec la plus grande prudence. Autrefois utilisés pour conseiller la police, le DHS, les enseignants ou les patrons, ils ne sont pas de simples opinions circulant dans un libre flux d'idées. Au contraire, ils peuvent avoir un impact direct sur les moyens de subsistance, la liberté et l'éducation des personnes. S'ils ne peuvent pas être expliqués de manière narrative intelligible, ils ne devraient peut-être pas être utilisés du tout sans le consentement direct de la personne qu'ils évaluent.
Cette opinion peut ne pas convenir à ceux qui voient l'intelligence artificielle comme la prochaine étape de l'évolution humaine. Le roboticien Hod Lipson est mémorable par rapport efforts pour rendre le traitement algorithmique avancé de l'information compréhensible aux humains pour expliquer Shakespeare à un chien. Mais cette métaphore chargée cache plus qu'elle ne révèle. Au moins pour l'instant, les humains sont en charge des gouvernements et peuvent exiger des explications pour les décisions en langage naturel, et non en code informatique. Ne pas le faire dans le contexte criminel risque de céder des fonctions gouvernementales et juridiques inhérentes à une élite informatique irresponsable.
Franck Pasquale est professeur de droit à l'Université du Maryland et auteur de La société de la boîte noire .