211service.com
Inspecter les algorithmes pour les biais
Les tribunaux, les banques et d'autres institutions utilisent des systèmes d'analyse de données automatisés pour prendre des décisions concernant votre vie. Ne laissons pas aux créateurs d'algorithmes le soin de décider s'ils le font de manière appropriée. 12 juin 2017
Paul Delcan
C'était une histoire saisissante. Machine Bias, le titre lu et le teaser proclamé : Des logiciels sont utilisés dans tout le pays pour prédire les futurs criminels. Et il est biaisé contre les Noirs.
ProPublica, une organisation de presse à but non lucratif lauréate du prix Pulitzer, avait analysé un logiciel d'évaluation des risques connu sous le nom de COMPAS. Il est utilisé pour prévoir quels criminels sont les plus susceptibles de récidiver. Guidés par de telles prévisions, les juges des salles d'audience à travers les États-Unis prennent des décisions sur l'avenir des accusés et des condamnés, déterminant tout, du montant de la caution aux peines. Lorsque ProPublica a comparé les évaluations des risques de COMPAS pour plus de 10 000 personnes arrêtés dans un comté de Floride avec la fréquence à laquelle ces personnes ont effectivement récidivé, il a découvert que l'algorithme prédisait correctement la récidive pour les accusés noirs et blancs à peu près au même rythme. Mais lorsque l'algorithme était erroné, il était erroné de différentes manières pour les Noirs et les Blancs. Plus précisément, les Noirs sont presque deux fois plus susceptibles que les Blancs d'être étiquetés comme présentant un risque plus élevé mais de ne pas récidiver. Et COMPAS avait tendance à faire l'erreur inverse avec les Blancs : ils sont beaucoup plus susceptibles que les Noirs d'être étiquetés à faible risque, mais continuent à commettre d'autres crimes.
Choses revues
Biais machine
ProPublica, 23 mai 2016
Échelles de risque COMPAS : Démonstration de l'exactitude, de l'équité et de la parité prédictive
Northpointe, le 8 juillet 2016
Réponse technique à Northpointe
ProPublica, 29 juillet 2016
Faux positifs, faux négatifs et fausses analyses : une réplique au « biais de la machine »
Anthony Flores, Christopher Lowenkamp et Kristin Bechtel
10 août 2016
Cette histoire faisait partie de notre numéro de juillet 2017
- Voir la suite du problème
- S'abonner
Savoir s'il est approprié d'utiliser des systèmes comme COMPAS est une question qui va au-delà des préjugés raciaux. La Cour suprême des États-Unis pourrait bientôt se saisir du cas d'un condamné du Wisconsin qui affirme que son droit à une procédure régulière a été violé lorsque le juge qui l'a condamné a consulté COMPAS, car le fonctionnement du système était opaque pour l'accusé. Des problèmes potentiels avec d'autres systèmes de prise de décision automatisée (ADM) existent également en dehors du système judiciaire. Sur la base de tests de personnalité en ligne, les ADM aident à déterminer si quelqu'un est la bonne personne pour un emploi. Les algorithmes de notation de crédit jouent un rôle énorme dans l'obtention d'un prêt hypothécaire, d'une carte de crédit ou même des offres de téléphonie mobile les plus rentables.
Ce n'est pas nécessairement une mauvaise idée d'utiliser des systèmes d'évaluation des risques comme COMPAS. Dans de nombreux cas, les systèmes ADM peuvent accroître l'équité. La prise de décision humaine est parfois si incohérente qu'elle nécessite une surveillance pour la mettre en conformité avec nos normes de justice. Comme l'a montré une étude particulièrement troublante, les commissions des libérations conditionnelles étaient plus susceptibles de libérer les condamnés si les juges venaient de faire une pause-repas. Cela n'était probablement jamais venu à l'esprit des juges. Un système ADM pourrait découvrir de telles incohérences et améliorer le processus.
Mais souvent, nous n'en savons pas assez sur le fonctionnement des systèmes ADM pour savoir s'ils sont plus justes que les humains ne le seraient seuls. En partie parce que les systèmes font des choix sur la base d'hypothèses sous-jacentes qui ne sont pas claires même pour les concepteurs des systèmes, il n'est pas nécessairement possible de déterminer quels algorithmes sont biaisés et lesquels ne le sont pas. Et même lorsque la réponse semble claire, comme dans les conclusions de ProPublica sur COMPAS, la vérité est parfois plus compliquée.
Les législateurs, les tribunaux et un public informé devraient décider de ce que nous voulons que les algorithmes priorisent.
Que devrions-nous faire pour mieux maîtriser les ADM ? Les sociétés démocratiques ont besoin de plus de surveillance sur ces systèmes qu'elles n'en ont actuellement. AlgorithmWatch, une organisation de défense des intérêts à but non lucratif basée à Berlin que j'ai cofondée avec un informaticien, un philosophe du droit et un collègue journaliste, vise à aider les gens à comprendre les effets de tels systèmes. Le fait que la plupart des procédures d'ADM soient des boîtes noires pour les personnes concernées n'est pas une loi de la nature. Ça doit finir, affirmons-nous dans notre manifeste . Pourtant, notre point de vue sur la question est différent de celui de nombreux critiques, car nous craignons que la technologie ne soit diabolisée à tort. Ce qui est important, c'est que les sociétés, et pas seulement les fabricants d'algorithmes, portent les jugements de valeur qui vont dans les ADM.
Mesures d'équité
COMPAS détermine ses cotes de risque à partir des réponses à un questionnaire qui explore les antécédents criminels d'un accusé et ses attitudes à l'égard du crime. Cela produit-il des résultats biaisés ?
Après l'enquête de ProPublica, Northpointe, la société qui a développé COMPAS, a contesté l'histoire, arguant que les journalistes avaient mal interprété les données. Il en a été de même pour trois chercheurs en justice pénale , dont un d'une organisation de réforme de la justice. Qui a raison, les journalistes ou les chercheurs ? Krishna Gummadi, responsable du groupe de recherche sur les systèmes en réseau à l'Institut Max Planck pour les systèmes logiciels à Sarrebruck, en Allemagne, offre une réponse surprenante : ils le sont tous.
Gummadi, qui a fait des recherches approfondies sur l'équité dans les algorithmes, affirme que les résultats de ProPublica et de Northpointe ne se contredisent pas. Ils diffèrent parce qu'ils utilisent des mesures d'équité différentes.
S'ils sont utilisés correctement, les algorithmes de justice pénale offrent la chance d'une génération, et peut-être de toute une vie, de réformer la détermination de la peine et de dénouer l'incarcération de masse de manière scientifique.
Imaginez que vous concevez un système pour prédire quels criminels vont récidiver. Une option consiste à optimiser pour les vrais positifs, ce qui signifie que vous identifierez autant de personnes que possible qui présentent un risque élevé de commettre un autre crime. Un problème avec cette approche est qu'elle tend à augmenter le nombre de faux positifs : des personnes qui seront injustement classées comme des récidivistes probables. Le cadran peut être ajusté pour fournir le moins de faux positifs possible, mais cela a tendance à créer plus de faux négatifs : des récidivistes probables qui passent à travers et reçoivent un traitement plus indulgent que justifié.
Augmenter l'incidence des vrais positifs ou réduire les faux positifs sont deux façons d'améliorer une mesure statistique connue sous le nom de valeur prédictive positive, ou VPP. C'est le pourcentage de tous les positifs qui sont vrais.
Comme le souligne Gummadi, ProPublica a comparé les taux de faux positifs et les taux de faux négatifs pour les Noirs et les Blancs et les a trouvés biaisés en faveur des Blancs. Northpointe, en revanche, a comparé les PPV de différentes races et les a trouvés similaires. En partie parce que les taux de récidive des Noirs et des Blancs diffèrent en fait, il est mathématiquement probable que les valeurs prédictives positives pour les personnes de chaque groupe seront similaires, contrairement aux taux de faux négatifs.
Une chose que cela nous dit, c'est que la société au sens large - les législateurs, les tribunaux, un public informé - devrait décider de ce que nous voulons que ces algorithmes priorisent. Sommes-nous avant tout intéressés à prendre le moins de chances possible que quelqu'un renonce à la libération sous caution ou récidive? Quels compromis devrions-nous faire pour garantir la justice et réduire les énormes coûts sociaux de l'emprisonnement ?
Quelle que soit la manière dont les cadrans sont réglés, tout algorithme aura des biais - après tout, il s'agit de faire une prédiction basée sur des statistiques généralisées, et non sur la situation individuelle de quelqu'un. Mais nous pouvons toujours utiliser de tels systèmes pour guider des décisions plus sages et plus justes que celles que les humains ont tendance à prendre par eux-mêmes.
La controverse entourant les pratiques d'arrêt et de fouille du département de police de New York aide à montrer pourquoi. Entre janvier 2004 et juin 2012, la police de New York a effectué 4,4 millions d'interpellations dans le cadre d'un programme qui permettait aux agents de détenir temporairement, d'interroger et de fouiller des personnes dans la rue à la recherche d'armes et d'autres objets de contrebande. Mais en fait, 88 % des 4,4 millions d'interpellations n'ont donné lieu à aucune autre action, ce qui signifie qu'une grande majorité de ceux qui ont été interpellés ne faisaient rien de mal. New York Times a déclaré dans un éditorial dénonçant la pratique. De plus: dans environ 83% des cas, la personne arrêtée était noire ou hispanique, même si les deux groupes représentaient un peu plus de la moitié de la population. Cet exemple de préjugé humain, éclairé par l'analyse des données, rappelle que les systèmes ADM pourraient jouer un rôle positif dans la justice pénale. Utilisés correctement, ils offrent la chance d'une génération, et peut-être de toute une vie, de réformer les peines et de dénouer l'incarcération de masse de manière scientifique, selon Anthony Flores, Christopher Lowenkamp et Kristin Bechtel, trois chercheurs qui ont trouvé des failles dans la méthodologie que ProPublica utilisé pour analyser COMPAS. Les auteurs craignent que cette opportunité ne s'éloigne à cause de la désinformation et de l'incompréhension de la technologie.
Mais si nous acceptons que les algorithmes puissent rendre la vie plus juste s'ils sont bien conçus, comment pouvons-nous savoir s'ils sont ainsi conçus ?
Les sociétés démocratiques devraient travailler maintenant pour déterminer le degré de transparence qu'elles attendent des systèmes ADM. Avons-nous besoin de nouvelles réglementations du logiciel pour s'assurer qu'il peut être correctement inspecté ? Les législateurs, les juges et le public devraient avoir leur mot à dire sur les mesures d'équité qui seront priorisées par les algorithmes. Mais si les algorithmes ne reflètent pas réellement ces jugements de valeur, qui en sera tenu responsable ?
Telles sont les questions difficiles auxquelles nous devons répondre si nous espérons bénéficier des avancées de la technologie algorithmique.
Matthias Spielkamp est directeur exécutif d'AlgorithmWatch, un groupe de défense qui analyse les risques et les opportunités de la prise de décision automatisée.