La guerre à venir contre les algorithmes cachés qui piègent les gens dans la pauvreté

Daniel Zender

Miriam n'avait que 21 ans lorsqu'elle a rencontré Nick. Elle était photographe, fraîchement sortie de l'université, serveuse. Il avait 16 ans son aîné et était propriétaire d'une entreprise locale qui avait travaillé dans la finance. Il était charmant et charismatique ; il l'a emmenée à des rendez-vous chics et a tout payé. Elle tomba rapidement dans son orbite.

Tout a commencé avec une seule carte de crédit. A l'époque, c'était la seule qu'elle possédait. Nick le maximiserait avec 5 000 $ d'achats commerciaux et le rembourserait rapidement le lendemain. Miriam, qui m'a demandé de ne pas utiliser leurs vrais noms de peur d'interférer avec leur procédure de divorce en cours, a découvert que cela augmentait sa cote de crédit. Ayant grandi avec un père célibataire dans un foyer à faible revenu, elle a fait confiance au savoir-faire de Nick plutôt qu'au sien. Il a volontiers encouragé la dynamique, lui disant qu'elle ne comprenait pas la finance. Elle lui a ouvert plus de cartes de crédit sous son nom.

Les ennuis ont commencé trois ans plus tard. Nick lui a demandé de quitter son emploi pour l'aider dans son entreprise. Elle l'a fait. Il lui a dit d'aller à l'école doctorale et de ne pas s'inquiéter d'aggraver sa dette étudiante existante. Elle l'a fait. Il a promis de s'occuper de tout, et elle l'a cru. Peu de temps après, il a cessé de régler les soldes de sa carte de crédit. Son score a commencé à cratère.

Pourtant, Miriam est restée avec lui. Ils se sont mariés. Ils ont eu trois enfants. Puis un jour, le FBI est venu chez eux et l'a arrêté. En cour fédérale, le juge l'a reconnu coupable de près de 250 000 $ de fraude électronique. Miriam a découvert toute l'étendue des dizaines de milliers de dollars de dettes qu'il avait accumulées en son nom. Le jour où il est allé en prison, j'avais 250 $ en espèces, une maison en forclusion, une voiture en reprise de possession, trois enfants, dit-elle. Je suis passé en un mois d'avoir une nounou et de vivre dans une belle maison et tout à une pauvreté vraiment abjecte.

Miriam est une survivante de ce qu'on appelle une dette forcée, une forme d'abus généralement perpétrée par un partenaire intime ou un membre de la famille. Alors que l'abus économique est un problème de longue date, la banque numérique a facilité l'ouverture de comptes et la souscription de prêts au nom d'une victime, déclare Carla Sanchez-Adams, avocate à Texas RioGrande Legal Aid. À l'ère des algorithmes automatisés de notation du crédit, les répercussions peuvent également être bien plus dévastatrices.

Les cotes de crédit sont utilisées depuis des décennies pour évaluer la solvabilité des consommateurs, mais leur portée est bien plus grande maintenant qu'elles sont alimentées par des algorithmes : non seulement elles prennent en compte beaucoup plus de données, à la fois en volume et en type, mais elles affectent de plus en plus si vous pouvez acheter un voiture, louer un appartement ou trouver un emploi à temps plein. Leur influence globale signifie que si votre score est ruiné, il peut être presque impossible de le récupérer. Pire encore, les algorithmes appartiennent à des entreprises privées qui ne divulguent pas comment elles prennent leurs décisions. Les victimes peuvent être envoyées dans une spirale descendante qui se termine parfois par l'itinérance ou le retour à leur agresseur.

Les algorithmes de notation de crédit ne sont pas les seuls à affecter le bien-être économique des personnes et l'accès aux services de base. Des algorithmes décident désormais quels enfants sont placés en famille d'accueil, quels patients reçoivent des soins médicaux, quelles familles ont accès à un logement stable. Ceux d'entre nous qui ont des moyens peuvent passer leur vie sans se rendre compte de tout cela. Mais pour les personnes à faible revenu, la croissance rapide et l'adoption de systèmes de prise de décision automatisés ont créé un réseau caché de pièges imbriqués.

Heureusement, un groupe croissant d'avocats civils commencent à s'organiser autour de cette question. Empruntant un livre de jeu au recul du monde de la défense pénale contre les algorithmes d'évaluation des risques, ils cherchent à se renseigner sur ces systèmes, à créer une communauté et à développer des stratégies de litige. Fondamentalement, chaque avocat civil commence à s'occuper de ce genre de choses, car tous nos clients sont d'une manière ou d'une autre touchés par ces systèmes, explique Michele Gilman, professeur de droit clinique à l'Université de Baltimore. Il faut se réveiller, s'entraîner. Si nous voulons être de très bons avocats holistiques, nous devons en être conscients.

Est-ce que je vais contre-interroger un algorithme ?

Gilman pratique le droit à Baltimore depuis 20 ans. Dans son travail d'avocate en droit civil et d'avocate en droit de la pauvreté, ses dossiers se sont toujours résumés aux mêmes choses : représenter des personnes qui ont perdu l'accès aux besoins fondamentaux, comme le logement, la nourriture, l'éducation, le travail ou les soins de santé. Parfois, cela signifie affronter une agence gouvernementale. D'autres fois, c'est avec une agence d'évaluation du crédit ou un propriétaire. De plus en plus, la lutte pour l'éligibilité d'un client implique désormais une sorte d'algorithme.

Cela se produit dans tous les domaines pour nos clients, dit-elle. Ils sont empêtrés dans tant d'algorithmes différents qui les empêchent d'accéder aux services de base. Et les clients peuvent ne pas en être conscients, car bon nombre de ces systèmes sont invisibles.

Pour les personnes à faible revenu, une difficulté économique temporaire peut entraîner un cercle vicieux qui se termine parfois par la faillite ou l'itinérance.

JON TYSON / UNSPLASH

Elle ne se souvient pas exactement quand elle s'est rendu compte que certaines décisions d'éligibilité étaient prises par des algorithmes. Mais lorsque cette transition a commencé à se produire, c'était rarement évident. Une fois, elle représentait une cliente âgée et handicapée qui avait été inexplicablement coupée de son assistance médicale à domicile financée par Medicaid. Nous ne pouvions pas savoir pourquoi, se souvient Gilman. Elle devenait de plus en plus malade, et normalement si vous devenez plus malade, vous obtenez plus d'heures, pas moins.

Ce n'est que lorsqu'ils se sont retrouvés dans la salle d'audience au milieu d'une audience que le témoin représentant l'État a révélé que le gouvernement venait d'adopter un nouvel algorithme. Le témoin, une infirmière, n'a rien pu expliquer à ce sujet. Bien sûr que non - ils l'ont acheté dans le commerce, dit Gilman. Elle est infirmière, pas informaticienne. Elle n'a pas pu répondre aux facteurs qui entrent en jeu. Comment est-il pondéré ? Quels sont les résultats que vous recherchez ? Je suis donc là avec mon étudiant avocat, qui est dans ma clinique avec moi, et c'est comme, 'Oh, je vais contre-interroger un algorithme?'

Pour Kevin De Liban, avocat à Legal Aid of Arkansas, le changement était tout aussi insidieux. En 2014, son État a également institué un nouveau système de distribution de l'aide à domicile financée par Medicaid, excluant toute une série de personnes qui étaient auparavant éligibles. À l'époque, lui et ses collègues ne pouvaient pas identifier la racine du problème. Ils savaient seulement que quelque chose était différent. Nous pourrions reconnaître qu'il y a eu un changement dans les systèmes d'évaluation d'un questionnaire papier de 20 questions à un questionnaire électronique de 283 questions, dit-il.

Ce n'est que deux ans plus tard, lorsqu'une erreur dans l'algorithme l'a à nouveau placé sous contrôle judiciaire, que De Liban est finalement allé au fond des choses. Il s'est rendu compte que les infirmières disaient aux patients : Eh bien, c'est l'ordinateur qui l'a fait, ce n'est pas moi. C'est ce qui nous a avertis, dit-il. Si j'avais su ce que je savais en 2016, j'aurais probablement fait un meilleur travail de plaidoyer en 2014, ajoute-t-il.

Une personne parcourt autant de systèmes au quotidien

Gilman est depuis devenu beaucoup plus avisé. De son point de vue représentant des clients aux prises avec une gamme de problèmes, elle a observé la montée et la collision de deux réseaux algorithmiques. Le premier consiste en des algorithmes d'évaluation du crédit, comme ceux qui ont piégé Miriam, qui affectent l'accès aux biens et services privés comme les voitures, les maisons et l'emploi. Le second englobe les algorithmes adoptés par les agences gouvernementales, qui affectent l'accès aux prestations publiques telles que les soins de santé, le chômage et les services de soutien aux enfants.

Du côté des rapports de solvabilité, la croissance des algorithmes a été stimulée par la prolifération des données, qui sont plus faciles que jamais à collecter et à partager. Les rapports de solvabilité ne sont pas nouveaux, mais de nos jours, leur empreinte est beaucoup plus étendue. Les agences de renseignements sur les consommateurs, y compris les agences d'évaluation du crédit, les sociétés de sélection des locataires ou les services de vérification des chèques, collectent ces informations à partir d'un large éventail de sources : archives publiques, médias sociaux, navigation sur le Web, activités bancaires, utilisation d'applications, etc. Les algorithmes attribuent ensuite des scores de solvabilité aux personnes, qui figurent en grande partie dans les vérifications des antécédents effectuées par les prêteurs, les employeurs, les propriétaires et même les écoles.

Les agences gouvernementales, en revanche, sont amenées à adopter des algorithmes lorsqu'elles souhaitent moderniser leurs systèmes. La tendance à adopter des applications Web et des outils numériques a commencé au début des années 2000 et s'est poursuivie avec une évolution vers des systèmes automatisés et une IA davantage axés sur les données. Il y a de bonnes raisons de demander ces changements. Pendant la pandémie, de nombreux systèmes d'indemnisation du chômage ont eu du mal à gérer le volume massif de nouvelles demandes, entraînant des retards importants. La modernisation de ces systèmes hérités promet des résultats plus rapides et plus fiables.

Mais le processus d'achat de logiciels est rarement transparent et manque donc de responsabilité. Les organismes publics achètent souvent des outils de prise de décision automatisés directement auprès de fournisseurs privés. Le résultat est que lorsque les systèmes tournent mal, les personnes concernées — et leurs avocats — sont laissées dans l'ignorance. Ils n'en font la publicité nulle part, explique Julia Simon-Mishel, avocate à Philadelphia Legal Assistance. Ce n'est souvent pas écrit dans des guides de politiques ou des manuels de politiques. Nous sommes désavantagés.

L'absence de vérification publique rend également les systèmes plus sujets aux erreurs. L'un des dysfonctionnements les plus flagrants s'est produit dans le Michigan en 2013. Après un gros effort pour automatiser le système d'indemnisation du chômage de l'État, l'algorithme signalé à tort plus de 34 000 personnes pour fraude . Cela a causé une perte massive d'avantages, dit Simon-Mishel. Il y a eu des faillites; il y a eu malheureusement des suicides. C'était tout un gâchis.

Gilman craint que les dettes et les expulsions liées aux coronavirus ne soient codifiées dans les cotes de crédit, ce qui rendrait en permanence plus difficile pour les gens d'obtenir des emplois, des appartements et des prêts.

SCOTT HEINS/GETTY IMAGES

Les personnes à faible revenu portent le poids de la transition vers les algorithmes. Ce sont les personnes les plus vulnérables aux difficultés économiques temporaires qui sont codifiées dans les rapports des consommateurs, et celles qui ont besoin et recherchent des avantages publics. Au fil des ans, Gilman a vu de plus en plus de cas où les clients risquent d'entrer dans un cercle vicieux. Une personne parcourt tellement de systèmes au quotidien, dit-elle. Je veux dire, nous le faisons tous. Mais les conséquences en sont bien plus dures pour les pauvres et les minorités.

Elle évoque un cas en cours dans sa clinique à titre d'exemple. Un membre de la famille a perdu son travail à cause de la pandémie et s'est vu refuser des allocations de chômage en raison d'une défaillance du système automatisé. La famille a alors pris du retard dans le paiement des loyers, ce qui a conduit leur propriétaire à les poursuivre en justice pour expulsion. Bien que l'expulsion ne soit pas légale en raison de le moratoire du CDC , le procès sera toujours enregistré dans les archives publiques. Ces dossiers pourraient ensuite alimenter les algorithmes de sélection des locataires, ce qui pourrait rendre plus difficile pour la famille de trouver un logement stable à l'avenir. Leur défaut de payer le loyer et les services publics pourrait également avoir une incidence sur leur pointage de crédit, ce qui a encore une fois des répercussions. S'ils essaient de mettre en place un service de téléphonie mobile ou de contracter un prêt ou d'acheter une voiture ou de postuler à un emploi, cela a juste ces effets d'entraînement en cascade, dit Gilman.

Chaque cas va se transformer en cas d'algorithme

En septembre, Gilman, qui est actuellement membre du corps professoral de l'institut de recherche Data and Society, a publié un rapport documenter tous les différents algorithmes que les avocats spécialisés en pauvreté pourraient rencontrer. Appelé Lois sur la pauvreté , il se veut un guide pour ses collègues sur le terrain. Divisé en domaines de pratique spécifiques tels que le droit de la consommation, le droit de la famille, le logement et les avantages publics, il explique comment traiter les problèmes soulevés par les algorithmes et autres technologies basées sur les données dans le cadre des lois existantes.

Si un client se voit refuser un appartement en raison d'une mauvaise cote de crédit, par exemple, le rapport recommande qu'un avocat vérifie d'abord si les données introduites dans le système de notation sont exactes. En vertu de la Fair Credit Reporting Act, les agences d'évaluation sont tenues de garantir la validité de leurs informations, mais cela ne se produit pas toujours. Contester toute réclamation défectueuse pourrait aider à restaurer le crédit du client et, par conséquent, l'accès au logement. Le rapport reconnaît cependant que les lois existantes ne peuvent pas aller plus loin. Il y a encore des lacunes réglementaires à combler, dit Gilman.

Gilman espère que le rapport sera un signal d'alarme. Beaucoup de ses collègues ne réalisent toujours pas que tout cela se passe et ils ne sont pas en mesure de poser les bonnes questions pour découvrir les algorithmes. Ceux qui sont conscients du problème sont dispersés aux États-Unis, apprenant, naviguant et combattant ces systèmes de manière isolée. Elle voit une opportunité de les connecter et de créer une communauté plus large de personnes qui peuvent s'entraider. Nous avons tous besoin de plus de formation, de plus de connaissances, pas seulement dans la loi, mais dans ces systèmes, dit-elle. En fin de compte, c'est comme si chaque cas allait se transformer en cas d'algorithme.

Histoire connexe

Se connecter pour se faire expulser : la crise des expulsions virtuelles aux États-Unis Des milliers de locataires sont chassés de chez eux par téléphone et appel vidéo.

À long terme, elle se tourne vers le monde juridique pénal pour s'inspirer. Les avocats pénalistes ont été en avance sur la courbe, dit-elle, en s'organisant en tant que communauté et en repoussant les algorithmes d'évaluation des risques qui déterminent la peine. Elle veut voir les avocats civils faire la même chose : créer un mouvement pour apporter plus d'examen public et de réglementation au réseau caché d'algorithmes auxquels leurs clients sont confrontés. Dans certains cas, il devrait probablement être simplement fermé car il n'y a aucun moyen de le rendre équitable, dit-elle.

Quant à Miriam, après la condamnation de Nick, elle est partie pour de bon. Elle a déménagé avec ses trois enfants dans un nouvel État et s'est liée à une organisation à but non lucratif qui soutient les survivants de la dette forcée et de la violence domestique. Grâce à eux, elle a suivi une série de cours qui lui ont appris à gérer ses finances. L'organisation l'a aidée à rejeter bon nombre de ses dettes forcées et à en savoir plus sur les algorithmes de crédit. Lorsqu'elle est allée acheter une voiture, sa cote de crédit a à peine atteint le minimum avec son père comme cosignataire. Depuis lors, ses paiements constants sur sa voiture et sa dette étudiante ont lentement reconstitué sa cote de crédit.

Miriam doit encore rester vigilante. Nick a son numéro de sécurité sociale et ils ne sont pas encore divorcés. Elle s'inquiète constamment qu'il puisse ouvrir plus de comptes, contracter plus de prêts en son nom. Pendant un certain temps, elle a vérifié quotidiennement son dossier de crédit pour détecter toute activité frauduleuse. Mais ces jours-ci, elle a aussi quelque chose à espérer. Son père, dans la soixantaine, veut prendre sa retraite et emménager. Les deux sont maintenant concentrés sur la préparation de l'achat d'une maison. Je suis assez excité à ce sujet. Mon objectif est d'atteindre 700 d'ici la fin de l'année, dit-elle à propos de son score, puis je serai définitivement prête à acheter une maison.

Je n'ai jamais vécu dans une maison que j'ai possédée, jamais, ajoute-t-elle. Lui et moi travaillons ensemble pour épargner pour une maison pour toujours.

cacher