Podcast : L'IA peut-elle réparer votre crédit ?

Mme Tech | Pexels

Les cotes de crédit sont utilisées depuis des décennies pour évaluer la solvabilité des consommateurs, mais leur portée est bien plus grande maintenant qu'elles sont alimentées par des algorithmes. Non seulement ils prennent en compte beaucoup plus de données, à la fois en volume et en type, mais ils affectent de plus en plus si vous pouvez acheter une voiture, louer un appartement ou obtenir un emploi à temps plein. Dans ce deuxième d'une série sur l'automatisation et nos portefeuilles, nous explorons à quel point les machines qui déterminent notre solvabilité affectent bien plus que nos vies financières.

Nous rencontrons:

• Chi Chi Wu, avocat au National Consumer Law Center
• Michele Gilman, professeur de droit à l'Université de Baltimore
• Mike de Vere, PDG de Zest AI

Crédits:

Cet épisode a été produit par Jennifer Strong, Karen Hao, Emma Cillekens et Anthony Green. Nous sommes édités par Michael Reilly.

Transcription:

[ID D'EXAMEN TECHNIQUE]

Myriam : Il n'était pas rare d'être enfermé hors de notre chambre d'hôtel ou d'avoir une clé qui ne fonctionnait pas et qu'il devait descendre à la réception et s'en occuper. Et il n'était pas rare de payer une facture dans un restaurant et de se faire restituer le chèque.

Jenifer : Nous allons appeler cette femme Miriam pour protéger sa vie privée. Elle avait 21 ans lorsqu'elle a rencontré l'homme qu'elle allait épouser... et... en quelques années... sa vie... et sa situation financière... sens dessus dessous.

Myriam : Mais il avait toujours une raison et c'était toujours la faute de quelqu'un d'autre.

Jenifer : Lorsqu'ils se sont rencontrés pour la première fois, Miram occupait deux emplois, elle écrivait des budgets sur un tableau blanc et elle faisait une brèche dans sa dette étudiante.

Son crédit était propre.

Myriam : Il m'a emmené dîner et il m'a emmené faire de petits voyages, vous savez, des offres de vacances de deux ou trois nuits à la plage ou, vous savez, des trucs locaux. Et il payait toujours pour tout et je pensais juste que c'était tellement amusant.

Myriam : Et puis il a commencé à demander s'il pouvait utiliser mes cartes de crédit vides pour l'une de ses entreprises. Et il facturait le montant total, environ 5 000, puis le remboursait en, je veux dire, deux ou trois jours à chaque fois. Et il a juste appelé ça flipper. C'est arrivé pendant un certain temps. Et pendant ce temps, c'est devenu une chose normale. Et donc j'ai en quelque sorte cessé d'y prêter attention.

Jenifer : Jusqu'au jour où... son monde entier s'effondre.

Myriam : J'avais, voyons un enfant de six ans, un enfant de deux ans et un enfant de quatre ans et c'est le matin d'Halloween et nous sommes dans la salle à manger en train de nous préparer à l'emmener à l'école maternelle. Et, euh, le FBI est venu et a arrêté mon mari et comme, c'est comme dans les films, vous savez, ils passent en revue toutes vos affaires et ils envoient un groupe d'hommes avec des bottes boueuses et des fusils dans votre maison.

Jenifer : Un juge fédéral a reconnu son mari coupable d'avoir commis une fraude électronique d'un quart de million de dollars... et Miriam a découvert des dizaines de milliers de dollars de dettes à son nom.

Il lui restait à recoller les morceaux... et les finances.

Myriam : Je veux dire que mon pointage de crédit était inférieur à 500 à un moment donné. Je veux dire, ça s'est juste effondré et ça prend beaucoup de temps à creuser, mais j'ai appris que c'est une sorte de petit à petit truc... sur lequel j'ai dû m'éduquer. Je veux dire, depuis toute cette débâcle ici, euh, je n'ai jamais rien raté. C'est comme... plus important pour moi que la plupart des choses... c'est de garder mon pointage de crédit en or.

Jenifer : Elle est une survivante de ce qu'on appelle la dette forcée. C'est une forme d'abus économique... généralement par un partenaire ou un membre de la famille.

Myriam : Il n'y a pas de blessures physiques. À droite. Et il y a, ce n'est pas quelque chose que vous pouvez appeler la police pour quelqu'un. Et, et aussi ce n'est généralement pas une situation hostile. C'est généralement joli, c'est une conversation calme où il se fraye un chemin et obtient ensuite ce qu'il veut.

Jenifer : L'abus économique n'est pas nouveau… mais comme le vol d'identité, c'est devenu beaucoup plus facile dans un monde numérique de formulaires en ligne et de décisions automatisées.

Myriam : Je sais ce qu'est un algorithme. Je comprends. Mais genre, qu'est-ce que tu veux dire par mon algorithme de crédit ?

Jenifer : Elle s'est remise sur pied… mais beaucoup ne le font pas… et alors que les algorithmes continuent de prendre le contrôle de notre système de crédit financier… certains affirment que cela pourrait empirer.

Gilman : Nous avons un système qui fait que les personnes qui éprouvent des difficultés hors de leur contrôle ressemblent à des mauvais payeurs, ce qui a un impact sur leur capacité à obtenir les opportunités nécessaires pour échapper à la pauvreté et gagner en stabilité économique.

Jenifer : Mais d'autres soutiennent que à droite les algorithmes de notation de crédit… pourraient être la porte d'entrée vers un avenir meilleur… où les préjugés peuvent être éradiqués… et le système rendu plus juste.

De Vere : Donc, de mon point de vue, le crédit est synonyme d'opportunité. C'est vraiment important en tant que société que nous fassions les choses correctement. Nous pensons qu'il peut y avoir une version 2.0 de cela, tirant parti de l'apprentissage automatique.

Jenifer : Je m'appelle Jennifer Strong et dans cette deuxième série sur l'automatisation et nos portefeuilles... nous explorons à quel point les machines qui déterminent notre solvabilité... en sont venues à affecter bien plus que nos vies financières.

[ID IMWT]

Jenifer : Auparavant, c'était quand quelqu'un voulait un prêt… ils nouaient des relations avec des personnes d'une banque ou d'une coopérative de crédit qui prenaient des décisions sur la sécurité ou le risque de cet investissement.

Comme cette scène du classique de Noël des années 1940, C'est une vie merveilleuse... où le personnage principal du film décide de prêter son propre argent aux clients pour maintenir son entreprise à flot... après une tentative de course sur la berge.

George: J'ai reçu 2 000 $ ! Voici 2000 $ qui nous tiendront jusqu'à la réouverture de la banque. D'accord, Tom, de combien as-tu besoin ?

À M: 242 $.

George: Ah Tom. Juste assez pour vous dépanner jusqu'à ce que la banque reop....

À M: Je vais prendre 242 $ !

George: Te voilà.

À M: Cela fermera mon compte.

George: Votre compte est toujours là. C'est un prêt !

Jenifer : De nos jours, les banques accordent des prêts sans jamais rencontrer bon nombre de leurs clients… Souvent, ces décisions sont automatisées… basées sur les données de votre dossier de crédit… qui suivent des éléments comme les soldes de cartes de crédit, les prêts automobiles, la dette étudiante… et comprend un mélange d'autres données personnelles…

Dans les années 1950, l'industrie cherchait un moyen de normaliser ces rapports… alors les scientifiques des données ont trouvé un moyen de prendre ces informations… de les faire passer par un modèle informatique et de recracher un nombre….

C'est votre pointage de crédit… et il n'y a pas que les banques qui l'utilisent pour prendre des décisions. Selon l'endroit où vous vivez, toutes sortes de groupes se réfèrent à ce numéro… y compris les propriétaires… les compagnies d'assurance… même les employeurs.

Wu : Les consommateurs ne sont pas les clients des bureaux de crédit. Nous le sommes, ou nos données sont la marchandise. Nous ne sommes pas les clients, nous sommes le poulet. Nous, nous sommes la chose qui se vend….

Jenifer : Chi Chi Wu est défenseur des droits des consommateurs et avocat au National Consumer Law Center.

Wu : Et donc, en conséquence, les incitations sur ce marché sont en quelque sorte foirées. Les incitatifs visent à répondre aux besoins des créanciers et des autres utilisateurs de rapports et non des consommateurs.

Jenifer : En ce qui concerne les rapports de crédit, il y a trois gardiens des clés…. Equifax, Experian et Transunion.

Mais ces rapports sont loin d'être exhaustifs… et ils peuvent être inexacts.

Wu : Il y a des niveaux inacceptables d'erreurs dans les rapports de solvabilité. Euh, maintenant les données de l'étude définitive de la commission fédérale du commerce ont révélé que, euh, un consommateur sur cinq avait une erreur vérifiée sur son rapport de crédit. Et une personne sur 20 ou 5 % avait une erreur si grave qu'elle se verrait refuser un crédit ou qu'elle devrait payer plus.

Jenifer : Les plaintes au gouvernement fédéral concernant ces rapports ont explosé ces dernières années… et l'année dernière pendant la pandémie ? Les plaintes concernant les erreurs ont doublé.

Celles-ci représentent plus de la moitié de toutes les plaintes déposées auprès du C-F-P-B - ou du Consumer Financial Protection Bureau du gouvernement américain.

Mais Wu pense que même sans aucune erreur, la façon dont les cotes de crédit sont utilisées… est un problème.

Wu : Donc, le problème, ce sont les employeurs... les propriétaires. Ils commencent à considérer les rapports de crédit et les cotes de crédit comme une sorte de reflet de la responsabilité sous-jacente d'une personne, de sa valeur en tant que personne, de son caractère. Et c'est complètement faux. Ce que nous voyons, c'est que les gens se retrouvent avec des informations négatives sur leur dossier de crédit parce qu'ils ont eu des difficultés financières parce que quelque chose de grave leur est arrivé. Donc les gens qui ont perdu leur emploi, qui sont tombés malades. Euh, ils ne peuvent pas payer leurs factures. Et cette pandémie en est la parfaite illustration et vous pouvez vraiment le voir dans les disparités raciales dans la notation du crédit. Les cotes de crédit pour les communautés noires sont bien inférieures à celles des communautés blanches et pour les communautés latines X, c'est quelque part entre les deux. Et n'a rien à voir avec le caractère. Cela a tout à voir avec l'inégalité.

Jenifer : Et alors que l'industrie remplace les anciennes méthodes d'évaluation du crédit par l'apprentissage automatique... elle craint que cela ne renforce le problème.

Wu : Et si rien n'est fait, s'il n'y a pas de contrôle intentionnel pour cela, si nous ne nous en méfions pas, la même chose arrivera à ces algorithmes qui sont arrivés à la notation de crédit, qui seront, ils entraveront le progrès des communautés historiquement marginalisées .

Jenifer : Elle s'inquiète particulièrement des entreprises qui promettent que leurs algorithmes de notation de crédit sont plus justes parce qu'ils utilisent des données alternatives... des données censées être moins sujettes aux préjugés raciaux...

Wu : Comme votre facture de téléphone portable, ou votre loyer, euh, jusqu'à la frange plus funky, le big data. Qu'y a-t-il dans votre flux de médias sociaux pour le premier type de données alternatives qui sont en quelque sorte conventionnelles ou financières, euh, mon mantra a été le diable dans les détails. Certaines de ces données semblent prometteuses. D'autres types de données peuvent être très risqués. C'est donc ma préoccupation concernant l'intelligence artificielle et l'apprentissage automatique. Non pas que nous ne devrions jamais les utiliser. Vous venez de, vous devez les utiliser, non? Vous devez les utiliser avec intentionnalité. Ils pourraient être la solution. Si on leur dit que l'un de vos objectifs est de minimiser les disparités pour les groupes marginalisés. Vous savez que votre objectif est d'être aussi prédictif ou plus prédictif avec moins de disparités.

Jenifer : Le Congrès envisage de restreindre l'utilisation des rapports de solvabilité par les employeurs... et certains États ont décidé de les interdire dans la fixation des taux d'assurance... ou l'accès à un logement abordable.

Mais la sensibilisation est aussi un problème.

Gilman : Il y a beaucoup de méfaits des rapports de solvabilité qui affectent les gens à leur insu. Et si vous ne savez pas que vous avez été blessé, vous ne pouvez pas obtenir d'aide ou de recours,

Jenifer : Michelle Gilman est professeure de droit clinique à l'Université de Baltimore…

Gilman : On ne m'a pas enseigné la prise de décision algorithmique à la faculté de droit et la plupart des étudiants en droit ne le sont toujours pas. Et ils peuvent être très intimidés à l'idée de devoir défier un algorithme.

Jenifer : Elle ne sait pas quand elle a remarqué pour la première fois que les algorithmes prenaient des décisions pour ses clients. Mais un cas se démarque... d'un client âgé et handicapé dont les heures de soins à domicile dans le cadre du programme Medicaid ont été considérablement réduites... même si le client devenait de plus en plus malade...

Gilman : Et ce n'est que lorsque nous étions devant un juge de droit administratif lors d'une audience contestée qu'il est devenu clair que la réduction des heures était due à un algorithme. Et pourtant, le témoin de l'État qui était infirmière, n'a rien pu expliquer sur l'algorithme. Elle n'arrêtait pas de répéter que c'était validé internationalement et statistiquement, mais elle ne pouvait pas nous dire comment cela fonctionnait, quelles données y étaient introduites, quels facteurs cela pesait, comment les facteurs étaient pesés. Et donc mon étudiant avocat me regarde et nous nous regardons en pensant, comment contre-examiner un algorithme ?

Jenifer : Elle a communiqué avec d'autres avocats à travers le pays qui vivaient la même chose. Et elle s'est rendu compte que le problème était bien plus grave...

Gilman : Et lorsqu'il s'agit d'algorithmes, ils opèrent dans presque tous les aspects de la vie de nos clients.

Jenifer : Et les algorithmes d'évaluation du crédit sont les plus répandus.

Son cabinet voit des victimes qui se retrouvent aux prises avec des dettes inattendues... parfois à cause de difficultés... d'autres fois à cause de factures médicales... ou... à cause d'un vol d'identité, où quelqu'un d'autre contracte des prêts en votre nom...

Mais l'impact est le même… il alourdit les cotes de crédit… et même lorsque la dette est effacée, cela peut avoir des effets à long terme.

Gilman : En tant que bon avocat spécialisé en droit des consommateurs, nous devons savoir que parfois, il ne suffit pas de résoudre le litige devant vous. Vous devez également sortir et nettoyer les effets d'entraînement de ces systèmes algorithmiques. Beaucoup d'avocats spécialisés dans la pauvreté partagent les mêmes préjugés que la population générale en ce qui concerne le fait de voir un résultat généré par ordinateur et de penser qu'il est neutre, objectif et correct. C'est en quelque sorte magique. C'est comme une calculatrice. Et aucune de ces hypothèses n'est vraie, mais nous avons besoin de la formation et des ressources pour comprendre comment ces systèmes fonctionnent. Et puis nous devons, en tant que communauté, développer de meilleurs outils afin que nous puissions interroger ces systèmes afin de pouvoir défier ces systèmes.

Jenifer : Après la pause... Nous examinons les efforts visant à automatiser l'équité dans les rapports de solvabilité.

[mid-roll]

De Vere : L'IA aide de deux manières : c'est plus de données et de meilleures mathématiques. Et donc, si vous pensez aux limites des mathématiques actuelles, vous savez, elles peuvent extraire quelques dizaines de variables. Et, euh, si j'essayais de vous décrire Jennifer, euh, avec deux douzaines de variables, vous savez, je pourrais probablement arriver à une assez bonne description, mais imaginez si je pouvais extraire plus de données et que je vous décrivais avec 300 à un millier de variables qui signalent et résolvent les résultats dans une prédiction beaucoup plus précise de votre solvabilité en tant qu'emprunteur.

Jenifer : Mike de Vere est le PDG de Zest AI. C'est l'une des nombreuses entreprises qui cherchent à ajouter de la transparence au processus d'approbation de crédit et de prêt… avec un logiciel conçu pour tenir compte de certains des problèmes actuels avec les cotes de crédit… y compris la race, le sexe et d'autres préjugés potentiels.

Pour comprendre comment cela fonctionne... nous avons d'abord besoin d'un peu de contexte. Aux États-Unis, il est illégal pour les prêteurs (autres que les prêteurs hypothécaires) de recueillir des données sur la race. Cela était initialement destiné à empêcher discrimination.

Mais la race d'une personne a une forte corrélation avec son nom... où elle vit... où elle est allée à l'école... et combien elle est payée. Cela signifie que... même sans données de race... un algorithme d'apprentissage automatique peut apprendre à discriminer de toute façon... simplement parce qu'il est intégré.

Ainsi, les prêteurs essaient de vérifier cela et d'éliminer la discrimination dans leurs modèles de prêt. Le seul problème? Pour vérifier comment vous vous débrouillez, vous devez en quelque sorte connaître la race des emprunteurs… sans cela… les prêteurs sont obligés de faire une supposition éclairée.

De Vere : L'approche acceptée est donc un acronyme BISG et utilise essentiellement deux variables, votre code postal et votre nom de famille. Et donc je m'appelle Mike De Vere et la partie de la Californie d'où je viens, avec un nom comme ça, je sortirais comme hispanique ou latin X, mais pourtant je suis irlandais.

Jenifer : En d'autres termes... la norme de l'industrie sur la façon de procéder est souvent totalement erronée. Son entreprise adopte donc une approche différente.

De Vere : Nous pensons qu'il peut y avoir une version 2.0 de cela, en tirant parti de l'apprentissage automatique.

Jenifer : Plutôt que de prédire la race sur seulement deux variables... il en utilise beaucoup plus... comme le prénom et le deuxième prénom de la personne... et d'autres données géographiques - comme son secteur de recensement... ou le district scolaire.

Il dit que lors d'un test récent en Floride, cette méthode a surpassé le modèle standard de 60 %.

De Vere : Pourquoi est-ce important? C'est important parce que c'est votre point de repère sur la façon dont vous vous débrouillez.

Jenifer : Ensuite, il adopte une approche appelée dépolarisation contradictoire.

L'idée de base est cette . L'entreprise commence avec un modèle d'apprentissage automatique qui est formé pour prédire le niveau de risque d'un emprunteur donné.

De Vere : Disons qu'il dispose de 300 à 500 points de données pour attribuer un risque à un individu.

Jenifer : Il a alors un seconde modèle d'apprentissage automatique qui essaie de deviner la race de cet emprunteur… (basé sur les résultats du premier).

Si les prédictions du deuxième modèle correspondent aux sorties du prédicteur de course... il dit que cela signifie que le système encode un biais... et doit être ajusté... en ajustant le poids de chacun des points de données.

De Vere : Donc, ces 300 à 500 signaux que nous pouvons régler ou atténuer s'ils deviennent un proxy pour la race. Et donc, ce que vous obtenez n'est pas seulement un modèle performant qui offre une bonne économie, mais en même temps, vous avez un modèle qui est presque daltonien dans ce processus.

Jenifer : Il dit que cela a conduit à des pratiques de prêt plus inclusives.

De Vere : Nous travaillons avec l'une des plus grandes coopératives de crédit des États-Unis en dehors de la Floride. Et donc, ce que cela signifie pour notre coopérative de crédit, c'est plus de oui pour un plus grand nombre de leurs membres. Mais ce qui les excitait vraiment, c'était une augmentation de 26% de l'approbation pour les femmes. Augmentation de 25 % de l'approbation des membres de couleur.

Jenifer : Bien que ce soit encourageant... Quiconque prétend avoir une solution pour des décennies de dommages causés par la prise de décision algorithmique... aura beaucoup à surmonter pour gagner la confiance des gens.

C'est une tâche rendue encore plus difficile lorsque le correctif proposé pour un mauvais algorithme... est un autre algorithme.

Le département du Trésor a récemment publié des directives - soulignant l'utilisation de la souscription de crédit par IA comme un risque clé pour le secteur bancaire… mettant en garde contre les coûts qui accompagnent leur nature opaque… et ajoutant une note que, entre guillemets, la direction de la banque ?… devrait être en mesure d'expliquer et défendre les décisions de souscription et de modélisation.

Ce qui… même avec les outils les plus transparents… semble toujours être un défi de taille.

Et sans réglementation moderne, il est également difficile de savoir qui surveille ces moniteurs de notation de crédit… et qui décide si des choses comme les données téléphoniques ou les informations des médias sociaux sont équitables ?

Surtout alors que les résultats finaux continuent d'être utilisés à des fins non créditrices… comme l'emploi ou l'assurance.

[CRÉDITS]

Cet épisode a été produit par moi, Karen Hao, Emma Cillekens et Anthony Green. Nous sommes édités par Michael Reilly.

Merci de m'avoir écouté, je suis Jennifer Strong.

[ID D'EXAMEN TECHNIQUE]

cacher