Le biais n'est pas le seul problème avec les cotes de crédit - et non, l'IA ne peut pas aider

Mme Tech | Cindy Tang/Unsplash

Nous savions déjà que des données biaisées et des algorithmes biaisés faussent la prise de décision automatisée d'une manière qui désavantage les groupes à faible revenu et minoritaires. Par example, logiciels utilisés par les banques prédire si quelqu'un remboursera ou non la dette de carte de crédit favorise généralement les candidats blancs les plus riches. De nombreux chercheurs et une multitude de start-up tentent de résoudre le problème en rendre ces algorithmes plus équitables .

Histoire connexe

La guerre à venir contre les algorithmes cachés qui piègent les gens dans la pauvreté Un groupe croissant d'avocats découvre, navigue et combat les systèmes automatisés qui privent les pauvres de logements, d'emplois et de services de base.

Mais dans le la plus grande étude jamais réalisée sur les données hypothécaires réelles , les économistes Laura Blattner de l'Université de Stanford et Scott Nelson de l'Université de Chicago montrent que les différences d'approbation des prêts hypothécaires entre les groupes minoritaires et majoritaires ne sont pas seulement dues à des biais, mais au fait que les groupes minoritaires et à faible revenu disposent de moins de données dans leur crédit histoires.

Cela signifie que lorsque ces données sont utilisées pour calculer un pointage de crédit et que ce pointage de crédit est utilisé pour faire une prédiction sur le défaut de paiement, cette prédiction sera moins précise. C'est ce manque de précision qui conduit à l'inégalité, pas seulement aux biais.

Les implications sont flagrantes : des algorithmes plus justes ne résoudront pas le problème.

C'est un résultat vraiment frappant, déclare Ashesh Rambachan, qui étudie l'apprentissage automatique et l'économie à l'Université de Harvard, mais n'a pas participé à l'étude. Les biais et les dossiers de crédit inégaux sont des problèmes brûlants depuis un certain temps, mais il s'agit de la première expérience à grande échelle qui examine les demandes de prêt de millions de personnes réelles.

Les cotes de crédit regroupent une gamme de données socio-économiques, telles que les antécédents professionnels, les dossiers financiers et les habitudes d'achat, en un seul chiffre. En plus de décider des demandes de prêt, les cotes de crédit sont maintenant utilisées pour prendre de nombreuses décisions qui changent la vie, y compris des décisions concernant l'assurance, l'embauche et le logement.

Pour comprendre pourquoi les groupes minoritaires et majoritaires étaient traités différemment par les prêteurs hypothécaires, Blattner et Nelson ont collecté des rapports de solvabilité pour 50 millions de consommateurs américains anonymisés et ont lié chacun de ces consommateurs à leurs détails socio-économiques tirés d'un ensemble de données marketing, leurs actes de propriété et transactions hypothécaires et des données sur les prêteurs hypothécaires qui leur ont accordé des prêts.

L'une des raisons pour lesquelles il s'agit de la première étude de ce type est que ces ensembles de données sont souvent exclusifs et ne sont pas accessibles au public pour les chercheurs. Nous sommes allés à un bureau de crédit et avons dû leur payer beaucoup d'argent pour faire cela, dit Blattner.

Données bruyantes

Ils ont ensuite expérimenté différents algorithmes prédictifs pour montrer que les cotes de crédit n'étaient pas simplement biaisées mais bruyantes, un terme statistique désignant des données qui ne peuvent pas être utilisées pour faire des prédictions précises. Prenez un candidat minoritaire avec un score de crédit de 620. Dans un système biaisé, nous pourrions nous attendre à ce que ce score surestime toujours le risque de ce candidat et qu'un score plus précis serait de 625, par exemple. En théorie, ce biais pourrait alors être pris en compte via une forme d'action positive algorithmique, comme l'abaissement du seuil d'approbation des candidatures minoritaires.

Histoire connexe

Podcast : L'IA peut-elle réparer votre crédit ?

Les effets d'entraînement de l'automatisation de la notation du crédit s'étendent au-delà des finances

Mais Blattner et Nelson montrent que l'ajustement du biais n'a eu aucun effet. Ils ont constaté que le score de 620 d'un candidat minoritaire était en effet un mauvais indicateur de sa solvabilité, mais que c'était parce que l'erreur pouvait aller dans les deux sens : un 620 pourrait être 625, ou il pourrait être 615.

Cette différence peut sembler subtile, mais elle compte. Étant donné que l'inexactitude provient du bruit dans les données plutôt que d'un biais dans la manière dont les données sont utilisées, elle ne peut pas être corrigée en créant de meilleurs algorithmes.

C'est un cycle qui se perpétue, dit Blattner. Nous accordons des prêts aux mauvaises personnes et une partie de la population n'a jamais la chance d'accumuler les données nécessaires pour leur accorder un prêt à l'avenir.

Blattner et Nelson ont alors tenté de mesurer l'ampleur du problème. Ils ont construit leur propre simulation de l'outil de prédiction d'un prêteur hypothécaire et ont estimé ce qui se serait passé si les candidats limites qui avaient été acceptés ou rejetés en raison de scores inexacts avaient vu leurs décisions annulées. Pour ce faire, ils ont utilisé diverses techniques, telles que la comparaison des candidats rejetés avec des candidats similaires qui avaient été acceptés, ou l'examen d'autres lignes de crédit que les candidats rejetés avaient reçues, comme les prêts automobiles.

En rassemblant tout cela, ils ont intégré ces décisions de prêt hypothétiques précises dans leur simulation et ont de nouveau mesuré la différence entre les groupes. Ils ont constaté que lorsque les décisions concernant les candidats issus de minorités et à faible revenu étaient supposées être aussi précises que celles concernant les candidats blancs plus riches, la disparité entre les groupes diminuait de 50%. Pour les candidats minoritaires, près de la moitié de ce gain provenait de la suppression des erreurs où le candidat aurait dû être approuvé mais ne l'a pas été. Les candidats à faible revenu ont vu un gain plus faible car il a été compensé par la suppression des erreurs qui allaient dans l'autre sens : les candidats qui auraient dû être rejetés mais qui ne l'ont pas été.

Blattner souligne que la correction de cette inexactitude profiterait aux prêteurs ainsi qu'aux demandeurs mal desservis. L'approche économique nous permet de quantifier les coûts des algorithmes bruyants de manière significative, dit-elle. Nous pouvons estimer combien de mauvaise allocation de crédit se produit à cause de cela.

Redresser les torts

Mais résoudre le problème ne sera pas facile. Il existe de nombreuses raisons pour lesquelles les groupes minoritaires ont des données de crédit bruyantes, explique Rashida Richardson, avocate et chercheuse qui étudie la technologie et la race à la Northeastern University. Il y a des conséquences sociales aggravées lorsque certaines communautés peuvent ne pas rechercher le crédit traditionnel en raison de la méfiance à l'égard des institutions bancaires, dit-elle. Toute solution devra faire face à la des causes sous-jacentes . Inverser des générations de préjudices nécessitera une myriade de solutions, y compris de nouvelles réglementations bancaires et des investissements dans les communautés minoritaires : les solutions ne sont pas simples car elles doivent s'attaquer à tant de mauvaises politiques et pratiques différentes.

Histoire connexe

Les algorithmes de police prédictive sont racistes. Ils doivent être démontés. Le manque de transparence et les données de formation biaisées signifient que ces outils ne sont pas adaptés à leur objectif. Si nous ne pouvons pas les réparer, nous devrions les abandonner.

Une option à court terme pourrait être que le gouvernement pousse simplement les prêteurs à accepter le risque d'accorder des prêts aux candidats minoritaires qui sont rejetés par leurs algorithmes. Cela permettrait aux prêteurs de commencer à collecter des données précises sur ces groupes pour la première fois, ce qui profiterait à la fois aux demandeurs et aux prêteurs à long terme.

Quelques petits prêteurs commencent déjà à le faire, dit Blattner : Si les données existantes ne vous disent pas grand-chose, sortez et faites un tas de prêts et renseignez-vous sur les gens. Rambachan et Richardson y voient également une première étape nécessaire. Mais Rambachan pense qu'il faudra un changement culturel pour les grands prêteurs. L'idée a beaucoup de sens pour la foule de la science des données, dit-il. Pourtant, lorsqu'il parle à ces équipes au sein des banques, ils admettent que ce n'est pas une opinion courante. Ils soupireront et diront qu'ils ne peuvent pas l'expliquer à l'équipe commerciale, dit-il. Et je ne sais pas quelle est la solution à cela.

Blattner pense également que les cotes de crédit devraient être complétées par d'autres données sur les candidats, telles que les transactions bancaires. Elle se félicite de l'annonce récente d'une poignée de banques, dont JPMorgan Chase, selon lesquelles elles commenceront à partager des données sur les comptes bancaires de leurs clients en tant que source supplémentaire d'informations pour les personnes ayant de mauvais antécédents de crédit. Mais des recherches supplémentaires seront nécessaires pour voir quelle différence cela fera dans la pratique. Et les chiens de garde devront s'assurer qu'un meilleur accès au crédit ne va pas de pair avec un comportement de prêt prédateur, dit Richardson.

Beaucoup de gens sont maintenant conscients des problèmes liés aux algorithmes biaisés, dit Blattner. Elle veut que les gens commencent aussi à parler d'algorithmes bruyants. L'accent mis sur le biais - et la conviction qu'il a une solution technique - signifie que les chercheurs peuvent négliger le problème plus large.

Richardson craint que les décideurs politiques ne soient persuadés que la technologie a les réponses alors que ce n'est pas le cas. Des données incomplètes sont troublantes car leur détection nécessitera que les chercheurs aient une compréhension assez nuancée des inégalités sociétales, dit-elle. Si nous voulons vivre dans une société équitable où chacun a le sentiment d'appartenir et est traité avec dignité et respect, nous devons commencer à être réalistes quant à la gravité et à l'étendue des problèmes auxquels nous sommes confrontés.

cacher