L'IA a exacerbé les préjugés raciaux dans le logement. Cela pourrait-il aider à l'éliminer à la place?

Une discussion sur la question de savoir si les machines peuvent jamais être plus justes que les humains. Par

• Charlton Mc Ilwain page d'archives

20 octobre 2020

Andréa Daquino

Notre prochain numéro de magazine est consacré aux problèmes à long terme. Peu de problèmes sont à plus long terme ou plus insolubles que l'inégalité raciale systémique de l'Amérique. Et une forme particulièrement enracinée est la discrimination en matière de logement.

Une longue histoire de politiques des banques, des compagnies d'assurance et des courtiers immobiliers a privé les personnes de couleur d'une chance équitable d'accéder à la propriété, a concentré la richesse et la propriété entre les mains des personnes et des communautés blanches et a perpétué la ségrégation de facto. Bien que ces politiques - avec des noms comme redlining, blockbusting, racial zoning, restrictive covenants, et racial Steering - ne soient plus légales, leurs conséquences persistent, et elles sont parfois encore pratiquées secrètement ou par inadvertance.

Cette histoire faisait partie de notre numéro de novembre 2020

• Voir la suite du problème
• S'abonner

La technologie a dans certains cas exacerbé les préjugés raciaux systémiques de l'Amérique. La reconnaissance faciale basée sur des algorithmes, la police prédictive et les décisions de condamnation et de libération sous caution, par exemple, se sont avérées produire systématiquement de moins bons résultats pour les Noirs. Dans le domaine du logement également, des recherches récentes de l'Université de Californie à Berkeley ont montré qu'un système de prêt hypothécaire basé sur l'IA imposait aux emprunteurs noirs et hispaniques des taux plus élevés que les Blancs pour les mêmes prêts.

La technologie pourrait-elle plutôt être utilisée pour aider à atténuer le biais dans le logement ? Nous avons réuni des experts pour discuter des possibilités. Ils sont:

Lisa Riz

Président et chef de la direction de la National Fair Housing Alliance, le plus grand consortium d'organisations vouées à mettre fin à la discrimination en matière de logement.

Bobby Bartlet

Professeur de droit à l'UC Berkeley qui a dirigé la recherche fournissant certaines des premières preuves à grande échelle de la façon dont l'intelligence artificielle crée une discrimination dans les prêts hypothécaires.

Charlton Mc Ilwain

Professeur de médias, de culture et de communication à NYU et auteur de Black Software : Internet et justice raciale, de l'Afronet à Black Lives Matter .

---

Cette discussion a été éditée et condensée pour plus de clarté.

Mc Ilwain : Lorsque j'ai témoigné devant le Congrès en décembre dernier sur l'impact de l'automatisation et de l'IA dans le secteur des services financiers, j'ai cité une étude récente qui a révélé que, contrairement aux agents de crédit humains, les systèmes automatisés de prêt hypothécaire approuvaient équitablement les prêts immobiliers, sans discrimination fondée sur la race. Cependant, les systèmes automatisés facturent toujours aux emprunteurs noirs et hispaniques des prix nettement plus élevés pour ces prêts.

Cela me rend sceptique quant au fait que l'IA peut ou fera mieux que les humains. Bobby, c'était ton bureau. Avez-vous tiré les mêmes conclusions ?

Bartlett : Nous avions accès à un ensemble de données qui nous permettait d'identifier le prêteur officiel et si ce prêteur utilisait un système totalement automatisé, sans aucune intervention humaine, du moins en termes d'approbation et de souscription. Nous disposions d'informations sur la race et l'origine ethnique de l'emprunteur enregistré et avons pu déterminer si la tarification des prêts approuvés différait ou non selon la race. En fait, il l'a fait, d'environ 800 millions de dollars par an.

Pourquoi se fait-il que ces algorithmes, qui ne tiennent pas compte de la race ou de l'ethnie de l'emprunteur, discriminent de cette manière ? Notre hypothèse de travail est que les algorithmes essaient souvent simplement de maximiser le prix. Vraisemblablement, celui qui conçoit l'algorithme n'est pas conscient de la conséquence raciale de cette focalisation sur la rentabilité. Mais ils doivent comprendre qu'il y a cette dynamique raciale, que les variables proxy qu'ils utilisent - selon toute vraisemblance, c'est là que se trouve la discrimination. Dans un certain sens, il y a effectivement une ligne rouge du type le plus rouge qui traverse le code. Cela ressemble à ce qui se passe sur le marché hypothécaire en général. Nous savons que les courtiers proposeront des prix plus élevés aux emprunteurs minoritaires, sachant que certains le refuseront, mais d'autres seront plus susceptibles de l'accepter pour une multitude de raisons.

Mc Ilwain : J'ai une théorie selon laquelle l'une des raisons pour lesquelles nous nous retrouvons avec des systèmes biaisés - même lorsqu'ils ont été conçus pour être moins discriminatoires - est que les personnes qui les conçoivent ne comprennent pas vraiment la complexité sous-jacente du problème. Il me semble qu'il y a une certaine naïveté à penser qu'un système serait exempt de préjugés simplement parce qu'il est aveugle à la race.

Riz: Vous savez, Charlton, nous avions la même perspective que vous dans les années 90 et au début des années 2000. Nous avons interdit aux institutions financières d'utiliser des systèmes de notation d'assurance, de tarification basée sur le risque ou de notation de crédit, à cette seule fin. Nous avons réalisé que les systèmes eux-mêmes manifestaient des préjugés. Mais ensuite, nous avons commencé à dire que vous ne pouvez les utiliser que s'ils aident les gens, élargissent l'accès ou génèrent des prix plus justes.

Mc Ilwain : Les personnes qui conçoivent ces systèmes se trompent-elles parce qu'elles ne comprennent vraiment pas fondamentalement le problème sous-jacent de la discrimination en matière de logement ? Et votre source d'optimisme vient-elle du fait que vous et des organisations comme la vôtre comprenez cette complexité ?

Riz: Nous sommes une organisation de défense des droits civiques. C'est ce que nous sommes. Nous faisons tout notre travail dans une optique d'équité raciale. Nous sommes une organisation antiraciste.

Au cours de la résolution des cas de redlining et de reverse redlining, nous avons encouragé les institutions financières et les agences d'assurance à repenser leurs modèles commerciaux, à repenser leur marketing, à repenser leurs directives de souscription, à repenser les produits qu'ils développaient. Et je pense que la raison pour laquelle nous avons pu le faire est que nous sommes une agence des droits civiques.

Histoire connexe

Bien sûr, la technologie perpétue le racisme. Il a été conçu ainsi. Les Noirs américains ont vu la technologie utilisée pour les cibler encore et encore. L'arrêter signifie regarder le problème différemment.

Nous commençons par aider les entreprises à comprendre l'histoire du logement et des finances aux États-Unis et comment toutes nos politiques en matière de logement et de finances ont été imposées à travers une lentille raciale. Vous ne pouvez pas commencer à zéro en termes de développement d'un système et penser que ce système sera juste. Vous devez le développer d'une manière qui utilise des technologies et des méthodologies antiracistes.

Mc Ilwain : Pouvons-nous encore, de manière réaliste, faire une brèche dans ce problème en utilisant les outils technologiques à notre disposition ? Si oui, par où commencer ?

Riz: Oui, une fois que la crise financière de 2008 s'est un peu terminée et que nous avons levé les yeux, c'était comme si la technologie nous avait dépassés. Et donc nous avons décidé, peut-être que si nous ne pouvons pas le battre, peut-être que nous nous joindrons. Nous avons donc passé beaucoup de temps à essayer d'apprendre comment fonctionnent les systèmes basés sur des algorithmes, comment fonctionne l'IA, et nous en sommes arrivés au point où nous pensons que nous pouvons maintenant utiliser la technologie pour aider à réduire les résultats discriminatoires.

Si nous comprenons comment ces systèmes manifestent des biais, nous pouvons entrer dans les entrailles, espérons-le, puis débiaiser ces systèmes et construire de nouveaux systèmes qui infusent les techniques de débiaisage en leur sein.

Nous n'avons vraiment pas d'organismes de réglementation qui comprennent comment mener un examen d'un établissement de crédit pour découvrir si son système est biaisé ou non.

Mais quand vous pensez à quel point nous sommes en retard sur la courbe, c'est vraiment intimidant de penser à tout le travail qui doit être fait, à toutes les recherches qui doivent être faites. Nous avons besoin de plus de Bobbys du monde. Mais aussi toute l'éducation qui doit être faite pour que les data scientists comprennent ces enjeux.

Riz: Nous essayons d'amener les régulateurs à comprendre comment les systèmes manifestent des biais. Vous savez, nous n'avons vraiment pas un corps d'examinateurs dans les agences de réglementation qui comprennent comment mener un examen d'un établissement de crédit pour découvrir si oui ou non son système - son système de souscription automatisé, son système de marketing, son système de service - est biaisé. Mais les institutions elles-mêmes développent leurs propres politiques organisationnelles qui peuvent aider.

L'autre chose que nous devons faire, c'est vraiment accroître la diversité dans l'espace technologique. Nous devons amener plus d'étudiants de divers horizons dans les domaines STEM et dans l'espace technologique pour aider à mettre en œuvre le changement. Je peux penser à un certain nombre d'exemples où le simple fait d'avoir une personne de couleur dans l'équipe a fait une profonde différence en termes d'augmentation de l'équité de la technologie qui était en cours de développement.

Mc Ilwain : Quel rôle joue la politique ? J'ai l'impression que de la même manière que les organisations de défense des droits civiques étaient en retard sur l'industrie en termes de compréhension du fonctionnement des systèmes algorithmiques, bon nombre de nos décideurs politiques sont en retard. Je ne sais pas quelle confiance je placerais dans leur capacité à servir de manière réaliste de contrôle efficace du système, ou sur les nouveaux systèmes d'IA qui font rapidement leur chemin dans l'arène hypothécaire.

Mc Ilwain : Je reste sceptique. Pour l'instant, pour moi, l'ampleur du problème dépasse encore de loin notre volonté humaine collective et les capacités de notre technologie. Bobby, pensez-vous que la technologie peut jamais aider
ce problème?

Bartlett : Je dois répondre à ça avec l'avocat Ça dépend. Ce que nous voyons, du moins dans le contexte des prêts, c'est que vous pouvez éliminer la source de biais et de discrimination que vous avez observée avec les interactions en face à face grâce à une sorte de prise de décision algorithmique. Le revers de la médaille est que s'il est mal mis en œuvre, vous pourriez vous retrouver avec un appareil de prise de décision aussi mauvais qu'un régime de redlining. Cela dépend donc vraiment de l'exécution, du type de technologie et du soin avec lequel elle est déployée. Mais un régime de prêt équitable opérationnalisé par une prise de décision automatisée ? Je pense que c'est une proposition vraiment difficile. Et je pense que le jury est toujours absent.

cacher