Il existe un moyen simple de rendre les prêts plus équitables pour les femmes. Le problème, c'est que c'est illégal.

Cotes de crédit superposées sur les symboles masculins et féminins. Conception Selman

Plus tôt cette semaine, le département des services financiers de New York a lancé une enquête sur Goldman Sachs pour discrimination potentielle en matière de crédit selon le sexe. L'enquête est intervenue après que l'entrepreneur Web David Heinemeier Hansson a tweeté que la carte Apple, que gère Goldman, lui avait donné une limite de crédit 20 fois supérieure à celle de sa femme, bien que les deux aient déposé des déclarations de revenus conjointes et qu'elle ait eu la meilleure cote de crédit.

le @AppleCard est un putain de programme sexiste. Ma femme et moi avons déposé des déclarations de revenus conjointes, vivons dans un État de propriété communautaire et sommes mariés depuis longtemps. Pourtant, l'algorithme de la boîte noire d'Apple pense que je mérite 20 fois la limite de crédit qu'elle mérite. Aucun appel ne fonctionne.

- DHP (@dhh) 7 novembre 2019

En réponse, Goldman a publié une déclaration disant qu'il ne tenait pas compte du sexe lors de la détermination de la solvabilité. La logique était probablement censée être une défense - comment pouvez-vous discriminer les femmes alors que vous ne savez même pas que quelqu'un est une femme ? Mais en fait, ne pas tenir compte du genre est précisément le problème. La recherche sur l'équité algorithmique a déjà montré que la prise en compte du genre aide en fait atténuer préjugé sexiste. Ironiquement, cependant, le faire aux États-Unis est illégal.

Aujourd'hui, les résultats préliminaires d'une étude en cours financée par la Fondation des Nations Unies et la Banque mondiale remettent une fois de plus en question l'équité des prêts non sexistes. L'étude a révélé que la création de modèles de solvabilité entièrement séparés pour les hommes et les femmes accordait plus de crédit à la majorité des femmes.

Alors : la loi doit-elle être mise à jour ?

Le sexisme d'être aveugle au genre

Si vous ne voulez pas discriminer selon le sexe, pourquoi ne pas simplement supprimer le sexe de l'équation ? C'était la prémisse de la Loi sur l'égalité des chances en matière de crédit (ECOA), promulguée aux États-Unis en 1974, à une époque où les femmes se voyaient régulièrement refuser le crédit. Il a rendu illégal pour tout créancier de discriminer sur la base du sexe ou de considérer le sexe lors de l'évaluation de la solvabilité. (En 1976, il a été mis à jour pour interdire la discrimination fondée sur la race, l'origine nationale et d'autres caractéristiques protégées par le gouvernement fédéral.)

Mais dans l'apprentissage automatique, la cécité au genre peut être le problème. Même lorsque le sexe n'est pas spécifié, il peut facilement être déduit d'autres variables qui lui sont fortement corrélées. En conséquence, les modèles entraînés sur des données historiques dépourvues de genre amplifient encore les inégalités passées . Il en va de même pour la race et d'autres caractéristiques. C'est probablement ce qui s'est passé dans l'affaire Apple Card : parce que les femmes se voyaient historiquement accorder moins de crédit, l'algorithme a appris à perpétuer ce schéma.

Dans une étude de 2018 , une collaboration entre des informaticiens et des économistes a révélé que la meilleure façon d'atténuer ces problèmes était en fait de réintroduire des caractéristiques telles que le sexe et la race dans le modèle. Cela permet plus de contrôle pour mesurer et inverser tout biais manifesté, ce qui se traduit par une plus grande équité dans l'ensemble.

Prêts différenciés selon le sexe

La dernière étude teste une nouvelle hypothèse : des modèles séparés pour les hommes et les femmes réduiraient-ils davantage les préjugés sexistes ? Lors d'un événement organisé par la Fondation des Nations Unies mardi, Sean Higgins, professeur adjoint à la Northwestern University et chercheur sur l'étude, a présenté les résultats préliminaires qui suggèrent qu'ils le feraient.

En partenariat avec une banque commerciale en République dominicaine, les chercheurs ont mené deux analyses distinctes auprès de 20 000 personnes à faible revenu, dont la moitié étaient des femmes. Dans la première analyse, les chercheurs ont utilisé les antécédents de remboursement des prêts et le sexe des individus pour former un modèle d'apprentissage automatique unique pour prédire la solvabilité. Dans la deuxième analyse, les chercheurs ont formé un modèle avec uniquement les données de remboursement des prêts des femmes. Ils ont constaté que 93 % des femmes obtenaient plus de crédit dans ce modèle que dans celui où les hommes et les femmes étaient mélangés.

Cela se produit, dit Higgins, parce que les femmes et les hommes ont des antécédents de crédit différents et des comportements de remboursement de prêt différents, que ce soit pour des raisons historiques, culturelles ou autres. Les femmes, par exemple, sont plus susceptibles de rembourser leurs prêts, dit-il. Mais ces différences ne sont pas prises en compte dans le modèle combiné, qui apprend à prédire la solvabilité sur la base de moyennes entre femmes et hommes. Par conséquent, ces modèles sous-estiment la probabilité que les femmes remboursent leurs prêts et finissent par leur accorder moins de crédit qu'elles ne le méritent.

Alors que Higgins et ses collaborateurs ont testé cette hypothèse spécifiquement pour les femmes à faible revenu en République dominicaine, les résultats qualitatifs devraient rester vrais quel que soit le contexte. Elles devraient également s'appliquer à des caractéristiques autres que le sexe et à des domaines autres que la finance.

Que faire de la loi

Le problème, c'est que ce genre de modèle unisexe est illégal. La question est de savoir si les décideurs politiques devraient donc mettre à jour l'ECOA.

Higgins est en faveur. Les recherches récentes sur l'équité algorithmique ont abouti à une conclusion assez claire selon laquelle nous devrions utiliser des éléments tels que la race et le sexe dans les algorithmes, dit-il. Si les banques n'ont pas accès à ces variables et ne peuvent même pas intégrer les contrôles de sécurité pour s'assurer que leurs algorithmes ne sont pas biaisés, la seule façon de découvrir ces biais est lorsque les gens tweetent sur les disparités qu'ils 're rencontre dans la nature.

Mais Andrew Selbst, professeur adjoint de droit à l'UCLA, spécialisé à l'intersection de l'IA et du droit, met en garde contre les allers-retours trop rapides. Réécrire la loi de cette manière ouvre la voie aux mauvais acteurs pour commencer à inclure des variables raciales et des variables de genre et à discriminer sauvagement d'une manière très difficile à contrôler, dit-il. Il craint également que cette solution ne prenne en compte les personnes non binaires ou trans et ne leur cause involontairement du tort.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.

cacher