Pourquoi nous devrions nous attendre à ce que les algorithmes soient biaisés

Les technologies portées par les algorithmes et l'intelligence artificielle sont de plus en plus présentes dans nos vies, et nous nous heurtons désormais régulièrement à une question épineuse : ces programmes peuvent-ils être des acteurs neutres ? Ou refléteront-ils toujours un certain degré de préjugé humain ?

La poussière sur la liste des sujets tendance de Facebook et son éventuel parti pris libéral a tellement touché que le Le Sénat américain convoqué à l'entreprise de fournir une explication officielle, et cette semaine, la COO Sheryl Sandberg a déclaré que l'entreprise commencerait former les employés identifier et contrôler leurs tendances politiques.

Ce n'est qu'un résultat, cependant, d'une tendance plus large que Fred Benenson, l'ancien chef des données de Kickstarter, appelle lavage des maths : notre tendance à idolâtrer des programmes comme celui de Facebook comme entièrement objectifs parce qu'ils ont les mathématiques en leur cœur.

Un domaine de biais potentiel vient du fait qu'un si grand nombre de programmeurs créant ces programmes, en particulier les experts en apprentissage automatique, sont des hommes. Dans un récent Article Bloomberg , Margaret Mitchell, chercheuse chez Microsoft, déplore les dangers d'une mer de mecs posant les questions essentielles à la création de ces programmes.

Cette question suscite des inquiétudes depuis un certain temps, car des études ont mis en évidence des biais dans les stratégies de publicité, de recrutement et de tarification en ligne, motivées par des algorithmes présumés neutres.

Dans une étudier , Latanya Sweeney, professeure à Harvard, a examiné les annonces Google AdSense qui sont apparues lors de recherches de noms associés à des bébés blancs (Geoffrey, Jill, Emma) et de noms associés à des bébés noirs (DeShawn, Darnell, Jermaine). Elle a constaté que les publicités contenant le mot arrestation étaient diffusées à côté de plus de 80 % des recherches de noms noirs, mais de moins de 30 % des recherches de noms blancs.

Sweeney craint que la façon dont la technologie publicitaire de Google perpétue les préjugés raciaux ne sape les chances d'une personne noire dans un concours, que ce soit pour un prix, un rendez-vous ou un emploi.

Des domaines tels que le prêt et le crédit qui ont traditionnellement souffert d'une discrimination humaine bien connue doivent faire l'objet d'une attention particulière.

ZestFinance, un prêteur en ligne fondé sur l'idée que les programmes d'apprentissage automatique peuvent augmenter le nombre de personnes jugées solvables en examinant des dizaines de milliers de points de données, affirme qu'il est bien conscient des dangers des prêts discriminatoires. Pour se prémunir contre les discriminations, ZestFinance a construit des outils pour tester ses propres résultats.

Mais le danger demeure qu'un biais non reconnu, non seulement dans la programmation d'un algorithme, mais même dans les données qui y transitent, puisse par inadvertance transformer n'importe quel programme en discriminateur. Pour les consommateurs qui sont incapables de comprendre la complexité de ces programmes, il sera difficile de savoir s'ils ont été traités équitablement.

Les produits basés sur les algorithmes et les données refléteront toujours les choix de conception des humains qui les ont construits, a expliqué Benenson dans une récente séance de questions-réponses avec Technical.ly Brooklyn, et il est irresponsable de supposer le contraire.

(Lire la suite : le journal Wall Street , Techniquement Brooklyn , Bloomberg , L'IA prend son envol [PDF])

cacher