Les défenseurs des droits des personnes handicapées s'inquiètent de la discrimination dans les outils d'embauche d'IA

Mme Tech | Getty

Votre capacité à décrocher votre prochain emploi pourrait dépendre de la façon dont vous jouez à l'un des jeux alimentés par l'IA que les entreprises aiment AstraZeneca et Postmates utilisent de plus en plus dans le processus d'embauche.

Certaines entreprises qui créent ces jeux, comme Pymetrics et Arctic Shores, affirment qu'elles limitent les biais d'embauche. Mais les jeux d'embauche d'IA peuvent être particulièrement difficiles à naviguer pour les demandeurs d'emploi handicapés.

Dans le dernier épisode du podcast In Machines We Trust de MIT Technology Review, nous explorons comment les jeux de recrutement basés sur l'IA et d'autres outils peuvent exclure les personnes handicapées. Et tandis que de nombreuses personnes aux États-Unis se tournent vers la commission fédérale responsable de la discrimination dans l'emploi pour réglementer ces technologies, l'agence n'a pas encore agi.

Pour voir de plus près, nous avons demandé Henri Claypool , analyste des politiques sur le handicap, pour jouer l'un des Pyrométrique les jeux. Pymetrics mesure neuf compétences, dont l'attention, la générosité et la tolérance au risque, que le PDG et cofondateur Frida Polly dit se rapportent à la réussite professionnelle.

Lorsqu'elle travaille avec une entreprise qui cherche à embaucher de nouvelles personnes, Pymetrics demande d'abord à l'entreprise d'identifier les personnes qui réussissent déjà au poste qu'elle essaie de pourvoir et les fait jouer à ses jeux. Ensuite, pour identifier les compétences les plus spécifiques aux employés qui réussissent, il compare leurs données de jeu avec les données d'un échantillon aléatoire de joueurs.

Lorsqu'il s'est inscrit, le jeu a incité Claypool à choisir entre une version modifiée - conçue pour les personnes atteintes de daltonisme, de TDAH ou de dyslexie - et une version non modifiée. Cette question pose un dilemme aux candidats handicapés, dit-il.

La crainte est que si je clique sur l'un d'entre eux, je divulgue quelque chose qui me disqualifiera pour le poste, et si je ne clique pas sur—disons—la dyslexie ou quoi que ce soit qui me rend difficile la lecture des lettres et traiter cette information rapidement, alors je serai désavantagé, dit Claypool. Je vais échouer de toute façon.

Histoire connexe

Nous avons testé des outils d'entretien IA. Voici ce que nous avons trouvé.

L'un d'eux a attribué à notre candidate une note élevée pour la maîtrise de l'anglais alors qu'elle ne parlait qu'en allemand.

Polli dit que Pymetrics ne dit pas aux employeurs quels candidats ont demandé des aménagements dans le jeu pendant le processus d'embauche, ce qui devrait aider à empêcher les employeurs de discriminer les personnes atteintes de certains handicaps. Elle a ajouté qu'en réponse à nos rapports, la société clarifiera ces informations afin que les candidats sachent que leur besoin d'hébergement dans le jeu est privé et confidentiel.

L'Americans with Disabilities Act oblige les employeurs à fournir des aménagements raisonnables aux personnes handicapées. Et si les évaluations d'embauche d'une entreprise excluent les personnes handicapées, elle doit alors prouver que ces évaluations sont nécessaires pour le poste.

Pour les employeurs, l'utilisation de jeux comme ceux produits par Côtes arctiques peut sembler plus objectif. Contrairement aux tests psychométriques traditionnels, l'algorithme d'Arctic Shores évalue les candidats sur la base de leurs choix tout au long du jeu. Cependant, les candidats ne savent souvent pas ce que le jeu mesure ou à quoi s'attendre pendant qu'ils jouent. Pour les candidats handicapés, cela rend difficile de savoir s'ils doivent demander un aménagement.

Safe Hammad, CTO et cofondateur d'Arctic Shores, affirme que son équipe s'attache à rendre ses évaluations accessibles au plus grand nombre. Les personnes daltoniennes et malentendantes peuvent utiliser le logiciel de l'entreprise sans aménagements spéciaux, dit-il, mais les employeurs ne devraient pas utiliser de telles demandes pour éliminer les candidats.

Cependant, l'utilisation de ces outils peut parfois exclure des personnes d'une manière qui peut ne pas être évidente pour un employeur potentiel. patty sanchez est spécialiste de l'emploi au Centre de formation MacDonald en Floride qui travaille avec des demandeurs d'emploi sourds ou malentendants. Il y a environ deux ans, une de ses clientes a postulé pour un emploi chez Amazone qui nécessitait un entretien vidéo via HireVue .

Sanchez, qui est également sourd, a tenté d'appeler et de demander de l'aide à l'entreprise, mais n'a pas pu passer. Au lieu de cela, elle a amené son client et un interprète en langue des signes sur le site d'embauche et a persuadé les représentants de l'interviewer en personne. Amazon a embauché son client, mais Sanchez dit que des problèmes comme ceux-ci sont courants lors de la navigation dans des systèmes automatisés. (Amazon n'a pas répondu à une demande de commentaire.)

Rendre la technologie d'embauche accessible signifie s'assurer à la fois qu'un candidat peut utiliser la technologie et que les compétences qu'elle mesure n'excluent pas injustement les candidats handicapés, dit Alexandra Dons , le PDG de Centre pour la démocratie et la technologie , une organisation axée sur les droits civils à l'ère numérique.

Les outils de recrutement basés sur l'IA omettent souvent d'inclure les personnes handicapées lors de la génération de leurs données de formation, dit-elle. Ces personnes ont longtemps été exclues de la main-d'œuvre, de sorte que les algorithmes calqués sur les précédentes embauches d'une entreprise ne refléteront pas leur potentiel.

Même si les modèles pouvaient tenir compte des valeurs aberrantes, la façon dont un handicap se présente varie considérablement d'une personne à l'autre. Deux personnes autistes, par exemple, pourraient avoir des forces et des défis très différents.

Au fur et à mesure que nous automatisons ces systèmes et que les employeurs poussent vers ce qui est le plus rapide et le plus efficace, ils perdent la possibilité pour les gens de montrer leurs qualifications et leur capacité à faire le travail, dit Givens. Et c'est une énorme perte.

Une approche sans intervention

Les régulateurs gouvernementaux ont du mal à surveiller les outils de recrutement de l'IA. En décembre 2020, 11 sénateurs ont écrit une lettre à la Commission américaine pour l'égalité des chances dans l'emploi exprimant des inquiétudes quant à l'utilisation des technologies d'embauche après la pandémie de covid-19. La lettre posait des questions sur le pouvoir de l'agence d'enquêter si ces outils étaient discriminatoires, en particulier à l'encontre des personnes handicapées.

L'EEOC a répondu par une lettre en janvier qui a été divulguée au MIT Technology Review . Dans la lettre, la commission a indiqué qu'elle ne pouvait pas enquêter sur les outils d'embauche d'IA sans une allégation spécifique de discrimination. La lettre a également souligné les inquiétudes concernant l'hésitation de l'industrie à partager des données et a déclaré que la variation entre les logiciels des différentes entreprises empêcherait l'EEOC d'instituer des politiques générales.

J'ai été surpris et déçu quand j'ai vu la réponse, dit Roland Behm , avocat et défenseur des personnes ayant des problèmes de santé comportementale. L'ensemble de la teneur de cette lettre semblait faire de l'EEOC un spectateur passif plutôt qu'un organisme d'exécution.

L'agence commence généralement une enquête une fois qu'un individu dépose une plainte pour discrimination. Avec la technologie d'embauche de l'IA, cependant, la plupart des candidats ne savent pas pourquoi ils ont été rejetés pour le poste. Je crois que l'une des raisons pour lesquelles nous n'avons pas vu plus de mesures d'exécution ou de litiges privés dans ce domaine est due au fait que les candidats ne savent pas qu'ils sont notés ou évalués par un ordinateur, dit Keith Nerd , un commissaire de l'EEOC.

Sonderling dit qu'il croit que l'intelligence artificielle améliorera le processus d'embauche, et il espère que l'agence publiera des conseils aux employeurs sur la meilleure façon de la mettre en œuvre. Il dit qu'il se félicite de la surveillance du Congrès.

Histoire connexe

Les auditeurs testent les algorithmes d'embauche pour détecter les biais, mais il n'y a pas de solution simple

Les audits d'IA peuvent ignorer certains types de biais et ne vérifient pas nécessairement qu'un outil de recrutement sélectionne les meilleurs candidats pour un poste.

Pourtant, Aaron Rieke , directeur général de Amélioration , une organisation à but non lucratif dédiée aux droits civils et à la technologie, a exprimé sa déception face à la réponse de l'EEOC : j'espère en fait que dans les années à venir, l'EEOC pourrait être un peu plus agressif et créatif dans la réflexion sur la manière d'utiliser cette autorité.

Pauline Kim , professeur de droit à Université de Washington à Saint-Louis , dont les recherches portent sur les outils d'embauche algorithmiques, affirme que l'EEOC pourrait être plus proactif dans la collecte de recherches et la mise à jour des directives pour aider les employeurs et les entreprises d'IA à se conformer à la loi.

Behm ajoute que l'EEOC pourrait poursuivre d'autres voies d'application, y compris l'accusation d'un commissaire, qui permet aux commissaires d'ouvrir une enquête sur une discrimination présumée au lieu d'exiger une plainte individuelle (Sonderling dit qu'il envisage de porter une telle accusation). Il suggère également que l'EEOC consulte des groupes de défense pour élaborer des lignes directrices pour les entreprises d'IA espérant mieux représenter les personnes handicapées dans leurs modèles algorithmiques.

Il est peu probable que les entreprises d'IA et les employeurs sélectionnent délibérément les personnes handicapées, dit Behm. Mais ils n'ont pas consacré le temps et les efforts nécessaires pour comprendre les systèmes qui prennent des décisions qui, pour de nombreuses personnes, changent la vie : vais-je être embauché ou non ? Puis-je subvenir aux besoins de ma famille ou non ?

cacher