La pandémie teste les limites de la reconnaissance faciale

Mme Tech | Pexels

À première vue, JB, un artiste basé à Los Angeles, ne ressemble peut-être pas beaucoup à la photo sur son permis de conduire. D'une part, la photo d'identité date d'il y a quelques années. Les cheveux qui étaient autrefois longs et foncés sont maintenant bourdonnés et décolorés. Et il y a le fait que JB est transgenre et prend de la testostérone depuis plus de deux ans, ce qui a entraîné une modification des traits du visage, des sourcils plus épais et une acné qui n'existait pas auparavant. (Ils ont demandé à être identifiés uniquement par leurs premières initiales en raison de problèmes de confidentialité.)

JB a perdu un emploi à temps partiel dans le commerce de détail lorsque les fermetures ont frappé en mars dernier et, comme des millions d'autres Américains, a tenté de demander des allocations de chômage, sans jamais se douter que leur apparence changeante ferait obstacle. Des mois après avoir soumis des documents par voie électronique et passé plusieurs appels à une hotline qui n'allaient nulle part, JB a finalement été invité à utiliser le système de reconnaissance faciale de la Californie pour vérifier leur identité. Mais même après plusieurs essais, le système n'a pas pu faire correspondre le visage et la photo d'identité de JB, les excluant des avantages auxquels ils avaient droit. Finalement, JB a cessé d'essayer : le processus était trop frustrant.

Histoire connexe

Comment ces écoles américaines ont rouvert sans déclencher une épidémie de covid

Les écoles qui ont maintenu le nombre de cas bas l'année dernière, malgré le chaos de la pandémie, ont partagé quelques stratégies en commun. Voici ce qu'ils peuvent nous apprendre à bien faire les choses.

Les forces de l'ordre et les entreprises privées utilisent la reconnaissance faciale depuis des années, mais l'utilisation de la technologie dans la distribution de l'aide gouvernementale s'est rapidement développée pendant la pandémie. États et agences fédérales se sont tournés vers la reconnaissance faciale en tant que moyen automatisé et sans contact de vérifier l'identité des personnes qui demandent le chômage et d'autres prestations publiques.

Les experts et les militants craignent que les défaillances de cette technologie n'empêchent les gens d'obtenir les avantages dont ils ont désespérément besoin - et que cela pourrait être encore plus dangereux si cela fonctionne comme prévu.

Utiliser votre visage pour le banal

La pandémie a accéléré l'utilisation de nombreux outils de collecte de données biométriques - contrôles de température aux portes, caméras thermiques dans les écoles, scans du visage dans les aéroports. En ce qui concerne les allocations telles que le chômage, les gouvernements des États se tournent notamment vers la reconnaissance faciale, pour vérifier l'identité des personnes avant de débloquer l'argent auquel elles ont droit. La deuxième vague de fonds de relance américains, adoptée en décembre 2020, a obligé les États à vérifier les personnes qui demandent l'aide en cas de pandémie de chômage, une réserve fédérale d'argent.

Maintenant 27 états agences de chômage (dont la Californie) travaillent avec ID.me, une entreprise proposant une technologie de reconnaissance faciale, déclare le PDG Blake Hall. Le Département américain du travail a également fourni des millions de financement aux États de mettre en œuvre des mesures de prévention de la fraude, ce qui a pompé plus de dollars dans la reconnaissance faciale. Ces derniers mois, il y a eu rapports à travers le pays d'incidents dans lesquels les systèmes de chômage n'ont pas reconnu les scans du visage des candidats, plaçant des personnes comme JB dans des situations financières précaires. Le risque d'erreur d'identification n'est pas également réparti : la reconnaissance faciale s'est avérée moins précise pour les personnes de couleur que les blancs, et les hommes sont plus susceptibles d'être identifiés avec précision que les femmes, selon un étude fédérale publié en 2019. Les résultats ont été explorés plus en détail dans un étudier l'année dernière.

Hall dit que dans un échantillon de 700 utilisateurs, ID.me n'a pas trouvé de corrélation entre le teint de la peau et la probabilité d'échouer à l'étape de correspondance individuelle.

Les logiciels de reconnaissance faciale ont commencé à devenir plus courants des années avant la pandémie, et ses défauts potentiels sont bien documentés : des journalistes ont révélé comment les services de police des États-Unis utilisent vastes bases de données de visages dans les enquêtes, avec une précision douteuse. Entreprises ont arrêté ou limité l'utilisation de la technologie au milieu des preuves qu'elle ne fonctionne pas aussi bien sur les personnes de couleur. Malgré tout, il continue de se répandre : d'autres agences fédérales planifier sur l'expansion de son utilisation, alors qu'il est également utilisé partout, des centres commerciaux aux salles de concert. Macy était poursuivi l'année dernière sur son utilisation présumée de la reconnaissance faciale sur les clients des magasins. Mais les utilisations de la technologie liées à la pandémie pour dépister des éléments tels que l'admissibilité aux avantages sociaux inquiètent particulièrement les critiques.

Ce qui m'empêche de dormir la nuit, c'est qu'avec l'accélération de la pandémie, nous allons commencer à voir ce pop-up partout, déclare Evan Greer, directeur de Fight for the Future, un groupe de défense des droits numériques. Ce sera dans les magasins et vous aurez la possibilité de payer avec votre visage. Il sera normalisé sur le transport en commun. Il sera utilisé lors des entretiens d'embauche.

Histoire connexe

Comment la réponse américaine à la pandémie a-t-elle accru les inégalités ? Regardez les salons de manucure de New York.

Alors que de nombreux cols blancs sont restés à la maison pour éviter le covid, les employés des salons ont été confrontés à des taux d'infection élevés, à des choix impossibles pour rester en sécurité et à peu d'aide gouvernementale.

De plus en plus, il est utilisé dans ce qui est présenté comme l'intérêt de la santé publique. Australie récemment élargi un programme utiliser la reconnaissance faciale pour appliquer les mesures de sécurité liées au covid-19. Les personnes mises en quarantaine sont soumises à des enregistrements aléatoires, au cours desquels elles doivent envoyer un selfie pour confirmer qu'elles respectent les règles. Les données de localisation sont également collectées, selon Reuters.

En ce qui concerne les éléments essentiels comme les prestations d'urgence pour payer le logement et la nourriture, la première priorité devrait être de s'assurer que tout le monde peut accéder à l'aide, dit Greer. La prévention de la fraude est un objectif raisonnable à première vue, ajoute-t-elle, mais l'objectif le plus urgent doit être d'offrir aux gens les avantages dont ils ont besoin.

Les systèmes doivent être construits en tenant compte dès le départ des droits de l'homme et des besoins des personnes vulnérables. Cela ne peut pas être une réflexion après coup, dit Greer. Ils ne peuvent pas être des corrections de bogues après que cela se soit déjà mal passé.

Hall d'ID.me affirme que les services de son entreprise sont préférables aux méthodes existantes de vérification d'identité et ont aidé les États à réduire les fraudes massives au chômage depuis la mise en œuvre des vérifications faciales. Il dit que les demandes de chômage ont un taux de réussite réel d'environ 91 %, soit par elles-mêmes, soit par le biais d'un appel vidéo avec un représentant ID.me.

[Cela] était notre objectif, dit-il. Si nous pouvions automatiser 91% de cela, alors les États qui sont juste dépassés en termes de ressources peuvent utiliser ces ressources pour fournir un service de conciergerie haut de gamme aux 9%.

Lorsque les utilisateurs ne sont pas en mesure de suivre le processus de reconnaissance faciale, ID.me leur envoie un e-mail pour assurer le suivi, selon Hall.

Tout dans cette entreprise consiste à aider les gens à accéder aux choses auxquelles ils ont droit, dit-il.

La technologie dans le monde réel

Les mois pendant lesquels JB a survécu sans revenu ont été difficiles. L'inquiétude financière était suffisante pour causer du stress, et d'autres problèmes comme un ordinateur cassé ont aggravé l'anxiété. Même leur ancien employeur n'a pas pu ou n'a pas voulu aider à réduire les formalités administratives.

C'est très isolant de se dire: «Personne ne m'aide dans aucune situation», dit JB.

Du côté du gouvernement, les experts disent qu'il est logique que la pandémie ait mis les nouvelles technologies au premier plan, mais des cas comme celui de JB montrent que la technologie en elle-même n'est pas toute la réponse. Anne L. Washington, professeure adjointe de politique des données à l'Université de New York, dit qu'il est tentant de considérer une nouvelle technologie gouvernementale comme un succès lorsqu'elle fonctionne la plupart du temps pendant la phase de recherche mais échoue 5 % du temps dans le monde réel. Elle compare le résultat à un jeu de chaises musicales, où dans une salle de 100 personnes, cinq se retrouveront toujours sans siège.

Le problème est que les gouvernements obtiennent une sorte de technologie et cela fonctionne 95% du temps - ils pensent que c'est résolu, dit-elle. Au lieu de cela, l'intervention humaine devient plus importante que jamais. Dit Washington : Ils ont besoin d'un système pour gérer régulièrement les cinq personnes qui sont debout.

Il y a un niveau de risque supplémentaire lorsqu'une entreprise privée est impliquée. Le plus gros problème qui se pose dans le déploiement d'un nouveau type de technologie est l'endroit où les données sont conservées, dit Washington. Sans un entité de confiance qui a l'obligation légale de protéger les informations des personnes, les données sensibles pourraient se retrouver entre les mains d'autrui. Que ressentirions-nous, par exemple, si le gouvernement fédéral avait confié à une entreprise privée nos numéros de sécurité sociale lors de leur création ?

Le problème est que les gouvernements obtiennent une sorte de technologie et cela fonctionne 95% du temps - ils pensent que c'est résolu

Anne L. Washington, Université de New York

L'utilisation généralisée et incontrôlée des outils de reconnaissance faciale a également le potentiel d'affecter plus que d'autres des groupes déjà marginalisés. Les personnes transgenres, par exemple, avoir détaillé , problèmes fréquents avec des outils comme Google Photos, qui peuvent se demander si les photos avant et après la transition montrent la même personne. Cela signifie compter avec le logiciel encore et encore.

[Il y a] une inexactitude dans la capacité de la technologie à refléter l'étendue de la diversité réelle et des cas extrêmes dans le monde réel, déclare Daly Barnett, technologue à l'Electronic Frontier Foundation. Nous ne pouvons pas compter sur eux pour classer, calculer et refléter avec précision ces beaux cas marginaux.

Pire qu'un échec

Les conversations sur la reconnaissance faciale débattent généralement de la manière dont la technologie pourrait échouer ou discriminer. Mais Barnett encourage les gens à réfléchir au-delà de la question de savoir si les outils biométriques fonctionnent ou non, ou si des biais apparaissent dans la technologie. Elle repousse l'idée que nous en avons besoin. En effet, avertissent des militants comme Greer, les outils pourraient être encore plus dangereux lorsqu'ils fonctionnent parfaitement. La reconnaissance faciale a déjà été utilisée pour identifier, punir ou étouffer les manifestants, bien que les gens ripostent. À Hong Kong, les manifestants portaient des masques et des lunettes pour cacher leur visage s d'une telle surveillance policière. Aux États-Unis, les procureurs fédéraux accusations abandonnées contre un manifestant identifié par reconnaissance faciale qui avait été accusé d'avoir agressé des policiers.

Histoire connexe

Les chiffres officiels du chômage sont effrayants. La situation réelle est encore pire. Les chiffres record du chômage ne font qu'évoquer la crise à laquelle sont confrontés de nombreux sans-emploi.

Je pense qu'il est compréhensible que nous nous concentrions sur ces défauts et biais, car cette technologie est utilisée en ce moment, dit Greer. Mais quand vous prenez une technologie... et que vous la superposez à une société qui est profondément injuste, même si la technologie elle-même est « neutre » ou si elle n'a aucun préjugé, cela aura pour effet d'automatiser et exacerbant cette discrimination.

Fight for the Future et EFF soutiennent tous deux l'interdiction de l'utilisation par le gouvernement des outils de reconnaissance faciale. Et Barnett dit que même lorsque la technologie est utilisée, les agences gouvernementales ne devraient pas compter sur un seul système en tant que gardien pour accéder, en particulier pour fournir aux gens les éléments essentiels dont ils ont besoin pour survivre.

Il n'est pas exagéré d'imaginer comment, même si elles sont bien intentionnées maintenant, [ces technologies] peuvent être militarisées contre des personnes à diverses fins plus tard, dit-elle.

Pour les personnes marginalisées, cependant, les pinceaux avec reconnaissance faciale posent déjà des problèmes. Plus d'un an après la première demande de chômage de JB, les détails du processus ardu sont encore gravés dans leur mémoire. Lorsque la réclamation initiale a expiré ce printemps, ce fut un soulagement. Ils avaient récemment obtenu un nouvel emploi et les choses se sont finalement remises sur les rails.

C'était comme si je reprenais enfin ma vie en main, disent-ils. Je suis vraiment content de ne pas avoir à gérer ce système. Et j'espère vraiment que je n'aurai plus jamais à faire face à ce système.

Cette histoire fait partie du Pandemic Technology Project, soutenu par la Fondation Rockefeller.

cacher