La lutte de deux ans pour empêcher Amazon de vendre la reconnaissance faciale à la police

Mme Tech | Getty

À l'été 2018, près de 70 organismes de défense des droits civiques et de recherche a écrit une lettre à Jeff Bezos exigeant qu'Amazon cesse de fournir la technologie de reconnaissance faciale aux gouvernements. Dans le cadre d'une concentration accrue sur le rôle que les entreprises technologiques jouaient dans permettre le suivi et l'expulsion des immigrants par le gouvernement américain , il a appelé Amazon à défendre les droits civils et les libertés civiles. Comme annoncé, il a déclaré que Rekognition est un puissant système de surveillance facilement disponible pour violer les droits et cibler les communautés de couleur.

Parallèlement à la lettre, l'American Civil Liberties Union (ACLU) de Washington a remis plus de 150 000 signatures de pétition ainsi qu'une autre lettre des actionnaires de la société exprimant des revendications similaires. Quelques jours plus tard, les employés d'Amazon ont fait écho aux inquiétudes dans une note interne .

Malgré la pression croissante, Amazon a poursuivi ses activités comme d'habitude. Il a fait de Rekognition un outil de suivi des personnes d'intérêt et doublé sur la fourniture d'autres technologies de surveillance aux gouvernements. Par exemple, sa filiale Ring, acquise quelques mois plus tôt, noue rapidement des partenariats avec plus de 1 300 organismes d'application de la loi d'utiliser les images de ses caméras de sécurité à domicile dans le cadre d'enquêtes criminelles.

Mais le mercredi 10 juin, Amazon a choqué les militants des droits civiques et les chercheurs en annonçant qu'il imposerait un moratoire d'un an sur l'utilisation de Rekognition par la police. Le déménagement a suivi La décision d'IBM d'arrêter son système de reconnaissance faciale à usage général. Le lendemain, Microsoft a annoncé que il cesserait de vendre son système aux services de police jusqu'à ce que la loi fédérale réglemente la technologie. Alors qu'Amazon a fait la plus petite concession des trois sociétés, c'est aussi le plus grand fournisseur de technologie aux forces de l'ordre. Cette décision est l'aboutissement de deux années de recherche et de pressions externes pour démontrer les défauts techniques de Rekognition et son potentiel d'abus.

Il est incroyable qu'Amazon réponde réellement dans cette conversation actuelle sur le racisme, a déclaré Deborah Raji, chercheuse sur la responsabilité de l'IA qui a co-écrit une étude fondamentale sur les préjugés raciaux et les inexactitudes inhérentes à la technologie de l'entreprise. Cela parle juste de la puissance de ce moment actuel.

Un an est un début, déclare Kade Crockford, directeur du programme de liberté technologique à l'ACLU du Massachusetts. C'est absolument un aveu de la part de l'entreprise, au moins implicitement, que ce que les défenseurs de la justice raciale leur disent depuis deux ans est correct : la technologie de surveillance faciale met en danger les Noirs et les Bruns aux États-Unis. C'est un aveu remarquable.

Deux ans de préparation

En février 2018, le chercheur du MIT Joy Buolamwini et Timnit Gebru, alors chercheur chez Microsoft, ont publié une étude inédite appelé Gender Shades sur les préjugés sexistes et raciaux intégrés dans les systèmes commerciaux de reconnaissance faciale. À l'époque, l'étude incluait les systèmes vendus par Microsoft, IBM et Megvii, l'un des plus grands fournisseurs de reconnaissance faciale en Chine. Cela n'englobait pas la reconnaissance d'Amazon.

Néanmoins, il s'agissait de la première étude de ce type, et les résultats étaient choquants : le pire système, celui d'IBM, était 34,4 % moins performant pour classer les femmes à la peau foncée que les hommes à la peau claire. Les résultats ont immédiatement démystifié les allégations d'exactitude que les entreprises utilisaient pour vendre leurs produits et ont déclenché un débat sur la reconnaissance faciale en général.

Alors que le débat faisait rage, il est vite devenu évident que le problème était aussi plus profond que des données de formation biaisées ou des algorithmes imparfaits. Même si les systèmes atteignaient une précision de 100%, ils pourraient toujours être déployés de manière dangereuse, ont averti de nombreux chercheurs et militants.

Une image fixe du poème vidéo de Joy Buolamwini 'AI, Ain't I A Woman?' mettant en valeur certaines des erreurs flagrantes commises par Rekognition.

AVEC LA COURTOISIE DE LA LIGUE DE JUSTICE ALGORITHMIQUE

Cette technologie peut blesser les gens de deux manières, explique Raji, qui a travaillé avec Buolamwini et Gebru sur Gender Shades. L'une des solutions consiste à ne pas travailler : en raison des taux d'erreur plus élevés pour les personnes de couleur, cela les expose à un plus grand risque. La deuxième situation est lorsqu'il Est-ce que travail - où vous avez le système de reconnaissance faciale parfait, mais il est facilement militarisé contre les communautés pour les harceler. C'est une conversation séparée et connectée.

Le travail de Gender Shades était d'exposer la première situation, dit-elle. Ce faisant, il a créé une ouverture pour exposer le second.

Amazon a tenté de discréditer leurs recherches ; il a tenté de les saper en tant que femmes noires qui ont mené cette recherche.

Meredith Whittaker

C'est ce qui s'est passé avec IBM. Après la publication de Gender Shades, IBM a été l'une des premières entreprises à contacter les chercheurs pour déterminer comment résoudre ses problèmes de biais. En janvier 2019, il a publié un ensemble de données appelé Diversité des visages , contenant plus d'un million d'images de visages annotées, dans le but d'améliorer ces systèmes. Mais le déménagement pétardé après que les gens ont découvert que les images avaient été extraites de Flickr, soulevant des problèmes de consentement et de confidentialité. Cela a déclenché une autre série de discussions internes sur la façon de former éthiquement la reconnaissance faciale. Cela les a conduits dans le terrier du lapin en découvrant la multitude de problèmes qui existent avec cette technologie, dit Raji.

Donc, en fin de compte, ce n'était pas une surprise lorsque la société a finalement débranché la prise. (Critiques signaler que son système n'avait de toute façon pas beaucoup de pied sur le marché.) IBM vient de se rendre compte que les 'avantages' n'étaient en aucun cas proportionnels au préjudice, déclare Raji. Et à ce moment particulier, c'était le bon moment pour eux d'en parler publiquement.

Mais alors qu'IBM était sensible aux commentaires externes, Amazon a eu la réaction inverse. En juin 2018, au milieu de toutes les autres lettres demandant à l'entreprise d'arrêter l'utilisation par la police de Rekognition, Raji et Buolamwini élargi l'audit Gender Shades pour englober ses performances. Les résultats, publiés six mois plus tard dans un article revu par des pairs , a de nouveau trouvé d'énormes inexactitudes techniques. Rekognition classait le sexe des femmes à la peau foncée avec 31,4 points de pourcentage de moins de précision que celui des hommes à la peau claire.

En juillet, l'ACLU de Californie du Nord a également a mené sa propre étude , constatant que le système faisait correspondre à tort des photos de 28 membres du Congrès américain avec des mugshots. Les fausses correspondances étaient disproportionnellement des personnes de couleur.

Plutôt que de reconnaître les résultats, cependant, Amazon a publié deux Blog des postes affirmant que le travail de Raji et Buolamwini était trompeur. En réponse, près 80 chercheurs en IA , dont Yoshua Bengio, lauréat du prix Turing, a défendu le travail et a de nouveau appelé l'entreprise à cesser de vendre la reconnaissance faciale à la police.

C'était une expérience tellement émouvante à l'époque, se souvient Raji. Nous avions fait tellement de diligence raisonnable en ce qui concerne nos résultats. Et puis la réponse initiale a été si directement conflictuelle et agressivement défensive.

Amazon a tenté de discréditer leurs recherches ; il a tenté de les saper en tant que femmes noires qui ont dirigé cette recherche, explique Meredith Whittaker, cofondatrice et directrice de l'AI Now Institute, qui étudie les impacts sociaux de l'IA. Il a essayé de créer un récit selon lequel ils s'étaient trompés - que quiconque comprendrait clairement la technologie saurait que ce n'était pas un problème.

Cette décision a vraiment mis Amazon en danger politique.

Mutale Nkonde

En fait, alors qu'il rejetait publiquement l'étude, Amazon commençait à investir dans la recherche de correctifs en coulisses. Il a embauché un responsable de l'équité, investi dans une bourse de recherche de la NSF pour atténuer les problèmes, et a publié une nouvelle version de Rekognition quelques mois plus tard, répondant directement aux préoccupations de l'étude, dit Raji. En même temps, il repousser les efforts des actionnaires de suspendre les ventes de la technologie et de procéder à une évaluation indépendante des droits de l'homme. Ça aussi dépensé des millions faire pression sur le Congrès pour éviter la réglementation.

Mais ensuite tout a changé. Le 25 mai 2020, l'officier Derek Chauvin a assassiné George Floyd, déclenchant un mouvement historique aux États-Unis pour lutter contre le racisme institutionnel et mettre fin à la brutalité policière. En réponse, les démocrates de la Chambre et du Sénat ont présenté un projet de réforme de la police qui comprend une proposition visant à limiter la reconnaissance faciale dans un contexte d'application de la loi, marquant le plus grand effort fédéral jamais réalisé pour réglementer la technologie. Lorsqu'IBM a annoncé qu'elle mettrait fin à son système de reconnaissance faciale, elle a également envoyé une lettre au Congressional Black Caucus, exhortant à un dialogue national sur la question de savoir si et comment la technologie de reconnaissance faciale devrait être utilisée par les forces de l'ordre nationales.

Je pense que la décision d'IBM d'envoyer cette lettre, au moment où ce même organe législatif envisage un projet de loi sur la réforme de la police, a vraiment changé le paysage, déclare Mutale Nkonde, conseiller en politique d'IA et chercheur au Berkman Klein Center de Harvard. Même s'ils n'étaient pas un grand acteur de la reconnaissance faciale, cette décision a vraiment mis Amazon en danger politique. Il a établi un lien clair entre la technologie et la conversation nationale en cours, d'une manière difficile à ignorer pour les régulateurs.

Un optimisme prudent

Mais si les militants et les chercheurs considèrent la concession d'Amazon comme une victoire majeure, ils reconnaissent également que la guerre n'est pas terminée. D'une part, l'annonce de 102 mots d'Amazon était vague sur les détails quant à savoir si son moratoire engloberait les organismes d'application de la loi au-delà de la police, tels que l'immigration et les douanes américaines ou le Department of Homeland Security. (Amazon n'a pas répondu à une demande de commentaire.) D'autre part, l'expiration d'un an est également un drapeau rouge.

La partie cynique de moi dit qu'Amazon va attendre que les protestations s'éteignent - jusqu'à ce que la conversation nationale passe à autre chose - pour revenir à sa position antérieure, déclare Crockford de l'ACLU. Nous surveillerons de près pour nous assurer que ces entreprises n'obtiennent pas une bonne presse pour ces récentes annonces tout en travaillant simultanément dans les coulisses pour contrecarrer nos efforts dans les législatures.

C'est pourquoi les militants et les chercheurs pensent également que la réglementation jouera un rôle essentiel à l'avenir. La leçon ici n'est pas que les entreprises doivent s'autogouverner, dit Whittaker. La leçon est que nous avons besoin de plus de pression et que nous avons besoin de réglementations qui garantissent que nous ne nous contentons pas d'envisager une interdiction d'un an.

La partie cynique de moi dit qu'Amazon va attendre que les protestations s'éteignent... pour revenir à sa position antérieure.

Kade Crockford

Les critiques disent que les stipulations sur la reconnaissance faciale dans le projet de loi actuel sur la réforme de la police, qui n'interdit que son utilisation en temps réel dans les caméras corporelles, ne sont pas assez larges pour tenir les géants de la technologie pleinement responsables. Mais Nkonde est optimiste : elle voit dans ce premier ensemble de recommandations le germe d'une réglementation supplémentaire à venir. Une fois promulguées, elles deviendront un point de référence important pour d'autres projets de loi visant à interdire la reconnaissance faciale dans d'autres applications et contextes.

Il y a vraiment un mouvement législatif plus large aux niveaux fédéral et local, dit-elle. Et les projecteurs que la mort de Floyd a braqués sur les pratiques policières racistes ont accéléré son large soutien.

Il n'aurait vraiment pas fallu que la police tue George Floyd, Breonna Taylor et bien trop d'autres Noirs - et des centaines de milliers de personnes descendent dans la rue à travers le pays - pour que ces entreprises se rendent compte que les demandes des Noirs et des les organisations et les universitaires dirigés par des bruns, de l'ACLU et de nombreux autres groupes étaient moralement corrects, dit Crockford. Mais nous y sommes. Mieux vaut tard que jamais.

cacher