Que se passe-t-il lorsqu'un algorithme se trompe

Dans la première d'une série en quatre parties sur FaceID, l'animatrice Jennifer Strong explore la fausse arrestation de Robert Williams par la police à Detroit. Ce qui est étrange dans l'épreuve de Willliams, ce n'est pas que la police ait utilisé la reconnaissance faciale pour l'identifier, c'est que les flics lui en ont parlé. Aucune loi ne dit qu'ils doivent le faire. L'épisode commence à dévoiler les complexités de cette technologie et introduit quelques questions épineuses sur son utilisation.

Nous rencontrons:

• Robert et Melissa Williams
• Peter Fussey, Université d'Essex
• Hamid Khan, Stop LAPD Spying Coalition

Crédits:

Cet épisode a été rapporté et produit par Jennifer Strong, Tate Ryan-Mosley et Emma Cillekens. Nous avons eu l'aide de Karen Hao et Benji Rosen. Nous sommes édités par Michael Reilly et Gideon Lichfield. Notre directeur technique est Jacob Gorski. Remerciements particuliers à Kyle Thomas Hemingway et Eric Mongeon.

Transcription complète de l'épisode :

Robert Williams : J'étais complètement choqué et abasourdi d'être arrêté en plein jour, devant ma fille, devant ma femme, devant mes voisins. C'était l'une des choses les plus choquantes qui me soient jamais arrivées.

Jennifer Strong : C'est Robert Williams. Il décrit ce qui s'est passé à l'extérieur de sa maison dans une banlieue aisée de Detroit appelée Farmington Hills en janvier.

Jennifer Strong : La journée a commencé comme une autre.

Robert Williams : C'était juste un jeudi ennuyeux.

Jennifer Strong : Il s'est levé, est allé travailler. Mais ensuite, les choses sont devenues bizarres.

Robert Williams : Au téléphone avec Melissa vers 4h.

Jennifer Strong : Mélissa est sa femme. Ils sont au milieu d'un appel quand il entend l'autre ligne.

Robert Williams : Je clique dessus. Je suis comme, 'Bonjour?'

« Robert ? »

Et je me dis : 'Qui est-ce ?'

'Tu dois descendre et te rendre.'

'Qui est-ce?'

'Officier quelqu'un du troisième commissariat.'

« Et je dois me rendre pour quoi ? »

Alors il était comme, 'Je ne peux pas vous le dire.'

Et je me dis: 'Alors, je ne peux pas descendre.'

« Eh bien, si vous descendez, ce serait beaucoup plus facile pour vous. Vous ne voulez pas que nous venions à votre travail, n'est-ce pas ?

À ce stade, je pense que c'est une farce.

Donc, je me dis: 'Écoute, mec, si tu me veux, viens me chercher. Je serai à la maison. Apportez un mandat. Et je lui raccroche au nez.

Jennifer Strong : Melissa est à la maison, elle attend sa mère et sa fille, et elle va les saluer lorsqu'elles arrivent.

Mélissa Williams : Et pendant que je marchais, j'ai regardé dehors et la voiture de police était dehors.

Et j'ai dit: 'Oh, donc ce n'était pas une blague. Il y a vraiment du monde ici.

Et ils sont venus à la porte.

J'y ai répondu.

Et ils ont en quelque sorte mis le pied dans la porte et ont dit : « Faites sortir Robert.

Et j'ai dit : 'Il n'est pas là.'

Et ils ont dit, 'Nous venons de le voir sortir de cette camionnette.'

Et j'ai dit: 'C'était ma mère. Il n'est pas ici.'

Jennifer Strong : De toute évidence, quelque chose ne va pas, mais ils ne savent pas ce que c'est.

Robert Williams : Il doit y avoir une erreur d'identité ou quelque chose comme ça. Je ne sais pas pourquoi la police de Detroit est chez moi.

Jennifer Strong : Il s'avère qu'ils étaient là parce que le logiciel de reconnaissance faciale avait fait correspondre à tort la photo de son permis de conduire aux images de la caméra de sécurité d'une personne qui volait des montres.

Robert Williams : Je me gare dans l'allée ici, je me gare à ma place habituelle, je sors. Au moment où j'ai fermé la porte, la voiture est dans l'allée, me bloquant l'entrée. Et ils se sont garés par ici, de l'autre côté de mon allée, comme si j'allais reculer ou quelque chose comme ça et essayer de décoller.

Mélissa Williams : Dès qu'il a fermé la porte, ils étaient sur lui.

Et j'étais encore ici parce que j'avais les filles, et elles commençaient déjà à le menotter au moment où nous sommes sortis.

Jennifer Strong : Il a dit à sa fille de retourner à l'intérieur, que la police faisait une erreur et qu'il reviendrait tout de suite. Mais il n'était pas de retour.

La police l'a arrêté et il a passé la nuit en prison. Il n'avait toujours aucune idée de ce qui se passait. Et il était en colère.

Mais il dit qu'en tant qu'homme noir, il devait réfléchir à ce qui pourrait arriver s'il laissait cela se montrer. Alors il est resté calme et il a attendu.

Le lendemain matin, des agents lui ont montré des photos d'un homme en train de voler des montres. Sauf que ces photos n'étaient pas de lui. C'était quelqu'un d'autre.

Robert Williams : 'Donc ce n'est pas toi?'

J'ai regardé. J'ai dit : 'Non, ce n'est pas moi.'

Il retourne un autre papier. Il dit : 'Je suppose que ce n'est pas toi non plus ?

J'ai ramassé ce papier et je l'ai tenu près de mon visage. Et j'ai dit, 'Ce n'est pas moi.'

J'étais comme, 'J'espère que vous ne pensez pas que tous les Noirs se ressemblent.'

Et puis il dit : « L'ordinateur dit que c'est toi.

S'il avait juste apporté la photo avec lui, il aurait pu la regarder de haut en bas, et il aurait pu partir et dire, oh my bad. Je ne voulais pas te déranger.

Jennifer fort : Ce qui est inhabituel dans cette histoire, ce n'est pas que l'identité faciale ait été utilisée pour trouver un suspect. Ce qui est inhabituel, c'est que Robert Williams en a été informé, car la police n'est pas tenue de le divulguer. La reconnaissance faciale n'est pas réglementée. Pas comment il est utilisé par les forces de l'ordre. Pas comment il est utilisé par les employeurs.

Je suis Jennifer Strong. Et voici le premier épisode d'une nouvelle série explorant ce qui se passe lorsque tout ce qui nous entoure est automatisé. Nous commençons avec un regard en quatre parties sur la reconnaissance faciale et le maintien de l'ordre. Nous rencontrerons des personnes construisant cette technologie, luttant contre elle et essayant de réglementer la façon dont elle est utilisée.

Jennifer Strong : Pense-y de cette façon. La reconnaissance faciale est utilisée comme moteur de recherche pour les criminels. Et votre visage est le terme de recherche.

En 2016, on pensait que les visages de la moitié de tous les adultes américains étaient stockés dans des systèmes utilisés par la police pour nommer les suspects. Certains l'appellent la gamme perpétuelle Mais la nation est peut-être à un point d'inflexion, à la fois dans sa relation avec la police et avec cette technologie. En juin, les géants de la technologie Amazon et Microsoft ont interrompu la vente de leurs produits d'identification faciale aux forces de l'ordre. IBM a complètement cessé de le vendre. Ensuite, la ville de New York a adopté un projet de loi prévoyant la surveillance de toutes les technologies de surveillance, malgré l'opposition du NYPD. Et après que l'arrestation injustifiée de Robert Williams a été révélée, la police de Detroit a déclaré qu'elle n'utiliserait l'identification faciale que pour enquêter sur les crimes violents. Et ils le feront avec des photos fixes, car celles-ci sont plus susceptibles de produire une correspondance précise. Mais est-ce suffisant ?

Pierre Fussey : OK, donc en ce moment nous sommes à East London, dans un endroit qui s'appelle Stratford.

Jennifer Strong : Je me suis promené avec Peter Fussey en février avant la pandémie.

Pierre Fussey : Qui a toujours été une zone de beaucoup de privations, qui a reçu énormément d'investissements juste avant les Jeux olympiques de 2012, qui se sont déroulés ici.

Jennifer Strong : C'est un endroit où la police de Londres teste des caméras qui associent des visages à des identités en temps réel. Vous faites partie d'une équipe travaillant sur une stratégie nationale de surveillance. Est-ce correct?

Pierre Fussey : Nous faisons donc partie d'un projet de recherche. Nous examinons les technologies émergentes et les implications pour les droits de l'homme indépendamment de cela. Je travaille également avec le régulateur des caméras de surveillance au Royaume-Uni et je dirige une partie de sa stratégie sur les droits de l'homme.

Jennifer Strong : Il a étudié la surveillance technologique pendant plus de 20 ans.

Pierre Fussey : J'ai commencé à regarder la télévision en circuit fermé, les caméras CCTV. Ils sont très familiers dans la rue, CCTV. J'ai toujours été surpris par le peu de gens qui semblent s'en soucier. Je serais, vous savez, faire un cas étrange pour pourquoi nous devrions réglementer. Et il a été largement accueilli avec indifférence. Et la reconnaissance faciale semble très différente. Il a captivé l'imagination du public. C'est dans les médias au quotidien.

Présentateur : Eh bien, votre visage peut en dire beaucoup plus aux gens que vous ne le pensez. Dans un nouveau monde de technologie de reconnaissance faciale, chacun de vos mouvements peut être suivi.

Présentateur : Ces acheteurs ne le savent pas, mais un ordinateur scanne leurs visages, comparant leurs traits à ceux de voleurs à l'étalage connus.

Homme interviewé : C'est horrible. C'est une atteinte à la vie privée.

Femme interviewée : Cette technologie est installée sans surveillance ni responsabilité publiques.

Deuxième femme interrogée : Nous sommes intimidés pour prendre notre photo afin d'obtenir nos clés.

Présentateur : Même la pop star Taylor Swift a secrètement déployé la technologie pour éradiquer les harceleurs.

Jennifer Strong : Mais alors que le tollé général a conduit certains endroits à interdire la technologie, y compris des centres technologiques comme San Francisco et Cambridge, Massachusetts, où le MIT est basé, la police de Londres en a testé une version très agressive dans 10 espaces publics différents.

Pierre Fussey : Ce que vous voyez au Royaume-Uni est une reconnaissance faciale en direct, ce qui signifie qu'il existe une base de données d'individus qui intéressent la police. Ensuite, lorsque le public passe devant la caméra, chacune de ces personnes est scannée puis comparée à cette base de données. Ici, vous mettez en place une surveillance avant, vous savez, toute infraction.

Jennifer Strong : C'est une chose pour un service de police de brandir une photo de quelqu'un pour tenter de l'identifier dans un système. Et c'est quelque chose de très différent d'avoir une identification en direct en temps réel.

Pierre Fussey : Ouais, c'est exactement ça. Et je pense que c'est une partie très importante du débat qui se perd souvent.

L'autre différence est que les caméras CCTV existantes, ou la surveillance humaine analogique low-tech, n'impliquent pas la capture, le traitement, la maintenance et la gestion des données biométriques, qui constituent une catégorie particulière de données et sont universellement considérées comme intrusives. entraine toi.

Jennifer Strong : Et cette catégorie spéciale de données doit être triée et stockée en toute sécurité. Et comme il le souligne, aucun humain ne peut traiter le volume capturé par ces systèmes.

Pierre Fussey : Cela soulève de sérieuses questions quant à sa proportionnalité, par exemple. À quel point il est nécessaire de scanner biométriquement des dizaines de milliers de personnes simplement parce que vous souhaitez parler à quelqu'un. Maintenant, s'il s'agit d'un tueur connu en liberté, ou de l'exemple qui est toujours donné, vous savez, d'une attaque terroriste sur le point de se produire, alors c'est différent. Vous pouvez faire un argument de nécessité et de proportionnalité beaucoup plus fort autour de cela, mais moins si c'est juste quelqu'un à qui vous souhaitez parler d'un incident de comportement antisocial ou quelque chose comme ça.

Jennifer Strong : Eh bien, l'autre question, quand vous dites que les humains ne peuvent pas traiter cette information, mais il n'est pas clair non plus si la technologie le peut non plus. Que se passe-t-il si vous êtes faussement identifié ?

Pierre Fussey : Si la caméra dit que vous êtes un suspect, vous êtes quelqu'un sur leur liste de surveillance, combien de fois savons-nous que c'est correct ? Dans nos recherches, nous avons trouvé que c'était correct huit fois sur 42. Ainsi, pendant six jours complets, assis dans des fourgons de police, huit fois.

Jennifer Strong : Il a fait le seul examen indépendant de ces essais, et il a trouvé qu'il était exact moins de 20 % du temps.

Pierre Fussey : Cela peut fonctionner brillamment dans des conditions de laboratoire. Mais, vous savez, à l'extérieur, comme un environnement dans lequel nous nous trouvons maintenant, la lumière décline, c'est la lumière d'hiver. Une grande partie de l'image du renseignement pour un grand nombre d'infractions est liée à l'économie nocturne. La reconnaissance faciale fonctionne donc moins bien en basse lumière, et toutes sortes de problèmes à ce sujet.

Jennifer Strong : Il est également moins efficace sur différents groupes démographiques.

Pierre Fussey : Donc, pas seulement l'ethnicité ou l'ethnie raciale, mais aussi le sexe. Et cela se transforme ensuite en toute une question autour des droits et de l'âge des transgenres également. Les visages d'enfants, par exemple, donnent moins d'informations que le visage d'une personne dans la quarantaine comme moi. Ce qui est important, c'est que si la police utilise une technologie qui n'est pas aussi efficace pour différents groupes, alors, à moins qu'elle ne soit consciente de ces limites, et à moins qu'elle puisse d'une manière ou d'une autre les atténuer, il est alors impossible de dire qu'elle emploie un technologie compatible avec les droits de l'homme.

Jennifer Strong : Comment aligner une stratégie des droits de l'homme et une stratégie de surveillance ?

Pierre Fussey : Nous pensons souvent que des choses comme la sécurité s'opposent aux droits de l'homme.

Bien sûr, la première responsabilité des États en vertu de la déclaration des droits de l'homme des Nations Unies est que les États assurent la sécurité et la sûreté de leurs citoyens. Donc, il y a souvent ce cadrage de la liberté par rapport à la sécurité, que mes collègues et moi-même trouverions assez inutile. Vous savez, vous pouvez avoir les deux, et vous ne pouvez avoir ni l'un ni l'autre.

Jennifer Strong : Nous nous dirigeons vers un autre endroit qu'il veut me montrer.

Pierre Fussey : Juste au bout de ce pont, vous pouvez voir un poteau avec des caméras dessus. Si vous marchiez le long de ce pont vers ces caméras, vous arriveriez à un point où il y avait un panneau indiquant que la reconnaissance faciale était en opération. Maintenant, si vous vouliez continuer votre voyage, vous devriez passer devant ces caméras. Cependant, la police disait qu'il s'agissait d'un procès. Donc, si vous ne vouliez pas faire partie de ce procès, vous deviez faire demi-tour. Et pour arriver au même point au-delà de ces caméras, il faudrait environ 20 minutes de détour.

Jennifer Strong : OK, donc cette partie est vraiment importante.

Pierre Fussey : Ici, il n'y a pas de véritable consentement significatif. Si vous retirez votre consentement parce que vous ne voulez pas être sur la caméra, vous devriez pouvoir retirer votre consentement sans pénalité. Sinon, ce n'est pas un consentement.

Jennifer Strong : Autre chose. Lorsque vous marchez dans la rue, êtes-vous conscient des fois où vous passez d'un trottoir public à du béton appartenant à une entreprise ? Saviez-vous que vos droits à la vie privée pourraient être différents en quelques étapes seulement ?

Pierre Fussey : Donc ici, là où nous nous tenons, à l'extérieur du centre commercial Westfield, il y a un espace privé. Mais nous pensons que c'est public. Il y a beaucoup de monde ici. Il a le sens d'un espace public. Ce qui se passe, cependant, c'est que si vous marchez 30 mètres sur notre gauche, vous êtes dans une zone publique, et toutes les caméras appartiennent aux autorités publiques. Et si vous marchez 30 mètres sur notre droite, ils appartiennent à des sociétés privées.

Jennifer Strong : Et celui au dessus de ta tête ?

Pierre Fussey : Lequel? Celui-là? Alors oui, cela appartient à une société privée.

Jennifer Strong : La différence revient à un point simple. Les groupes publics sont responsables devant le public.

Face ID fonctionne en cartographiant l'ensemble unique de mesures entre vos caractéristiques, comme l'espacement entre vos yeux, la longueur de votre nez et la courbure de vos lèvres. Les premiers systèmes ont été inventés dans les années 1960. Mais pendant des décennies, la technologie n'était pas vraiment utile. Puis, au début des années 2000, les forces de l'ordre locales de Floride ont créé un programme de reconnaissance faciale à l'échelle de l'État. Une décennie plus tard, Facebook a inventé une nouvelle façon de commencer à reconnaître et à marquer automatiquement les personnes sur les photos, améliorant rapidement la reconnaissance faciale par rapport à ce que nous avons aujourd'hui. Maintenant, il est largement utilisé dans les aéroports et par la police, mais il y a peu de transparence sur les systèmes utilisés ou comment.

Hamid Khan : Les algorithmes n'ont pas leur place dans le maintien de l'ordre. Je pense qu'il est crucial que nous comprenions cela parce que des vies sont en jeu.

Jennifer Strong : Hamid Khan est un militant qui lutte contre l'utilisation de la surveillance et de nombreux autres outils technologiques utilisés par la police de Los Angeles.

Hamid Khan : Chaque fois que la surveillance est légitimée, elle peut être étendue au fil du temps et a toujours été utilisée pour retracer, suivre, surveiller et traquer des communautés particulières,

Des communautés pauvres, des communautés noires et brunes, des communautés qui seraient considérées comme suspectes, homosexuelles, trans. C'est un processus de contrôle social.

Jennifer Strong : Khan a créé la Stop LAPD Spying Coalition, un groupe qu'il décrit comme farouchement abolitionniste.

Il ne pense pas que restreindre la façon dont la police utilise l'identification faciale fonctionnera. Et donc, pendant ce qui pourrait être décrit comme un tsunami d'adoption, avec un débat principalement axé sur les meilleures pratiques, son objectif est de faire interdire ces technologies. Et c'est réussi. Plusieurs programmes de police des données et de police prédictive à Los Angeles ont pris fin après la pression publique et légale de son groupe. Pour Khan, une partie de la façon dont nous sommes arrivés à ce moment est en changeant la façon dont nous définissons et surveillons les activités suspectes,

Hamid Khan : La définition est qu'il s'agit d'un comportement observé raisonnablement révélateur d'une planification pré-opérationnelle d'activités criminelles et/ou terroristes. Donc, vous observez le comportement de quelqu'un, pas un fait, mais une préoccupation qu'une personne puisse penser à faire quelque chose de mal, n'est-ce pas ? Donc, cela va maintenant dans ce sens, le maintien de l'ordre spéculatif et basé sur l'intuition est réel.

Jennifer Strong : Ce que nous savons, grâce aux recherches universitaires et gouvernementales, c'est que la reconnaissance faciale fonctionne mieux sur les hommes blancs.

Joie Buolamwini : Salut caméra. J'ai un visage. Peux-tu voir mon visage ? Pas de visage de lunettes? Tu peux voir...

Jennifer Strong : C'est la chercheuse du MIT, Joy Buolamwini, qui donne une conférence TED.

Joie Buolamwini : Alors que se passe-t-il? Pourquoi mon visage n'est-il pas détecté ? Eh bien, nous devons regarder comment nous donnons la vue aux machines. Donc, comment cela fonctionne, vous créez un ensemble d'entraînement avec des exemples de visages. Ceci est un visage, ceci est un visage, ceci n'est pas un visage. Et avec le temps, vous pouvez apprendre à un ordinateur à reconnaître d'autres visages.

Jennifer Strong : Cependant, si les ensembles d'entraînement ne sont pas vraiment si diversifiés, tout visage qui s'écarte trop de la norme établie sera plus difficile à détecter, ce qui m'est arrivé.

En 2018, elle a mené une étude révolutionnaire montrant que les systèmes commerciaux de reconnaissance faciale échouaient à plusieurs reprises à classer les femmes à la peau foncée.

Un an plus tard, un rapport majeur sur l'identification faciale d'une agence fédérale appelée NIST, ou National Institute of Standards and Technology, a révélé que certains algorithmes d'identification faciale étaient jusqu'à cent fois plus susceptibles de correspondre à tort à des photos de personnes de couleur. Mais même si ces systèmes peuvent être conçus pour atteindre une précision parfaite, ils peuvent être utilisés de manière dangereuse. Et ces problèmes vont plus loin que de simples données biaisées et des mathématiques imparfaites.

Hamid Khan : La technologie ne fonctionne pas par elle-même. De la conception à la production, en passant par le déploiement, il y a constamment des préjugés intégrés. Et ce ne sont pas seulement les préjugés des gens eux-mêmes. Ce n'est qu'une partie de celui-ci. C'est la partialité inhérente au système.

Jennifer Strong : Prochain épisode, serait-il surprenant que des photos de vous, dont certaines que vous n'avez peut-être jamais vues, soient utilisées par des entreprises pour construire des systèmes de reconnaissance faciale ?

Hoan Ton-Ça : Sur Twitter, vous souvenez-vous de cette photo ?

Jennifer Strong : Non. Je ne savais pas que ça avait été pris et moi, j'avais l'air très...

Hoan Ton-Ça : Vous faites. Tu avais l'air très sérieux dans celui-là.

Jennifer Strong : Dans la deuxième partie, nous rencontrons le fondateur de l'une des entreprises les plus controversées travaillant dans ce domaine, le directeur général de Clearview AI, Hoan Ton-That.

Hoan Ton-Ça : Lorsque nous avons construit notre technologie de reconnaissance faciale, nous avons exploré de nombreuses idées différentes dans de nombreux secteurs différents, de la sécurité privée à l'hôtellerie. Lorsque nous l'avons donné à certaines personnes chargées de l'application de la loi, la hausse a été énorme. Et ils nous ont rappelés le lendemain et nous ont dit qu'on résolvait des affaires. C'est fou. En une semaine, nous avions un livret très épais.

Jennifer Strong : Cet épisode a été rapporté et produit par moi, Tate Ryan-Mosley et Emma Cillekens. Nous avons eu l'aide de Karen Hao et Benji Rosen. Nous sommes édités par Michael Riley et Gideon Lichfield. Notre directeur technique est Jacob Gorski. Un merci spécial à Kyle Thomas Hemingway, Eric Mongeon et à l'ACLU pour avoir partagé leurs enregistrements de Robert Williams.

Jennifer Strong : Merci pour l'écoute. Je suis Jennifer Strong.

cacher