À qui appartient votre visage ?

La police a l'habitude d'utiliser la reconnaissance faciale pour arrêter les manifestants, ce que les militants n'ont pas oublié depuis la mort de George Floyd. Dans la dernière d'une série en quatre parties sur la reconnaissance faciale, l'animatrice Jennifer Strong explore la voie à suivre pour la technologie et examine à quoi pourrait ressembler la politique.

Nous rencontrons :

• Artem Kuharenko, NTechLab
• Deborah Raji, Institut AI Now
• Toussaint Morrison, musicien, acteur et organisateur de Black Lives Matter
• Jameson Spivack, Centre sur la confidentialité et la technologie

Crédits

Cet épisode a été rapporté et produit par Jennifer Strong, Tate Ryan-Mosley, Emma Cillekens et Karen Hao. Nous avons eu l'aide de Benji Rosen. Nous sommes édités par Michael Reilly et Gideon Lichfield. Notre directeur technique est Jacob Gorski.

Transcription complète de l'épisode

Toussaint Morrison : Cet endroit était étrangement calme le premier week-end du couvre-feu. Il y avait aussi des voitures de police très silencieuses qui roulaient très lentement ici.

Jennifer Strong : C'est Toussaint Morrison. Il montre mon producteur, Tate Ryan Mosley, autour d'un parc à Minneapolis, Minnesota, à 2 miles et demi de route de l'endroit où George Floyd a été tué le 25 mai, déclenchant ce qui est probablement le plus grand mouvement de protestation de l'histoire américaine.

Toussaint Morrison : À environ un demi-mile à l'est se trouvait l'endroit où une tentative a été faite pour incendier le poste de police du cinquième arrondissement.

Jennifer Strong : Morrison est musicien, acteur, cinéaste et, ces derniers mois, il est également devenu un organisateur du mouvement Black Lives Matter à Minneapolis.

Toussaint Morrison: Votre colère est parfaitement justifiée. Votre peau est belle et vous n'êtes pas le criminel qu'ils prétendent être.

Jennifer Strong : Il est bien connu ici. Les militants savent qui il est. Les responsables gouvernementaux savent qui il est. Et il pense que la police aussi.

Tate Ryan Mosley : Avez-vous eu des conversations avec des personnes qui craignent d'être identifiées par des policiers qui pourraient avoir des photos d'eux lors des manifestations faisant partie des manifestations ?

Toussaint Morrison: Il y a forcément une peur. Je l'ai appris un peu trop tard. Le nom de mon gouvernement et mon visage sont là-bas. Donc, je veux dire, alors oui, cela a définitivement été une préoccupation. Et, je l'ai entendu des Noirs aux Blancs, à, à, tout ce qui se passe entre les gens.

Jennifer Strong : Bien qu'il dise que les manifestants sont plus préoccupés par leur sécurité physique en ce moment, comme être heurtés par une voiture.

Toussaint Morrison: La sortie d'identité n'a pas été quelque chose que j'ai entendu autant que d'être, avoir peur pour sa vie lors d'une marche réelle.

Jennifer Strong : Nous savons d'après une enquête de Buzzfeed que la police ici a accès à de nombreuses technologies de surveillance, y compris le logiciel de reconnaissance faciale de Clearview - dont vous vous souviendrez de l'épisode deux - et qu'ils ont des raies pastenagues qui agissent comme des tours cellulaires pour saisir les données mobiles, une surveillance audio système appelé ShotSpotter et un système de caméra avec des analyses vidéo superposées.

Des agents fédéraux ont également fait voler un drone prédateur au-dessus des manifestations. Et Morrison pense que ces outils ciblent différemment les communautés de couleur.

Toussaint Morrison: Maintenant, ils n'ont plus besoin d'une raison pour se méfier. Oh, j'ai vu que ton visage était à ce rassemblement. Et, et je vois que ça s'aligne avec autre chose. Et si la technologie était mauvaise ? Ils ne penseront pas que ce serait possible, vous savez, parce qu'ils font confiance à l'ordinateur. Cette technologie accroît donc le danger. C'est déjà dangereux. Et il est déjà pointé du doigt les personnes de couleur, les personnes handicapées, les personnes trans. Nous sommes, nous sommes le poids de cette technologie. Ainsi, lorsque vous créez cette technologie, qui affecte-t-elle le plus ?

Jennifer Strong : Je m'appelle Jennifer Strong et c'est la quatrième partie de notre série sur la police et la reconnaissance faciale, où nous explorerons la voie à suivre et à quoi pourrait ressembler la réglementation.

Toussaint Morrison : En avançant, je ne sais pas ce qui va se passer,

mais je, ce que je sais, c'est qu'il n'y aura pas de retour en arrière, vous savez, il n'y aura pas de retour en arrière.

Jameson Spivek : Nous ne savons pas si la police utilise la reconnaissance faciale lors de la vague actuelle de manifestations, mais nous savons deux choses. Un, que beaucoup d'entre eux ont la capacité de le faire, et deux -- c'est arrivé dans le passé.

Jennifer Strong : Jameson Spivek est associé politique au Center for Privacy and Technology...

Jameson Spivek : ... qui est un groupe de réflexion indépendant basé à la Georgetown Law School.

Jennifer Strong : En 2015, la police de Baltimore a utilisé le suivi des médias sociaux sur les personnes qui protestaient contre la mort de Freddie Gray.

La reconnaissance faciale a aidé la police à identifier les manifestants avec des mandats en cours et ils les ont arrêtés directement dans la foule.

Spivek s'inquiète de ce que cela signifie pour la liberté d'expression si cela continue.

Jameson Spivek : C'est vraiment troublant car cela décourage la parole et la participation politiques, protégées par le premier amendement. donc si les gens pensent qu'ils sont identifiés ou arrêtés pour un crime sans rapport avec les manifestations, ils n'y assisteront pas. Il s'agit donc de cibler et de décourager spécifiquement le discours politique noir.

Jennifer Strong : Et, plus largement...

Jameson Spivek : Il déplace considérablement l'équilibre des pouvoirs vers les gouvernements. Cela leur donne la capacité d'identifier et de suivre de nombreuses personnes… à distance et en secret. Et le gouvernement n'a jamais eu la capacité de surveiller le public comme ça. Il s'agit essentiellement d'une solution de contournement qui permet à la police d'effectuer des perquisitions sans mandat.

Jennifer Strong : C'est ainsi qu'il voit la réglementation commencer à prendre forme.

Jameson Spivek : Une option qui a déjà été mise en place consiste simplement à interdire l'utilisation de cette technologie par la police dans son ensemble. C'est imparfait... Cela facilite des niveaux sans précédent de surveillance gouvernementale et il a été démontré que la police en abuse. De même, une autre option consiste à imposer un moratoire sur l'utilisation par la police de la reconnaissance faciale. Et ce que cela fait, c'est que cela donne au public et aux élus le temps de se mettre au courant de ce qu'est cette technologie, de son fonctionnement, de la façon dont la police l'utilise. Ensuite, une autre option consiste à adopter simplement une réglementation qui autorise la police à l'utiliser, mais qui impose certaines restrictions à sa capacité à l'utiliser.

Jennifer Strong : En rapportant cette série, nous avons parlé à plusieurs personnes qui pensent qu'il n'est tout simplement pas possible de réformer l'utilisation de l'identification faciale. L'ACLU dit qu'il devrait être interdit à l'échelle nationale. Et donc, je suis curieux de savoir quel type de réglementation, selon lui, ferait vraiment une différence ?

Jameson Spivek : Des choses comme exiger un mandat de recherche de cause probable pour toute recherche de reconnaissance faciale, restreindre l'utilisation aux crimes violents et interdire l'utilisation de la reconnaissance faciale pour l'application de la loi sur l'immigration. Interdictions strictes de l'utilisation de la reconnaissance faciale en conjonction avec des choses comme les drones ou dans les caméras corporelles portées par la police, ou pour la surveillance continue, car la reconnaissance faciale ne doit pas être utilisée dans des situations de vie ou de mort. Une autre chose est d'avoir une divulgation obligatoire et obligatoire aux accusés que la police utilise la reconnaissance faciale pour les identifier et ensuite les arrêter.

Jennifer Strong : Mais même si ces règlements ne sont pas adoptés, il dit que nous devons...

Jameson Spivek : Tester pour s'assurer que c'est précis et qu'il n'est pas biaisé et, avoir des rapports sur la façon dont il est utilisé et, et la transparence… Tout cela est bon et ils sont tous nécessaires…. Mais ils ne suffisent pas. Nous avons vraiment besoin de ces réformes plus profondes.

Jennifer Strong : Il dit qu'il ne peut pas appartenir uniquement aux entreprises qui fabriquent la technologie d'être responsables des règles qui la régissent.

Jameson Spivek : Nous devons être très vigilants et nous demander ce que ces entreprises soutiennent en termes de législation, vont-elles vraiment protéger les personnes ou est-ce juste un moyen pour les entreprises d'avoir des éclaircissements sur la façon dont la technologie est réglementée, mais pas vraiment réglementé d'une manière suffisamment forte pour protéger réellement les gens et affecter réellement la capacité de l'entreprise à le produire. Je ne pense pas qu'ils vont volontairement renoncer à vendre cette technologie. c'est donc vraiment aux législateurs d'intervenir.

Jameson Spivek : La plupart des grandes entreprises qui développent la reconnaissance faciale pour la police et le gouvernement sont des entreprises plus petites et plus spécialisées dont la plupart des gens n'ont pas entendu parler.

Jennifer Strong : L'une de ces entreprises dont vous n'avez probablement jamais entendu parler est NTechLab, même si elle a fait des vagues il y a environ cinq ans lorsque, en tant que toute nouvelle startup, elle a battu Google et remporté un concours international avec une précision de 95 % dans l'une des catégories. .

Depuis lors, la société russe a remporté à plusieurs reprises des concours de biométrie organisés par des sociétés telles qu'Amazon, par des agences gouvernementales américaines et des universités.

Jennifer Strong : Et le fondateur de la société est cet homme…

Artem Kuharenko : Artem Kuharenko

Jennifer Strong : NTechLab est surtout connu pour son application appelée FindFace, qui permet aux utilisateurs de rechercher des profils de médias sociaux avec des photos sur leurs téléphones.

Est-il destiné à un certain groupe de personnes ou souhaitez-vous qu'il soit accessible à tous sur les réseaux sociaux ?

Artem Kuharenko : Il était disponible pour n'importe qui sur Internet.

Jennifer Strong : C'est ainsi que John Oliver a décrit l'application lors d'un récent épisode de Last Week Tonight de HBO.

Jean Olivier : Si vous voulez savoir à quel point cette technologie pourrait être terrifiante si elle faisait partie de la vie quotidienne, regardez simplement un présentateur de télévision russe faire la démonstration d'une application appelée FindFace… [newsreel] Si vous vous retrouvez dans un café avec une jolie fille et vous n'avez pas le courage de l'approcher, pas de problème. Tout ce dont vous avez besoin est un smartphone et l'application FindFace.

Jennifer Strong : L'homme dans cette vidéo utilise l'application pour prendre une photo d'une femme à une autre table. Il affiche instantanément son profil sur la version russe de Facebook.

Jean Olivier : Imaginez que du point de vue d'une femme... ne vous inquiétez pas, je sais déjà où vous habitez.

Jennifer Strong : L'application a été un succès viral. Mais ces jours-ci, l'attention de NTechLab est sur la reconnaissance faciale en direct, ce qui signifie que l'algorithme fonctionne en vidéo, en temps réel.

Un système qu'ils ont installé dans la ville de Moscou est considéré comme l'un des plus grands de ce type au monde.

Artem Kuharenko : À l'heure actuelle, plus de 100 000 caméras vidéo sont connectées au système, et le système s'est avéré très utile et utile pour la ville.

Jennfier Strong : Donc, 100 000 caméras vidéo, capturant un milliard de visages par mois. Et il affirme que le système est très, très précis.

Artem Kuharenko : Il n'y a donc qu'une seule fausse acceptation, pour 10 milliards de comparaisons. C'est un sur 10 zéros.

Jennfier Strong : Ce genre de précision est inouï. Mais nous ne pouvons pas non plus dire que c'est impossible - et j'expliquerai pourquoi dans un instant. Ce que nous savons, c'est qu'il est beaucoup plus difficile d'obtenir une précision sur la vidéo en direct que sur les photos.

Plus tôt dans cette série, nous avons parlé d'essais de reconnaissance faciale en direct par la police de Londres qui ont produit un taux de précision d'environ 20 %. Et un autre à New York qui, pendant sa période de test, n'a pas produit une seule correspondance correcte.

Mais à Moscou, Kuharenko dit que son système est utilisé pour résoudre des crimes en temps réel. Y compris lors de la plus grande compétition de football au monde :

Artem Kuharenko : Lors de la coupe du monde de football en 2018 à Moscou, plus de 100 criminels ont été arrêtés à cause du système.

Jennfier Strong : NtechLab travaille avec plus d'une centaine de clients dans 20 pays, dont le fabricant de puces américain Nvidia et le télécom chinois Huawei. Il a également des projets de villes intelligentes à Dubaï, des projets fintech en Europe et des partenariats de vente au détail en Amérique du Nord et du Sud.

La société soumet certains algorithmes à des tests par le gouvernement américain, mais il dit qu'ils ne peuvent pas le faire pour leur travail le plus avancé.

Parce que le NIST - ou The National Institute of Standards and Technology - teste des algorithmes de reconnaissance faciale sur des photos et que ses derniers systèmes utilisent la vidéo.

Artem Kuharenko : Leurs tests sont assez éloignés des scénarios réels.

Jennfier Strong : Et si les organismes gouvernementaux ne rattrapent pas la technologie, les entreprises doivent plus ou moins s'auto-auditer.

Artem Kuharenko : Les entreprises leaders dans le domaine ont leurs propres tests. Dans notre entreprise, nous avons beaucoup de tests différents avant de l'envoyer en production. Mais le problème est qu'il n'y a pas de test indépendant, qui sera ouvert, où n'importe qui pourrait voir et n'importe qui pourrait tester tous les algorithmes.

Jennfier Strong : Cet été, NTechLab a ajouté la détection de silhouette à sa plateforme vidéo. Il est utilisé pour identifier les personnes dans le profil.

Ils ont également assumé un nouveau rôle avec la pandémie mondiale…

Artem Kuharenko : ...mesurer la distance entre les personnes et trouver des zones où de nombreuses personnes se tiennent les unes à côté des autres, afin que la ville puisse améliorer les processus qui se déroulent dans ces zones. Cela a également aidé à arrêter l'expansion du coronavirus à Moscou.

Jennifer fort : Maintenant, mais comme nous sommes au milieu de cette pandémie mondiale, dans quelle mesure la technologie fonctionne-t-elle lorsque quelqu'un porte un masque ?

Artem Kuharenko : Il fonctionne avec la même précision que sans masque. C'est donc quasiment la même précision. Et nous avons également un algorithme spécial, qui peut dire s'il y a un masque sur une personne et s'il est correctement porté ou non.

Jennfier Strong : Le port d'un masque a généralement entraîné une baisse de la précision de ces systèmes, y compris lors d'un test pré-pandémique de NTech Lab par le NIST. Mais la pandémie a créé une sorte de course aux armements entre les entreprises essayant de construire des systèmes qui lisent les visages masqués. L'agence affirme également que les algorithmes de l'entreprise sont souvent parmi les plus précis qu'ils testent.

Nous ne savons tout simplement pas.

Mais masqué ou non, la reconnaissance faciale n'est pas la seule chose qui se passe sur ces flux vidéo.

Artem Kuharenko : La détection de voiture... la reconnaissance de plaque d'immatriculation... et nous combinons toutes ces analyses vidéo afin qu'elles puissent fonctionner comme un système complet et extraire autant d'informations que possible du flux vidéo. Idéalement, le système pourra extraire autant d'informations que l'homme peut voir dans la vidéo. Mais l'algorithme peut le faire, avec une bien meilleure vitesse. Et, si l'homme ne peut traiter qu'un seul flux vidéo à la fois, le système pourrait traiter des centaines et des centaines de milliers de vidéos en temps réel.

Jennfier Strong : Avez-vous déjà craint que quelqu'un puisse prendre tout votre travail acharné et l'utiliser pour construire un monde dans lequel vous ne voulez pas vraiment vivre ?

Artem Kuharenko : Euh, je ne, je ne crois pas vraiment à ce scénario parce que c'est tout à fait, c'est un bon scénario pour le film, mais c'est un scénario très improbable dans la vraie vie.

Artem Kuharenko : En tant qu'entreprise technologique, nous essayons toujours d'informer les gens afin qu'ils comprennent ce qui se passe et décident s'ils le veulent ou non.

Jennfier Strong : Comme le fondateur de Clearview, il dit que c'est à nous, gens ordinaires et citoyens du monde entier, de décider si et comment vivre avec cette technologie. Maintenant, compte tenu des nombreux problèmes liés à la transparence et à la responsabilité, cela ne semble pas si facile. Mais il y a des gens qui s'efforcent d'assumer cette responsabilité.

Et vous en rencontrerez un dans un instant.

Deb Raji : Je suppose que le voyage vers où nous en sommes aujourd'hui est né de cette première sorte de fissuration des lentilles roses de, c'est une technologie qui fonctionne, et de démontrer qu'elle ne fonctionne pas pour des personnes très spécifiques... et puis plus tard en ouvrant up, cette conversation autour de ce que cela signifie réellement pour que la reconnaissance faciale fonctionne ?

Je m'appelle Debra Raji et je suis tech fellow à l'A-I now Institute.

Jennfier Strong : Il est basé à NYU et s'efforce de comprendre l'impact social de la reconnaissance faciale et d'autres technologies d'IA.

Deb Raji : Vous savez, comment pouvons-nous réellement commencer à avoir des conversations sur sa restriction, sur la divulgation de son utilisation, et comment cela se traduit-il en termes de restrictions politiques ?

Jennfier Strong : En tant que chercheuse en IA, elle a un super pouvoir que la plupart d'entre nous n'ont pas. Elle peut auditer les algorithmes qui font fonctionner les produits d'identification faciale... tant que les entreprises fournissent l'accès.

Et ses efforts forcent le changement. L'étincelle qui l'a envoyée sur cette voie est venue de ce qu'elle décrit comme une réalisation horrible lors de son stage universitaire dans une startup d'apprentissage automatique.

Deb Raji : Attendez une seconde, la reconnaissance faciale ne fonctionne pas pour tout le monde.

Jennfier Strong : Elle travaillait sur un modèle de vision par ordinateur qui aiderait les clients à signaler les images inappropriées comme dangereuses pour le travail. Le problème était qu'il signalait les photos de personnes de couleur à un taux beaucoup plus élevé.

Alors, elle a cherché le problème, et elle l'a trouvé. Le modèle apprenait à reconnaître les images non sûres de la pornographie et les images sûres des photos d'archives. Il s'avère que le porno est beaucoup plus diversifié et que cette diversité a amené le modèle à associer automatiquement la peau foncée à un contenu salace.

La startup a refusé de faire quoi que ce soit à ce sujet. Elle est donc allée travailler sur ces questions avec une femme que nous avons rencontrée plus tôt dans cette série - Joy Buolamwini - qui, en tant qu'étudiante diplômée, a créé un ensemble de données plus diversifié et équilibré. Ils l'ont utilisé pour auditer les algorithmes des produits Face ID déjà sur le marché.

Ce travail a beaucoup à voir avec la compréhension actuelle de la façon dont ces produits laissent tomber les femmes et les personnes de couleur.

Mais cela a eu un coût.

Deb Raji : La communauté de la vision par ordinateur à cette époque n'avait pas ces conversations sur l'éthique, la société et l'équité. Par exemple, maintenant nous sommes beaucoup plus à l'aise avec ce travail, mais il fut un temps où même la communauté des chercheurs était également très hostile et se demandait en quelque sorte, qu'est-ce que c'est ? Quel est votre point ici? Quelle est la signification de cela?

Jennfier Strong : Cela a changé au fil du temps et elle dit qu'elle a également trouvé du soutien au sein des entreprises qu'ils auditent.

Deb Raji : Et même si leur position au niveau institutionnel ou au niveau de l'entreprise était défensive. Ces personnes au sein de ces entreprises se sont battues très fort pour changer la position de leurs entreprises et pour faire pression pour certains de ces postes que nous voyons aujourd'hui.

Jennfier Strong : Amazon et Microsoft ont récemment mis un terme à la vente de leurs systèmes d'identification faciale aux forces de l'ordre. IBM a complètement cessé de travailler dessus.

Deb Raji : Il y a ce genre de reconnaissance supplémentaire avec ces moratoires pour dire, attendez, et en fait, pendant que cette conversation nuancée se déroule concernant l'établissement de cette politique et de cette réglementation dont nous avons désespérément besoin. Nous n'allons pas vendre cette technologie en même temps. Et je pense que cette prise de conscience et cet écart est un pas en avant important dans la conversation.

Jennfier Strong : Donc, il y a urgence à ce moment, qu'elle appelle une pause. Et pendant cette pause, nous devons régler beaucoup de choses.

Mais si nous comptions sur les entreprises technologiques pour aller jusqu'au bout de la réglementation ?

Deb Raji : … ils vont toujours échouer.

VO : Et elle prévient que Face ID n'est que la pointe de l'iceberg.

Deb Raji : Il est beaucoup plus facile d'avoir cette conversation sur les visages que sur les données d'assurance ou les données médicales, ou, vous savez, même certaines d'entre elles, les systèmes de sécurité sociale, même si cette situation exacte de cette performance disproportionnée s'applique également à ces cas.

Jennfier Strong : Donc, à l'avenir, elle veut la divulgation et la transparence. Elle demande également un système d'évaluation approprié.

Au final, cependant :

Deb Raji : Une grande partie du pouvoir est entre les mains des décideurs, car les grandes entreprises technologiques ne devraient certainement pas contrôler la conversation.

Jennfier Strong : Nous sommes peut-être à un point d'inflexion dans notre relation avec la reconnaissance faciale et avec la façon dont elle est utilisée.

Et pourtant, il semble sûr de dire que l'adoption de cette technologie est susceptible de se poursuivre à un rythme effréné, laissant notre compréhension de sa puissance et de son impact dans la poussière - à moins que nous ne nous arrêtions vraiment et que nous prenions notre souffle, et que nous établissions des règles pour qui a accès aux images de nos visages et à ce qu'ils peuvent en faire.

Prochain épisode… nous allons chercher le coronavirus dans le métro de New York, alors que nous explorons le rôle de l'IA dans la remise en marche et le déplacement des systèmes de transport en commun du monde.

Cet épisode a été rapporté et produit par moi, Tate Ryan-Mosley, Emma Cillekens et Karen Hao. Nous avons eu l'aide de Benji Rosen. Nous sommes édités par Michael Reilly et Gideon Litchfield. Notre directeur technique est Jacob Gorski.

Nous vous reverrons ici dans quelques semaines.

Merci de m'avoir écouté, je suis Jennifer Strong.

cacher