Huit études de cas sur la réglementation de la technologie biométrique nous montrent la voie à suivre

Amba Kak avec l'aimable autorisation d'AI Now

Amba Kak était à la faculté de droit en Inde lorsque le pays a lancé le projet Aadhaar en 2009. Le système national d'identification biométrique, conçu comme un programme d'identité complet, cherchait à collecter les empreintes digitales, les scans de l'iris et les photographies de tous les résidents. Il ne fallut pas longtemps, se souvient Kak, avant que des histoires sur ses conséquences dévastatrices ne commencent à se répandre. Nous avons soudainement entendu des rapports sur la façon dont les travailleurs manuels qui travaillaient avec leurs mains - comment leurs empreintes digitales échouaient dans le système, et ils se voyaient alors refuser l'accès aux produits de première nécessité, dit-elle. Nous avions en fait morts de faim en Inde qui étaient liés aux barrières créées par ces systèmes d'identification biométriques. C'était donc une question vraiment cruciale.

Ces cas l'ont incitée à rechercher des systèmes biométriques et la manière dont la loi pourrait les tenir responsables. Le 2 septembre, Kak, qui est maintenant directeur de la stratégie et des programmes mondiaux à l'AI Now Institute, basé à New York, a publié un nouveau rapport détaillant huit études de cas sur la façon dont les systèmes biométriques sont réglementés dans le monde. Ils couvrent les efforts de la ville, de l'État, du pays et du monde, ainsi que certains d'organisations à but non lucratif. L'objectif est de développer une meilleure compréhension de la façon dont les différentes approches fonctionnent ou échouent. J'ai parlé à Kak de ce qu'elle avait appris et de la façon dont nous devrions aller de l'avant.

Cette interview a été éditée et condensée pour plus de clarté.

Qu'est-ce qui a motivé ce projet ?

La technologie biométrique est proliférer et se normaliser , à la fois dans les domaines gouvernementaux mais aussi dans nos vies privées. La surveillance des manifestations à l'aide de la reconnaissance faciale a eu lieu cette année seulement à Hong Kong, à Delhi, à Detroit et à Baltimore. Les systèmes d'identification biométrique, dont on parle moins, où la biométrie est utilisée comme condition d'accès à vos services sociaux, ont également proliféré dans les pays à revenu faible et intermédiaire d'Asie, d'Afrique et d'Amérique latine.

Mais ce qui est intéressant, c'est que le recul contre ces systèmes est également à son apogée. Le plaidoyer qui l'entoure attire plus d'attention que jamais. Alors la question est : où sont la place de la loi et de la politique ? C'est là qu'intervient ce compendium. Ce rapport tente de tirer ce que nous pouvons apprendre de ces expériences à un moment où il semble y avoir un grand appétit des gouvernements et des groupes de défense pour plus de réglementation.

Quel est l'état actuel de la réglementation biométrique à l'échelle mondiale ? Quelle est la maturité des cadres juridiques pour gérer cette technologie émergente ?

Il y a environ 130 pays dans le monde qui ont des lois sur la protection des données. Presque tous couvrent les données biométriques. Donc, si nous posons simplement la question de savoir s'il existe des lois pour réglementer les données biométriques, alors la réponse serait dans la plupart des pays, elles le font.

Mais quand on creuse un peu plus, quelles sont les limites d'une loi sur la protection des données ? Une loi sur la protection des données à son meilleur peut vous aider à réglementer le moment où les données biométriques sont utilisées et à vous assurer qu'elles ne sont pas utilisées à des fins pour lesquelles le consentement n'a pas été donné. Mais des questions comme l'exactitude, la discrimination, ces questions ont encore reçu très peu d'attention juridique.

D'un autre côté, qu'en est-il de l'interdiction complète de la technologie ? Nous avons vu cela se concentrer aux États-Unis au niveau de la ville et de l'État. Je pense que les gens oublient parfois que la majeure partie de cette activité législative s'est concentrée sur l'utilisation publique et, plus précisément, sur l'utilisation par la police.

Nous avons donc un mélange de lois sur la protection des données qui fournit certaines garanties mais qui est intrinsèquement limité. Et puis nous avons une concentration de ces moratoires complets au niveau des villes et des États locaux aux États-Unis.

Quels sont les thèmes communs qui ont émergé de ces études de cas ?

Pour moi, le plus clair était le chapitre sur l'Inde par Nayantara Ranganathan, et le chapitre sur la base de données australienne de reconnaissance faciale de Monique Mann et Jake Goldenfein. Il s'agit dans les deux cas d'architectures d'État centralisées massives où l'essentiel est de supprimer les silos techniques entre différents États et d'autres types de bases de données, et de s'assurer que ces bases de données sont liées de manière centralisée. Vous créez donc cette architecture de données biométriques centralisée et centralisée monstrueuse. Ensuite, en tant que pansement sur cet énorme problème, vous dites : OK, nous avons une loi sur la protection des données, qui stipule que les données ne doivent jamais être utilisées à des fins qui n'ont pas été imaginées ou anticipées. Mais en attendant, vous changez les attentes de ce qui peut être anticipé. Aujourd'hui, la base de données qui était utilisée dans un contexte de justice pénale est maintenant utilisée dans un contexte d'immigration.

Par exemple, [aux États-Unis] ICE utilise ou essaie d'utiliser des bases de données DMV dans différents États dans le cadre de l'application des lois sur l'immigration. Ce sont donc des bases de données créées dans un contexte civil, et ils essaient de les utiliser pour l'immigration. De même en Australie, vous avez cette base de données géante, qui comprend des données sur les permis de conduire, qui va maintenant être utilisée à des fins de justice pénale illimitées, et où le département des affaires intérieures aura un contrôle total. Et de même en Inde, ils ont créé une loi, mais la loi a essentiellement laissé la plus grande partie du pouvoir discrétionnaire entre les mains de l'autorité qui a créé la base de données. Je pense donc qu'à partir de ces trois exemples, ce qui me paraît clair, c'est qu'il faut lire la loi dans le contexte des mouvements politiques plus larges qui se produisent. Si je devais résumer la tendance générale, c'est la sécurisation de tous les aspects de la gouvernance, de la justice pénale à l'immigration en passant par l'aide sociale, et cela coïncide avec la poussée de la biométrie. C'est un.

La seconde – et c'est une leçon que nous ne cessons de répéter – le consentement en tant qu'outil juridique est tout à fait cassé, et il est définitivement cassé dans le contexte des données biométriques. Mais ça ne veut pas dire que c'est inutile. de Woody Hartzog chapitre sur le BIPA de l'Illinois [Biometric Information Privacy Act] dit: Écoutez, c'est formidable que nous ayons eu plusieurs poursuites judiciaires réussies contre des entreprises utilisant BIPA, plus récemment avec Clearview AI. Mais nous ne pouvons pas continuer à nous attendre à ce que le modèle de consentement entraîne un changement structurel. Notre solution ne peut pas être : L'utilisateur sait mieux ; l'utilisateur dira à Facebook qu'il ne veut pas que ses données faciales soient collectées. Peut-être que l'utilisateur ne le fera pas et qu'il ne devrait pas incomber à l'individu de prendre ces décisions. C'est quelque chose que la communauté de la protection de la vie privée a vraiment appris à ses dépens, c'est pourquoi des lois comme le RGPD ne reposent pas uniquement sur le consentement. Il existe également des règles strictes qui stipulent : si vous avez collecté des données pour une raison, vous ne pouvez pas les utiliser à d'autres fins. Et vous ne pouvez pas collecter plus de données que ce qui est absolument nécessaire.

Y avait-il un pays ou un État qui, selon vous, s'est révélé particulièrement prometteur dans son approche de la réglementation de la biométrie ?

Oui, sans surprise, ce n'est pas un pays ou un état. C'est en fait le Comité international de la Croix-Rouge [CICR]. Dans le volume, Ben Hayes et Massimo Marelli—tous deux sont en fait des représentants du CICR— a écrit une pièce de réflexion sur la façon dont ils ont décidé qu'il y avait un intérêt légitime pour eux à utiliser la biométrie dans le cadre de la distribution de l'aide humanitaire. Mais ils ont également reconnu que de nombreux gouvernements feraient pression sur eux pour accéder à ces données afin de persécuter ces communautés.

Ils avaient donc une véritable énigme, et ils l'ont résolue en disant : nous voulons créer une politique de biométrie qui minimise la rétention réelle des données biométriques des personnes. Donc, ce que nous allons faire, c'est avoir une carte sur laquelle les données biométriques de quelqu'un sont stockées en toute sécurité. Ils peuvent utiliser cette carte pour avoir accès à l'aide humanitaire ou à l'assistance fournie. Mais s'ils décident de jeter cette carte, les données ne seront stockées nulle part ailleurs. La politique a essentiellement décidé de ne pas établir de base de données biométrique avec les données des réfugiés et autres personnes ayant besoin d'aide humanitaire.

Pour moi, la leçon la plus large à en tirer est de reconnaître quel est le problème. Le problème dans ce cas était que les bases de données créaient un pot de miel et un risque réel. Ils ont donc imaginé à la fois une solution technique et un moyen pour les personnes de retirer ou de supprimer leurs données biométriques en toute agence.

Quelles sont les principales lacunes que vous voyez dans les approches de la réglementation biométrique à tous les niveaux ?

Un bon exemple pour illustrer ce point est le suivant : comment la loi traite-t-elle toute cette question de partialité et d'exactitude ? Au cours des dernières années, nous avons vu tant de recherches fondamentales de personnes comme Joy Buolamwini, Timnit Gebru et Deb Raji qui posent des défis existentiels : ces systèmes fonctionnent-ils ? Contre qui travaillent-ils ? Et même lorsqu'ils réussissent ces soi-disant tests de précision, comment fonctionnent-ils réellement dans un contexte réel ?

La confidentialité des données ne se préoccupe pas de ces types de problèmes. Donc, ce que nous avons vu maintenant - et il s'agit principalement d'efforts législatifs aux États-Unis - ce sont des projets de loi qui imposent des audits de précision et de non-discrimination pour les systèmes de reconnaissance faciale. Certains d'entre eux disent : Nous suspendons l'utilisation de la reconnaissance faciale, mais une condition pour lever ce moratoire est que vous réussissiez ce test de précision et de non-discrimination. Et les tests auxquels ils se réfèrent souvent sont des tests de normes techniques comme le test du fournisseur de reconnaissance faciale du NIST.

Mais comme je le dis dans ce premier chapitre , ces tests évoluent ; il a été prouvé qu'ils sous-performent dans des contextes réels ; et surtout, ils sont limités dans leur capacité à faire face à l'impact discriminatoire plus large de ces systèmes lorsqu'ils sont appliqués à la pratique. Je suis donc vraiment inquiet à certains égards que ces normes techniques deviennent une sorte de case à cocher qui doit être cochée, et qui ensuite ignore ou masque les autres formes de dommages que ces technologies ont lorsqu'elles sont appliquées.

Comment ce compendium a-t-il changé votre façon de penser la régulation biométrique ?

La chose la plus importante que cela a fait pour moi est de ne pas considérer la réglementation comme un simple outil qui aidera à limiter ces systèmes. Ce pouvez être un outil pour repousser ces systèmes, mais également un outil pour normaliser ou légitimer ces systèmes. Ce n'est que lorsque nous regardons des exemples comme celui de l'Inde ou celui de l'Australie que nous commençons à voir le droit comme un instrument à multiples facettes, qui peut être utilisé de différentes manières. Au moment où nous poussons vraiment à dire Ces technologies doivent-elles vraiment exister ? la loi, et en particulier la réglementation faible, peut vraiment être militarisée. C'était un bon rappel pour moi. Nous devons faire attention à cela.

Cette conversation a définitivement été révélatrice pour moi car en tant que personne qui couvre la façon dont la technologie est militarisée, on me demande souvent, quelle est la solution ? et je dis toujours, Règlement. Mais maintenant, vous dites que la réglementation peut aussi être militarisée.

C'est tellement vrai! Cela me fait penser à ces groupes qui travaillaient sur la violence domestique en Inde. Et je me souviens qu'ils ont dit qu'à la fin de décennies de lutte pour les droits des survivants de la violence domestique, le gouvernement a finalement dit, d'accord, nous avons adopté cette loi. Mais après cela, rien n'a changé. Je me souviens avoir pensé même alors, nous glorifions parfois l'idée d'adopter des lois, mais que se passe-t-il après cela ?

Et c'est une bonne transition, même si je lis Clare Garvie et Jameson Spivack chapitre sur les interdictions et les moratoires , ils soulignent que la plupart de ces interdictions ne s'appliquent qu'à l'utilisation gouvernementale. Il y a toujours cette énorme industrie privée de plusieurs milliards de dollars. Donc, il va toujours être utilisé au concert de Taylor Swift de manière très similaire à la manière dont les flics l'utiliseraient : pour empêcher les gens d'entrer, pour discriminer les gens. Cela n'arrête pas la machine. Cette type d'intervention juridique nécessiterait un plaidoyer sans précédent. Je ne pense pas qu'il soit impossible d'avoir cette soi-disant interdiction complète, mais nous n'en sommes pas encore là. Alors oui, nous devons être plus circonspects et critiques sur la façon dont nous comprenons le rôle de la loi.

Qu'est-ce qui, dans le compendium, vous a rendu optimiste quant à l'avenir ?

C'est toujours une question difficile, mais ça ne devrait pas l'être. C'était probablement Chapitre de Rashida Richardson et Stephanie Coyle . Leur chapitre ressemblait presque à une ethnographie sur ce groupe de parents à New York qui étaient très attachés au fait qu'ils ne voulaient pas que leurs enfants soient surveillés. Et ils étaient comme, nous allons aller à chaque réunion, même s'ils ne s'attendent pas à ce que nous le fassions. Et nous allons dire que nous avons un problème avec cela.

C'était juste très rassurant d'apprendre une histoire où c'est le groupe de parents qui a complètement changé le discours. Ils ont dit : ne parlons pas de savoir si la biométrie ou la surveillance sont nécessaires. Parlons simplement des dommages réels que cela cause à nos enfants et de savoir si c'est la meilleure utilisation de l'argent. Un sénateur a ensuite repris cela et a présenté un projet de loi, et juste en août, le Sénat de l'État de New York a adopté ce projet de loi. J'ai célébré avec Rashida parce que j'étais genre, Yay ! Des histoires comme celle-ci arrivent ! C'est très profondément lié à l'histoire du plaidoyer.

cacher