Supprimer des ensembles de données contraires à l'éthique n'est pas suffisant

Mme Tech | Pixabay

En 2016, dans l'espoir de stimuler les progrès de la reconnaissance faciale, Microsoft a publié la plus grande base de données de visages au monde. Appelé MS-Celeb-1M, il contenait 10 millions d'images de 100 000 visages de célébrités. Cependant, la célébrité était vaguement définie.

Trois ans plus tard, les chercheurs Adam Harvey et Jules LaPlace parcouru l'ensemble de données et trouvé de nombreux individus ordinaires, comme des journalistes, des artistes, des militants et des universitaires, qui maintiennent une présence en ligne pour leur vie professionnelle. Aucun n'avait donné son consentement pour être inclus, et pourtant leurs visages avaient trouvé leur place dans la base de données et au-delà ; des recherches utilisant la collection de visages ont été menées par des entreprises telles que Facebook, IBM, Baidu et SenseTime, l'un des plus grands géants chinois de la reconnaissance faciale, qui vend sa technologie à la police chinoise.

Peu de temps après l'enquête de Harvey et LaPlace, et après avoir reçu critiques des journalistes , Microsoft a supprimé l'ensemble de données, déclarant simplement : Le défi de la recherche est terminé. Mais les problèmes de confidentialité qu'il a créés persistent dans un Internet pour toujours. Et ce cas n'est pas le seul.

Gratter le Web pour des images et du texte était autrefois considéré comme une stratégie inventive pour collecter des données du monde réel. Désormais, des lois telles que le RGPD (règlement européen sur la protection des données) et l'inquiétude croissante du public concernant la confidentialité et la surveillance des données ont rendu cette pratique juridiquement risquée et inconvenante. En conséquence, les chercheurs en IA ont de plus en plus retiré les ensembles de données qu'ils ont créés de cette façon.

Mais une nouvelle étude montre que cela n'a pas fait grand-chose pour empêcher les données problématiques de proliférer et d'être utilisées. Les auteurs ont sélectionné trois des ensembles de données les plus fréquemment cités contenant des visages ou des personnes, dont deux avaient été retirés ; ils ont retracé la manière dont chacun avait été copié, utilisé et réutilisé dans près de 1 000 articles.

Dans le cas de MS-Celeb-1M, des copies existent toujours sur des sites tiers et dans des ensembles de données dérivés construits sur l'original. Les modèles open source pré-formés sur les données restent également facilement disponibles. L'ensemble de données et ses dérivés ont également été cités dans des centaines d'articles publiés entre six et 18 mois après la rétractation.

DukeMTMC, un ensemble de données contenant des images de personnes marchant sur le campus de l'Université Duke et retiré le même mois que MS-Celeb-1M, persiste de la même manière dans des ensembles de données dérivés et des centaines de citations papier.

La liste des endroits où les données persistent est plus longue que nous ne l'aurions initialement pensé, déclare Kenny Peng, étudiant en deuxième année à Princeton et co-auteur de l'étude. Et même cela, dit-il, est probablement une sous-estimation, car les citations dans les articles de recherche ne tiennent pas toujours compte de la manière dont les données pourraient être utilisées à des fins commerciales.

Devenu fou

Une partie du problème, selon l'article de Princeton, est que ceux qui rassemblent des ensembles de données perdent rapidement le contrôle de leurs créations.

Les ensembles de données publiés dans un but peuvent rapidement être cooptés pour d'autres qui n'ont jamais été prévus ou imaginés par les créateurs originaux. MS-Celeb-1M, par exemple, était destiné à améliorer la reconnaissance faciale des célébrités, mais a depuis été utilisé pour une reconnaissance faciale plus générale et une analyse des traits du visage, ont découvert les auteurs. Il a également été réétiqueté ou retraité dans des ensembles de données dérivés comme Racial Faces in the Wild, qui regroupe ses images par race, ouvrant la porte à des applications controversées.

Histoire connexe

C'est ainsi que nous avons perdu le contrôle de nos visages

La plus grande étude jamais réalisée sur les données de reconnaissance faciale montre à quel point l'essor de l'apprentissage en profondeur a alimenté une perte de confidentialité.

L’analyse des chercheurs suggère également que Labeled Faces in the Wild (LFW), un ensemble de données introduit en 2007 et le premier à utiliser images de visage récupérées sur internet , s'est transformé plusieurs fois en près de 15 ans d'utilisation. Alors qu'il a commencé comme une ressource pour évaluer les modèles de reconnaissance faciale uniquement pour la recherche, il est maintenant utilisé presque exclusivement pour évaluer les systèmes destinés à être utilisés dans le monde réel. Ceci malgré une étiquette d'avertissement sur le site Web de l'ensemble de données qui met en garde contre une telle utilisation.

Plus récemment, l'ensemble de données a été réutilisé dans un dérivé appelé SMFRD, qui a ajouté des masques faciaux à chacune des images pour faire progresser la reconnaissance faciale pendant la pandémie. Les auteurs notent que cela pourrait soulever de nouveaux défis éthiques. Les défenseurs de la vie privée ont critiqué ces applications pour alimenter la surveillance, par exemple, et en particulier pour permettre au gouvernement d'identifier les manifestants masqués.

Il s'agit d'un document très important, car les yeux des gens n'ont généralement pas été ouverts aux complexités, ainsi qu'aux dommages et risques potentiels, des ensembles de données, déclare Margaret Mitchell, chercheuse en éthique de l'IA et leader des pratiques responsables en matière de données, qui n'a pas été impliquée dans l'étude.

Pendant longtemps, la culture au sein de la communauté de l'IA a été de supposer que les données existent pour être utilisées, ajoute-t-elle. Cet article montre comment cela peut entraîner des problèmes sur toute la ligne. Il est vraiment important de réfléchir aux différentes valeurs qu'un ensemble de données encode, ainsi qu'aux valeurs qu'un ensemble de données disponible encode, dit-elle.

Une réparation

Les auteurs de l'étude fournissent plusieurs recommandations à la communauté de l'IA pour aller de l'avant. Premièrement, les créateurs doivent communiquer plus clairement sur l'utilisation prévue de leurs ensembles de données, à la fois par le biais de licences et d'une documentation détaillée. Ils devraient également imposer des limites plus strictes à l'accès à leurs données, peut-être en exigeant que les chercheurs signent des conditions d'accord ou en leur demandant de remplir une demande, surtout s'ils ont l'intention de construire un ensemble de données dérivées.

Deuxièmement, les conférences de recherche doivent établir des normes sur la manière dont les données doivent être collectées, étiquetées et utilisées, et elles doivent créer des incitations à la création responsable d'ensembles de données. NeurIPS, la plus grande conférence de recherche sur l'IA, comprend déjà une liste de contrôle des meilleures pratiques et des directives éthiques.

Mitchell suggère d'aller encore plus loin. Dans le cadre de le projet BigScience , une collaboration entre des chercheurs en IA pour développer un modèle d'IA capable d'analyser et de générer un langage naturel selon des normes d'éthique rigoureuses, elle a expérimenté l'idée de créer des organisations de gérance d'ensembles de données - des équipes de personnes qui non seulement gèrent la conservation, la maintenance, et l'utilisation des données, mais travaillez également avec des avocats, des militants et le grand public pour vous assurer qu'elles sont conformes aux normes légales, qu'elles ne sont collectées qu'avec le consentement et qu'elles peuvent être supprimées si quelqu'un choisit de retirer des informations personnelles. De telles organisations de gestion ne seraient pas nécessaires pour tous les ensembles de données, mais certainement pour les données supprimées qui pourraient contenir des informations biométriques ou personnellement identifiables ou de la propriété intellectuelle.

La collecte et la surveillance des ensembles de données ne sont pas une tâche ponctuelle pour une ou deux personnes, dit-elle. Si vous le faites de manière responsable, cela se décompose en une tonne de tâches différentes qui nécessitent une réflexion approfondie, une expertise approfondie et une variété de personnes différentes.

Ces dernières années, le domaine s'est de plus en plus déplacé vers la conviction que des ensembles de données plus soigneusement sélectionnés sera la clé pour surmonter de nombreux défis techniques et éthiques de l'industrie. Il est maintenant clair que la construction d'ensembles de données plus responsables n'est pas suffisante. Ceux qui travaillent dans l'IA doivent également s'engager à long terme à les maintenir et à les utiliser de manière éthique.

cacher