211service.com
Nous sommes dans une crise de diversité : cofondateur de Black in AI sur ce qui empoisonne les algorithmes dans nos vies
Timnit Gebru regarde le monde de l'IA et ne voit presque personne qui lui ressemble. C'est un problème pour nous tous. 14 février 2018
gracieuseté de timnit brug
L'intelligence artificielle fait de plus en plus partie intégrante de notre vie quotidienne, présente dans tout, des recherches sur le Web aux médias sociaux en passant par les assistants domestiques comme Alexa. Mais que faire si cette technologie extrêmement importante est involontairement, mais fondamentalement, biaisée ? Et que faire si ce domaine extrêmement important ne comprend presque aucun chercheur noir ? Timnit Gebru aborde ces questions dans le cadre du groupe Microsoft Fairness, Accountability, Transparency, and Ethics in AI, qu'elle a rejoint l'été dernier. Elle a également cofondé l'événement Black in AI lors de la conférence Neural Information Processing Systems (NIPS) en 2017 et a fait partie du comité directeur de la première conférence Fairness and Transparency en février. Elle a parlé avec Examen de la technologie MIT sur la façon dont les préjugés pénètrent dans les systèmes d'IA et comment la diversité peut les contrer.
Comment le manque de diversité fausse-t-il l'intelligence artificielle et plus particulièrement la vision par ordinateur ?
Cette histoire faisait partie de notre numéro de mars 2018
- Voir la suite du problème
- S'abonner
Je peux en parler pendant toute une année. Il y a un parti pris quant aux types de problèmes que nous pensons importants, aux types de recherche que nous pensons importants et à la direction que nous pensons que l'IA devrait prendre. Si nous n'avons pas de diversité dans notre groupe de chercheurs, nous n'allons pas résoudre les problèmes auxquels sont confrontés la majorité des gens dans le monde. Lorsque les problèmes ne nous affectent pas, nous ne pensons pas qu'ils soient si importants, et nous ne savons peut-être même pas quels sont ces problèmes, car nous n'interagissons pas avec les personnes qui les vivent.
Quand j'ai commencé Black in AI, je l'ai commencé avec quelques amis. Avant cela, j'avais une petite liste de diffusion où j'ajoutais littéralement toute personne noire que je voyais dans ce domaine dans la liste de diffusion et je disais: 'Salut, je suis Timnit'. Je suis la personne noire numéro deux. Salut, la personne noire numéro un. Soyons amis.'
Existe-t-il des moyens de contrer les préjugés dans les systèmes ?
La raison pour laquelle la diversité est vraiment importante en IA, pas seulement dans les ensembles de données mais aussi chez les chercheurs, c'est que vous avez besoin de personnes qui ont juste ce sens social de la façon dont les choses sont. Nous sommes dans une crise de diversité pour l'IA. En plus d'avoir des conversations techniques, des conversations sur le droit, des conversations sur l'éthique, nous devons avoir des conversations sur la diversité dans l'IA. Nous avons besoin de toutes sortes de diversité dans l'IA. Et cela doit être traité comme quelque chose d'extrêmement urgent.
D'un point de vue technique, il existe de nombreux types d'approches. L'une consiste à diversifier votre ensemble de données et à avoir de nombreuses annotations différentes de votre ensemble de données, comme la race, le sexe et l'âge. Une fois que vous avez formé un modèle, vous pouvez le tester et voir à quel point il fonctionne avec tous ces différents sous-groupes. Mais même après cela, vous êtes obligé d'avoir une sorte de biais dans votre ensemble de données. Vous ne pouvez pas avoir un ensemble de données qui échantillonne parfaitement le monde entier.
Quelque chose qui me passionne vraiment et sur lequel je travaille en ce moment est de trouver comment encourager les entreprises à donner plus d'informations aux utilisateurs ou même aux chercheurs. Ils devraient avoir une utilisation recommandée, quels sont les pièges, à quel point l'ensemble de données est biaisé, etc. Ainsi, lorsque je suis une startup et que je prends simplement votre ensemble de données standard ou votre modèle standard et l'incorporant dans tout ce que je fais, au moins j'ai une certaine connaissance des types de pièges qu'il peut y avoir. En ce moment, nous sommes dans un endroit presque comme le Far West, où nous n'avons pas vraiment beaucoup de normes [about] où nous publions des ensembles de données.
Et puis il y a juste certaines choses pour lesquelles vous ne devriez probablement pas utiliser l'apprentissage automatique pour le moment, et nous n'avons pas de directive claire sur ce que sont ces choses. Nous devons dire que si vous allez utiliser l'apprentissage automatique pour cette tâche particulière, la précision de votre modèle doit être d'au moins X, et il doit être juste à cet égard particulier. Nous n'avons aucune sorte de directives pour cela non plus. L'IA commence tout juste à être intégrée au courant dominant, dans un produit partout, nous sommes donc dans un précipice où nous avons vraiment besoin d'une sorte de conversation sur la normalisation et l'utilisation.
AVEC LA COURTOISIE DE TIMNIT UTILISÉ
Quelle a été la motivation principale derrière votre travail avec Google Street View et d'autres recherches démographiques ?
Au moment où nous avons lancé ce projet, très peu de travail était fait pour essayer d'analyser la culture à l'aide d'images. Mais nous savons qu'en ligne, la plupart de nos données sont sous forme d'images. Une de nos motivations était de montrer qu'on pouvait faire des analyses sociales à partir d'images.
Cela pourrait être très utile dans les cas où il est vraiment difficile d'obtenir des données basées sur des enquêtes. Il y a des endroits dans le monde où l'infrastructure n'est pas là et où les ressources ne sont pas là pour envoyer des gens de porte à porte et recueillir des données [de recensement], [mais où] avoir une compréhension des différents types de populations qui vivent dans votre pays serait être très utile.
Mais encore une fois, c'est exactement ce qui m'a aussi donné envie d'étudier l'équité. Parce que si je veux continuer à faire ce travail, j'ai vraiment besoin de mieux comprendre les répercussions potentiellement négatives. Quelles sont les répercussions sur la surveillance ? De plus, quelles sont les répercussions d'un biais d'ensemble de données ? Dans tout type de projet d'exploration de données, vous allez avoir un parti pris. Donc, mon travail là-bas était vraiment ce qui m'a amené à vouloir passer du temps dans la communauté de l'équité pour comprendre où pouvaient se trouver les pièges.
Quels enjeux espérez-vous aborder avec cette première conférence Équité et Transparence ?
C'est vraiment la première conférence qui aborde les questions d'équité, de responsabilité, d'éthique et de transparence dans l'IA. Il y a eu des ateliers lors d'autres conférences, et la plupart du temps, il y a eu des ateliers lors de conférences basées sur le traitement du langage naturel ou de conférences basées sur l'apprentissage automatique. Il est vraiment important d'avoir une conférence autonome car elle doit être travaillée par des personnes de nombreuses disciplines qui se parlent.
Les personnes en apprentissage automatique ne peuvent pas résoudre ce problème à elles seules. Il y a des problèmes de transparence; il y a des questions sur la façon dont les lois devraient être mises à jour. Si vous allez parler de biais dans les soins de santé, vous voulez parler aux [professionnels de la santé] de l'endroit où pourraient se trouver les biais potentiels, puis vous pouvez réfléchir à la manière d'avoir une solution basée sur l'apprentissage automatique.
Quelle a été votre expérience de travail dans l'IA ?
Ce n'est pas facile. J'adore mon travail. J'aime la recherche sur laquelle je travaille. J'aime le terrain. Je ne peux pas imaginer ce que je ferais d'autre à cet égard. Cela étant dit, il est très difficile d'être une femme noire dans ce domaine. Quand j'ai commencé Black in AI, je l'ai commencé avec quelques amis. J'avais une petite liste de diffusion avant cela où j'ajoutais littéralement toute personne noire que je voyais dans ce domaine dans la liste de diffusion et je disais, Salut, je suis Timnit. Je suis la personne noire numéro deux. Salut, la personne noire numéro un. Soyons amis.
Ce qui a vraiment accéléré les choses, c'est [en 2016] quand je suis allé au NIPS et que quelqu'un disait qu'il y avait environ 8 500 personnes. J'ai compté six personnes noires. Je paniquais littéralement. C'est la seule façon dont je peux décrire ce que je ressentais. J'ai vu que ce domaine se développait de façon exponentielle, frappant le grand public; cela affecte toutes les couches de la société. En même temps, j'ai aussi vu beaucoup de discours sur la diversité et sur le fait que de nombreuses entreprises pensent que c'est important.
Et j'ai vu un décalage entre la rhétorique et l'action. Parce que six Noirs sur 8 500, c'est un chiffre ridicule, n'est-ce pas ? C'est presque zéro pour cent. J'étais comme, nous devons faire quelque chose maintenant. Je veux lancer un appel à l'action aux personnes qui croient que la diversité est importante. Parce que c'est une urgence, et nous devons faire quelque chose maintenant.