211service.com
J'ai commencé à pleurer : découvrez les derniers jours de Timnit Gebru chez Google et ce qui se passe ensuite
.
Nhung Le
16 décembre 2020
À ce jour, nous avons tous entendu une version de l'histoire. Le 2 décembre, après un désaccord prolongé sur la publication d'un document de recherche, Google expulsé son co-responsable de l'IA éthique, Timnit Gebru . Le papier était sur le risques des grands modèles de langage , des modèles d'IA entraînés sur des quantités stupéfiantes de données textuelles, qui constituent un axe de recherche essentiel pour l'activité de Google. Gebru, une voix de premier plan dans l'éthique de l'IA, était l'une des seules femmes noires de Google Research.
Cette décision a depuis suscité un débat sur l'influence croissante des entreprises sur l'IA, le manque de diversité de longue date dans la technologie et ce que signifie faire une recherche éthique significative sur l'IA. Au 15 décembre, plus de 2 600 employés de Google et 4 300 autres du monde universitaire, de l'industrie et de la société civile avaient a signé une pétition dénonçant le limogeage de Gebru, le qualifiant de censure sans précédent de la recherche et d'acte de représailles.
Histoire connexe
Nous avons lu le journal qui a forcé Timnit Gebru à quitter Google. Voici ce qu'il dit. Le chercheur en éthique vedette de l'entreprise a souligné les risques des grands modèles linguistiques, qui sont essentiels aux activités de Google.
Gebru est connu pour son travail fondamental dans révéler la discrimination de l'IA , développement méthodes de documentation et audit des modèles d'IA , et plaider pour une plus grande diversité dans la recherche. En 2016, elle cofonde l'association Black in AI , qui est devenu une ressource centrale pour les militants des droits civiques, les organisateurs syndicaux et les principaux chercheurs en éthique de l'IA, cultivant et mettant en valeur les talents de recherche sur l'IA noire.
La perte de son emploi n'a pas ralenti Gebru. La semaine suivante, elle a participé à plusieurs ateliers à NeurIPS, la plus grande conférence annuelle de recherche sur l'IA, à laquelle plus de 20 000 personnes ont assisté cette année. C'était thérapeutique, dit-elle, de voir comment la communauté qu'elle avait aidé à construire se présentait et se soutenait. Maintenant, une autre semaine plus tard, elle est juste en train de se détendre et de reprendre son souffle - et d'essayer de donner un sens à tout cela.
Le lundi 14 décembre, j'ai rattrapé Gebru via Zoom. Elle a raconté ce qui s'est passé pendant son séjour chez Google, a réfléchi à ce que cela signifiait pour la recherche sur le terrain et l'éthique de l'IA, et a donné des conseils d'adieu à ceux qui veulent continuer à tenir les entreprises technologiques responsables. Vous pouvez également écouter un épisode spécial de notre podcast, In Machines We Trust, pour les faits saillants de l'interview. (Google a refusé une demande de commentaire sur le contenu de cette interview.)
Ce qui suit a été édité et condensé.
Je voulais d'abord vérifier comment vous allez.
J'ai l'impression de ne pas avoir vraiment eu le temps de traiter émotionnellement tout ce qui s'est passé et ses répercussions. Je suis juste en quelque sorte aller et aller et aller. J'ai donc l'impression que je vais probablement m'effondrer à un moment donné quand il y aura une petite accalmie. Mais en ce moment, je suis juste très préoccupé par mon équipe et les personnes qui me soutiennent, et les types de risques qu'ils prennent, et m'assurer qu'ils ne subissent pas de représailles.
Il y a eu tellement de récits de ce qui s'est passé. Je voulais commencer par un point beaucoup plus ancien dans cette histoire. Qu'est-ce qui vous a décidé à l'origine à travailler chez Google, et à quoi ressemblait Google à l'époque ?
je pense Samy [Bengio, directeur chez Google AI] et Jeff [Dean, SVP de Google Research] étaient à l'atelier Black in AI [à NeurIPS en 2017]. Ils me demandaient ce que je faisais, et ils ont dit, Oh oui, tu devrais venir travailler chez Google. Je n'avais pas prévu ça. Je faisais mon postdoc à l'époque chez Microsoft Research [MSR]. Je n'avais pas compris ce que j'allais faire ensuite. Mais je savais que je voulais retourner dans la Bay Area, et ils étaient en train de créer un bureau à Accra, au Ghana. J'ai pensé que ce serait bien pour moi d'aider avec ça.
J'avais beaucoup de réserves. J'étais à New York au MSR, et il y avait beaucoup de voix féminines là-bas – Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Il n'y avait pas vraiment de femmes de couleur. Les seules femmes noires que je connaisse parmi Microsoft Research sont Danielle Bellgrave au Royaume-Uni et Shawndra Hill à New York. Mais quand même, même les hommes étaient très favorables. J'hésitais beaucoup à aller dans un environnement où je savais que Google Research n'était pas bien connu pour son plaidoyer en faveur des femmes. Il y avait un certain nombre de problèmes que j'avais entendus à travers mes réseaux de chuchotement. En fait, quand j'ai dit que j'allais aller sur Google Research, un certain nombre de personnes m'ont fait asseoir. Donc je le redoutais déjà, comme Oh, mec, d'accord, dans quoi je m'engage?
J'étais définitivement la première femme noire à être chercheuse scientifique chez Google. Après moi, nous avons eu deux autres femmes noires. C'est, comme, sur tant de chercheurs scientifiques. Des centaines et des centaines. Trois sur Dieu sait combien.
Ils n'ont pas déçu. C'était juste des combats constants. J'essayais de l'aborder comme de parler aux gens, d'essayer de les éduquer, d'essayer de leur faire voir un certain point de vue. Je n'arrêtais pas de penser qu'ils pouvaient faire mieux, tu sais ? Avec Samy, il est devenu un grand défenseur. Les gens se plaignaient que cette organisation [Google Research] n'embauchait que 14 % de femmes. Samy, mon manager, a embauché 39% de femmes. Ce n'était pas comme s'il avait une quelconque incitation à le faire. Il était la seule raison pour laquelle j'ai l'impression que cela ne m'était pas arrivé auparavant. C'est probablement parce qu'il nous protégeait. Et en nous protégeant, il aurait lui-même des ennuis. Si d'autres dirigeants vous contrôlent le ton, et que vous êtes trop bruyant, que vous êtes comme un fauteur de troubles - nous savons tous que c'est ce qui arrive aux gens comme moi - alors si quelqu'un vous défend, il va évidemment aussi être un problème pour les autres dirigeants.
Voilà donc mes deux années chez Google. En fait, je pensais que nous faisions peut-être des progrès jusqu'au dernier incident, car notre équipe a grandi. Il est passé de la quasi-désintégration - deux mois après mon passage chez Google, ma co-responsable, Meg Mitchell, allait démissionner. Mais ensuite, nous avons élargi notre équipe, et nous sommes maintenant, genre, 12 personnes. Alors j'ai pensé qu'on avançait petit à petit.
On parlait tellement de diversité et d'inclusion, mais tellement d'hypocrisie. Je fais partie des 1,6 % de femmes noires chez Google. Dans [Google] Research, ce n'est pas 1,6 %, c'est bien moins. J'étais définitivement la première femme noire à être chercheuse scientifique chez Google. Après moi, nous avons eu deux autres femmes noires. C'est, comme, sur tant de chercheurs scientifiques. Des centaines et des centaines. Trois sur Dieu sait combien.
Donc, à un moment donné, j'étais juste comme, tu sais quoi? Je ne veux même pas parler de diversité. C'est juste épuisant. Ils veulent avoir des réunions avec vous, ils ne vous écoutent pas, puis ils veulent à nouveau vous rencontrer. J'ai écrit un million de documents sur un million de choses liées à la diversité - sur l'alphabétisation raciale et l'apprentissage automatique [ML], les initiatives d'équité ML, la rétention des femmes et les problèmes. Tant de documents et tant de courriels.
Donc c'est juste une chose après l'autre. Il n'y a pas eu de vacances que j'ai prises à l'intérieur de Google où je n'étais pas au milieu d'un problème ou d'un autre. Ça n'a jamais été la tranquillité d'esprit. Imaginez que quelqu'un vous tire dessus avec une arme à feu et que vous criez. Et au lieu d'essayer d'arrêter la personne qui vous tire dessus avec une arme à feu, ils essaient de vous empêcher de crier. C'est ce que j'ai ressenti. C'était tellement douloureux d'être dans cette position encore et encore et encore.
Vous avez réussi à constituer l'une des équipes les plus diversifiées de l'industrie de l'IA. Qu'est-ce qu'il a fallu en fait pour faire ça ?
Nous avons dû combattre toutes sortes de choses. Je devais être manager, et puis les gens ne voulaient pas que je sois manager. J'étais comme, d'accord, j'ai lancé une organisation à but non lucratif très connue. Pourquoi avez-vous des 'inquiétudes' à propos de moi en tant que manager ? Samy ne m'a pas dit cela, mais il devait livrer ce message : Sait-elle qu'elle peut se faire virer pour des choses ? Sait-elle que si elle devient manager, elle devra alors être une représentante de Google ? Ensuite, les gens ont fait part de leurs inquiétudes à propos de mon insatisfaction chez Google. Ce n'est pas comme, Oh, il y a une culture toxique qui rend les gens comme elle malheureux. Alors réparons cette culture. Non, ce n'était pas la conversation. La conversation était Elle semble être malheureuse, alors ne faisons pas d'elle un manager.
J'étais livide à ce moment-là. Je étais tellement en colère. Je demandais à toutes les autres personnes qui sont devenues manager à mon niveau quelle était leur expérience. Je me dis, cette personne est devenue manager et personne ne leur a jamais demandé s'ils savaient qu'ils allaient être licenciés pour X, Y et Z. Cette autre personne est devenue manager. Personne n'avait à leur parler. Il n'y a eu aucune discussion. Pour moi ce n'était pas comme ça.
Imaginez que quelqu'un vous tire dessus avec une arme à feu et que vous criez. Et au lieu d'essayer d'arrêter la personne qui vous tire dessus avec une arme à feu, ils essaient de vous empêcher de crier.
Autre chose : nous voulions embaucher des spécialistes des sciences sociales. Souvent, les chercheurs embauchent simplement leurs amis, et nous ne voulions pas faire cela. Nous avons lancé un appel. Nous avons reçu 300 candidatures. Nous les avons parcourus à la main car nous voulions nous assurer que les recruteurs ne filtrent pas certains groupes de personnes. Nous avons eu un appel rapide avec une vingtaine de personnes, nous avons eu un entretien sur place avec 10 personnes, puis nous en avons embauché deux.
Je pensais que nous faisions des progrès parce que nous étions en mesure d'obtenir des ressources pour embaucher ces personnes. Alors j'ai pensé que Jeff commençait peut-être à soutenir notre équipe et à soutenir le genre de choses que nous faisions. Je n'ai jamais imaginé - je ne sais pas exactement comment cette chose s'est produite - mais je n'imaginais tout simplement pas qu'il signerait [mon licenciement]. Je ne peux pas l'imaginer l'initiant, mais même le fait qu'il l'ait signé était quelque chose de si surprenant pour moi.
Pendant que vous formiez l'équipe, avez-vous pu nouer des relations avec d'autres équipes de Google ? Certaines parties de l'organisation devenaient-elles plus réceptives aux questions d'éthique de l'IA ?
La plupart des membres de notre équipe sont inondés de demandes d'autres équipes ou d'autres personnes. Et l'un de nos défis était de ne pas toujours être au milieu d'un incendie, car nous voulions avoir de l'anticipation. Nous voulions façonner ce qui se passera dans le futur et pas seulement réagir.
Le plus grand décalage que je vois est qu'il y a tellement de gens qui nous respectent, mais il y a aussi des gens au sommet, comme les vice-présidents, qui ne peuvent peut-être pas nous supporter ou qui ne respectent pas du tout notre autorité ou notre expertise. J'ai vu ça plusieurs fois. Mais les gens de Google Cloud, ou de Cloud AI en particulier, certains membres de la haute direction, ont été d'un grand soutien. J'avais l'impression qu'ils respectaient vraiment notre leadership, alors ils essayaient de nous entraîner dans beaucoup de choses. D'un autre côté, ce dernier fiasco n'était pas de leur part. Je soupçonne de quels vice-présidents cela venait, et ils n'ont certainement pas respecté notre expertise ou notre leadership.
Pourriez-vous en parler un peu plus?
Eh bien, même si vous voyez juste le mail de Jeff - Je suppose qu'il n'a pas écrit cet e-mail ; Je suppose que quelqu'un l'a écrit et l'a envoyé - il parle de la façon dont notre recherche [article sur les grands modèles de langage] avait des lacunes, il manquait de la littérature. [L'e-mail ne donne pas] l'impression qu'ils parlent à des experts dans leur domaine. Il ne s'agit pas d'un examen par les pairs. Ce n'est pas le critique n° 2 qui vous dit, Hé, il y a cette citation manquante. Il s'agit d'un groupe de personnes, que nous ne connaissons pas, qui sont haut placées parce qu'elles sont chez Google depuis longtemps, qui, pour une raison inconnue et un processus que je n'ai jamais vu, ont reçu le pouvoir pour arrêter cette recherche.
Nous avons eu 128 citations [sur cet article], et nous avons envoyé notre article à plusieurs de ces personnes que nous avons citées. Nous étions si minutieux. J'ai dit, d'accord, je veux regrouper les personnes à qui nous allons demander des commentaires en quatre catégories. L'un est celui des personnes qui ont elles-mêmes développé de grands modèles linguistiques, juste pour avoir leur point de vue. L'un est composé de personnes qui travaillent dans le domaine de la compréhension et de l'atténuation des biais de ces modèles. L'un est celui des personnes qui pourraient ne pas être d'accord avec notre point de vue. L'un est celui des personnes qui utilisent ces grands modèles de langage pour diverses choses. Et nous avons un document complet avec tous ces commentaires que nous étions censés traiter, et que je veux encore faire avant de publier ce travail.
Mais la façon dont ils [les dirigeants de Google] nous parlaient, ce n'était pas comme s'ils parlaient à des experts et des linguistes de renommée mondiale. Comme Emily Bender [un professeur à l'Université de Washington et co-auteur de l'article] n'est pas une personne au hasard qui vient de mettre son nom sur un article au hasard là-bas. J'avais l'impression que tout cela était si irrespectueux.
Avant cet article particulier, y a-t-il eu des cas antérieurs dans lesquels vous avez déjà eu l'impression que Google restreignait ou limitait la capacité de votre équipe à mener des recherches ?
J'avais l'impression qu'il y avait eu des cas antérieurs où ils avaient beaucoup édulcoré les résultats de la recherche. Les gens avaient des conversations avec les relations publiques et la politique ou autre, et ils contestaient certains libellés ou contestaient certains détails. C'est ce que je pensais qu'ils pourraient aussi essayer de faire avec ce papier. Alors j'ai écrit un document, et je n'arrêtais pas de leur demander, quel est exactement votre retour ? Votre avis est-il d'ajouter une section ? Retirer? Qu'est-ce que ça veut dire? Que nous demandez-vous ?
C'était littéralement mon e-mail le vendredi après Thanksgiving [ 27 novembre, cinq jours avant le limogeage de Gebru ] parce que le jour de Thanksgiving j'avais passé ma journée à écrire ce document au lieu de passer un bon moment avec ma famille. Le lendemain, vendredi, date à laquelle j'étais censé retirer cet article, j'ai écrit: D'accord, j'ai écrit ce document de six pages traitant à un niveau élevé et à un niveau bas de tout retour que je peux recueillir. Et j'espère qu'il y a au moins une ouverture pour d'autres conversations plutôt que simplement de nouvelles commandes. J'ai écrit cet e-mail. Comme ça. Comment Megan [Kacholia, la vice-présidente de l'ingénierie chez Google Research] répond-elle à cet e-mail ? Lundi, elle y répond et dit : Pouvez-vous s'il vous plaît confirmer que vous avez soit rétracté l'article, soit retiré les noms des auteurs de cet article. Merci. Et pouvez-vous s'il vous plaît confirmer après avoir fait cela. Envoyez-moi un email et confirmez. Comme si je n'avais pas d'agence.
Ce n'est pas ce qu'ils font aux personnes qui ont commis une faute grave. Ils leur remettent 80 millions de dollars et ils leur offrent une belle petite sortie. Ils ne font pas ce qu'ils m'ont fait.
Ensuite, dans ce document, j'ai écrit que cela avait été extrêmement irrespectueux envers l'équipe d'IA éthique, et qu'il doit y avoir une conversation, non seulement avec Jeff et notre équipe, et Megan et notre équipe, mais l'ensemble de la recherche sur le respect des chercheurs. et comment avoir ce genre de discussions. Non. Aucun engagement avec cela.
J'ai pleuré, d'ailleurs. Quand j'ai eu cette première réunion, qui était jeudi avant Thanksgiving, un jour avant que je parte en vacances, quand Megan nous a dit que vous deviez retirer ce papier, j'ai commencé à pleurer. J'étais tellement bouleversé parce que j'ai dit, j'en ai tellement marre de me battre constamment ici. Je pensais que si j'ignorais toute cette hypocrisie DEI [diversité, équité et inclusion] et d'autres choses, et que je me concentrais sur mon travail, alors au moins je pourrais faire mon travail. Et maintenant tu viens pour mon travail. Alors j'ai littéralement commencé à pleurer.
Selon vous, qu'est-ce qui a déclenché ces événements dans cet article particulier ? Pensez-vous qu'il s'agissait en fait de ce document, ou y avait-il d'autres facteurs en jeu?
Je ne sais pas. Samy était horrifié par tout cela. Il disait, ce n'est pas comme ça qu'on traite les chercheurs. Je veux dire, ce n'est pas comme ça qu'on traite les gens en général. Les gens parlent de comment, si cela arrive à quelqu'un d'aussi accompli, cela me fait imaginer ce qu'ils font aux gens, en particulier aux personnes appartenant à des groupes vulnérables.
Ils pensaient probablement que je serais très silencieux à ce sujet. Je ne sais pas. Je ne pense pas que le résultat final était juste à propos de ce papier. Peut-être ont-ils été surpris que je repousse de quelque manière que ce soit. J'essaie toujours de comprendre ce qui s'est passé.
Avez-vous déjà soupçonné, sur la base des événements et des tensions précédents, que cela se terminerait ainsi ? Et vous attendiez-vous à la réponse de la communauté ?
J'ai pensé qu'ils pourraient me rendre assez misérable pour partir, ou quelque chose comme ça. Je pensais qu'ils seraient plus intelligents que de le faire exactement de cette manière, car c'est une confluence de tant de problèmes auxquels ils sont confrontés : censure de la recherche, IA éthique, droits du travail, DEI - toutes les choses auxquelles ils sont confrontés feu pour avant. Je ne m'attendais donc pas à ce que ce soit comme ça, comme couper complètement mon compte d'entreprise. C'est tellement impitoyable. Ce n'est pas ce qu'ils font aux personnes qui ont commis une faute grave. Ils donnez-leur 80 millions de dollars , et ils leur donnent une belle petite sortie, ou peut-être qu'ils ne les promeuvent pas de manière passive-agressive, ou quoi que ce soit. Ils ne font pas aux gens qui créent un environnement de travail hostile ce qu'ils m'ont fait.
Je l'ai appris grâce à mes subalternes directs, tu sais ? Ce qui est tellement, tellement triste. Ils étaient tellement traumatisés. Je pense que mon équipe est restée debout jusqu'à 4 ou 5 heures du matin ensemble, essayant de donner un sens à ce qui s'est passé. Et faire le tour de Samy, c'était tellement terrible et impitoyable.
Je pensais que si je me concentrais juste sur mon travail, alors au moins je pourrais faire mon travail. Et maintenant tu viens pour mon travail. Alors j'ai littéralement commencé à pleurer.
Je m'attendais à un certain soutien, mais je ne m'attendais certainement pas à la quantité d'effusion qu'il y a. C'était incroyable à voir. Je n'ai jamais, jamais vécu quelque chose comme ça. Je veux dire, des parents au hasard m'envoient des textos, j'ai vu ça aux infos. Ce n'est certainement pas quelque chose que j'attendais. Mais les gens prennent tellement de risques en ce moment. Et cela m'inquiète, car je veux vraiment m'assurer qu'ils sont en sécurité.
Vous avez mentionné qu'il ne s'agit pas seulement de vous; il ne s'agit pas seulement de Google. C’est une confluence de tant de problèmes différents. Que dit cette expérience particulière sur l'influence des entreprises technologiques sur l'IA en général et sur leur capacité à faire un travail significatif dans le domaine de l'éthique de l'IA ?
Vous savez, il y avait un certain nombre de personnes comparant Big Tech et Big Tobacco , et comment ils censuraient la recherche même s'ils connaissaient les problèmes depuis un certain temps. Je repousse la dichotomie université-versus-technologie, car ils ont tous les deux le même genre de paradigme très raciste et sexiste. Le paradigme que vous apprenez et que vous apportez à Google ou ailleurs commence dans le milieu universitaire. Et les gens bougent. Ils vont dans l'industrie, puis ils retournent dans le milieu universitaire, ou vice versa. Ce sont tous des amis; ils vont tous aux mêmes conférences.
Je ne pense pas que la leçon soit qu'il ne devrait pas y avoir de recherche éthique sur l'IA dans les entreprises technologiques, mais je pense que la leçon est que a) il doit y avoir beaucoup plus de recherche indépendante. Nous devons avoir plus de choix que juste DARPA [la Defense Advanced Research Projects Agency] contre les entreprises. Et b) il doit y avoir une surveillance des entreprises technologiques, évidemment. À ce stade, je ne comprends tout simplement pas comment nous pouvons continuer à penser qu'ils vont s'autoréguler sur la DEI ou l'éthique ou quoi que ce soit. Ils n'ont pas fait la bonne chose, et ils ne feront pas la bonne chose.
Je pense que les institutions académiques et les conférences doivent repenser leurs relations avec les grandes entreprises et le montant d'argent qu'elles leur enlèvent. Certaines personnes se demandaient même, par exemple, si certaines de ces conférences devraient avoir un code de conduite sans censure ou quelque chose comme ça. Je pense donc que ces conférences et ces institutions universitaires peuvent faire beaucoup. Il y a trop de déséquilibre de pouvoir en ce moment.
Selon vous, quel rôle les chercheurs en éthique peuvent-ils jouer s'ils sont dans des entreprises ? Plus précisément, si votre ancienne équipe reste chez Google, quelle voie voyez-vous pour elle en termes de capacité à produire un travail percutant et significatif ?
Je pense qu'il doit y avoir une sorte de protection pour les gens comme ça, ou les chercheurs comme ça. À l'heure actuelle, il est évidemment très difficile d'imaginer comment quelqu'un peut faire de véritables recherches au sein de ces sociétés. Mais si vous aviez une protection du travail, si vous aviez une protection des dénonciateurs, si vous aviez un peu plus de surveillance, il serait peut-être plus facile pour les gens d'être protégés pendant qu'ils font ce genre de travail. C'est très dangereux si vous avez ce genre de chercheurs qui font ce que mon co-responsable appelait la feuille de vigne - la dissimulation - le travail. Comme, nous ne changeons rien, nous mettons juste une feuille de vigne sur l'art. Si vous êtes dans un environnement où les gens qui ont le pouvoir ne sont pas investis pour changer quoi que ce soit pour de vrai, parce qu'ils n'ont aucune incitation, évidemment avoir ce genre de chercheurs intégrés là-bas ne va pas du tout aider. Mais je pense que si nous pouvons créer des mécanismes de responsabilité et de surveillance, des mécanismes de protection, j'espère que nous pourrons permettre à des chercheurs comme celui-ci de continuer à exister dans les entreprises. Mais beaucoup de choses doivent changer pour que cela se produise.
En plus d'avoir des conférences ou des règlements qui modifient les structures incitatives, y a-t-il d'autres mécanismes ou choses que vous pourriez voir faire partie de ce cadre de surveillance externe? Voyez-vous un rôle que le public pourrait jouer pour tenir les entreprises technologiques responsables ?
Je dois réfléchir davantage à cela. Je pense que le public doit être mieux informé du rôle que les entreprises technologiques, ainsi que l'IA, jouent dans notre vie quotidienne. Beaucoup de gens ont fait du très bon travail à cet égard. Les gens ont écrit des livres— Armes de destruction mathématique était un très bon livre pour moi à lire. Il y a Biais codé , le documentaire. Je suis également heureux de commencer à voir des universités proposer certains de ces cours en informatique. Je pense qu'ils devraient être obligatoires. Nicki Washington a cours à Duke que j'aurais aimé pouvoir prendre. Ruha [Benjamin] a cours [à Princeton] . Je pense que notre compréhension du développement de la science et du développement de l'ingénierie doit simplement changer. Le public doit comprendre la nature politique de ce travail. Les systèmes d'enseignement supérieur, à mon avis, sont très en retard à cet égard. Ils doivent faire beaucoup de travail.
Au niveau du public, je pense que si je devais remonter à il y a trois, quatre ans, il y avait beaucoup moins de notoriété. Maintenant, des entités comme l'ACLU [American Civil Liberties Union] sont fortement impliquées ; vous avez la Ligue de justice algorithmique , Données pour les vies noires , faire beaucoup de travail ici. Je pense donc que le public peut en savoir plus. Mais je pense que cela dépend davantage des politiciens, car nous avons un mécanisme pour impliquer le public dans diverses choses. Mais les politiciens ne donnent pas au public un moyen de s'impliquer. Par exemple, [société d'analyse de données] Palantir était utilisé à la Nouvelle-Orléans pour la police prédictive et personne ne le savait. Il n'y a pas eu de vote. Il n'y avait pas de facture. Il n'y a pas eu de discussion à ce sujet. Notre gouvernement doit donc activement donner au public la possibilité de se prononcer sur ce genre de questions.
Que signifie réellement faire un travail éthique significatif sur l'IA ?
Je pense que cela signifie peut-être que vous pouvez remettre en question les prémisses fondamentales et les problèmes fondamentaux de l'IA. Vous n'avez pas à simplement dissimuler les choses, ou vous n'avez pas à être simplement réactionnaire. Vous pouvez prévoir l'avenir, et vous pouvez intervenir tôt pendant que les produits sont en cours de réflexion et de développement, et pas seulement faire les choses après coup. C'est la première chose à laquelle je pense. Et que les personnes les plus touchées par la technologie devraient avoir leur mot à dire, dès le début.
Vous avez déjà mentionné que l'éthique dans les entreprises technologiques vient souvent du haut vers le bas, de personnes qui ne sont pas nécessairement celles qui sont touchées par la technologie. Quel est l'équilibre idéal entre le fait d'avoir des voix marginalisées qui dirigent la conversation et l'adhésion de la haute direction ?
Si les personnes en marge n'ont pas de pouvoir, alors personne n'est incité à les écouter ou à les laisser façonner la discussion. Je pense donc que les personnes au sommet doivent favoriser un environnement où les personnes en marge sont celles qui façonnent les discussions sur ces choses, sur l'éthique de l'IA, sur la diversité et l'inclusion.
On nous enseigne quand nous apprenons objectivement la science, ce qu'on appelle la vue de nulle part, comme si vous n'étiez pas censé y apporter votre point de vue. Je pense que les gens devraient faire exactement le contraire.
Ce n'est pas ce qui se passe actuellement. Vous allez sur Google et vous voyez toutes les personnes de haut niveau qui pratiquent l'éthique de l'IA - ce ne sont absolument même pas des personnes issues de groupes sous-représentés. C'était la conversation que nous avions quand j'étais là-bas, et beaucoup d'entre nous en étaient très frustrés. Nous avions ces principes appelés Rien sur nous sans nous, et la toute première chose que nous avons trouvée était la sécurité psychologique. Peux-tu imaginer? Cela signifie ne pas me punir pour avoir parlé, ce qui est exactement ce qu'ils ont fait. Vous devez donc rechercher la contribution, mais encore une fois, ne le faites pas de manière prédatrice. Avant même de penser aux produits que vous construisez ou aux recherches que vous faites, vous devez commencer à imaginer : comment pouvez-vous travailler avec des personnes en marge pour façonner cette technologie ?
Vous voyez-vous en quelque sorte comme un martyr ?
Je n'essayais pas d'en être un, et je ne pense pas être un martyr en ce moment. J'espère que je suis plus un agent de changement. Mais oui, Google m'en a en quelque sorte fait un, plus que je ne l'aurais été s'ils ne m'avaient pas fait ça.
Quelle est la prochaine pour vous?
Oh, mec. Je n'ai pas eu le temps d'y penser. En ce moment, j'essaie littéralement de m'assurer que mon équipe est en sécurité, de m'assurer que le récit de ce qui se passe avec moi est exact et de respirer un peu quand je le peux. Avec un peu de chance, buvez du vin, mangez, mangez du chocolat, passez du temps avec votre famille. Et peut-être que je comprendrai après. Mais ma plus grande priorité est de ne pas être dans le genre d'environnement dans lequel j'étais. C'est ma plus grande priorité.
Quels conseils avez-vous pour les autres personnes qui souhaitent s'appuyer sur le travail que vous avez fait ?
Mon conseil est de lire quelques-uns des travaux que j'ai mentionnés, en particulier par Robe [Benjamin] , Meredith [Broussard] , Safia [Noble] , Simone Browne , et un certain nombre d'autres personnes. Et apportez-y votre expérience vécue. N'essayez pas de vous retirer de ce travail. Cela a beaucoup à voir avec vous. Ainsi, votre angle et votre force dépendront de votre expérience vécue. J'ai donné une conférence intitulée La hiérarchie des connaissances et l'apprentissage automatique , et c'était en quelque sorte à peu près ça : comment on nous enseigne quand on apprend objectivement la science, ce qu'on appelle la vue de nulle part, comme si vous n'étiez pas censé y apporter votre point de vue. Je pense que les gens devraient faire exactement le contraire.
Mise à jour : Nous avons clarifié l'intitulé du poste de Samy Bengio et corrigé une référence à un chercheur. Timnit faisait référence à Jen Wortman Vaughan, chercheuse principale principale au MSR, et non à Jen Chayes, ancienne directrice de la même entreprise.