Nous avons lu le journal qui a forcé Timnit Gebru à quitter Google. Voici ce qu'il dit.

Le chercheur en éthique vedette de l'entreprise a souligné les risques des grands modèles linguistiques, qui sont essentiels aux activités de Google.





  • Karen Hao page d'archives
4 décembre 2020 Timnit Gebru

avec l'aimable autorisation de Timnit Gebru

Dans la soirée du mercredi 2 décembre, Timnit Gebru, co-responsable de l'équipe d'IA éthique de Google, a annoncé par Twitter que l'entreprise l'avait expulsée.

Gebru, un leader largement respecté dans la recherche sur l'éthique de l'IA, est connu pour avoir co-écrit un papier révolutionnaire qui a montré que la reconnaissance faciale était moins précise pour identifier les femmes et les personnes de couleur, ce qui signifie que son utilisation peut finir par les discriminer. Elle a également cofondé le groupe d'affinité Black in AI, et défend la diversité dans l'industrie technologique . L'équipe qu'elle a aidé à constituer chez Google est l'une des plus diversifiées en IA et comprend de nombreux experts de premier plan à part entière. Ses pairs sur le terrain l'enviaient pour avoir produit des travaux critiques qui remettaient souvent en question les pratiques courantes de l'IA.



À série de tweets , e-mails divulgués , et article de presse a montré que la sortie de Gebru était le point culminant d'un conflit sur un autre article qu'elle a co-écrit. Jeff Dean, le responsable de Google AI, a déclaré à ses collègues dans un e-mail interne (qu'il a depuis mettre en ligne ) que le journal n'a pas atteint notre barre de publication et que Gebru avait dit qu'elle démissionnerait à moins que Google ne remplisse un certain nombre de conditions, ce qu'il n'était pas disposé à remplir. Gebru a tweeté que elle avait demandé à négocier une dernière date pour son emploi après son retour de vacances. Elle a été coupée de son compte de messagerie d'entreprise avant son retour.

En ligne, de nombreux autres leaders dans le domaine de l'éthique de l'IA affirment que l'entreprise l'a expulsée en raison des vérités gênantes qu'elle découvrait sur un axe central de ses recherches - et peut-être sur ses résultats. Plus de 1 400 employés de Google et 1 900 autres sympathisants ont également signé une lettre de protestation .

De nombreux détails sur la séquence exacte des événements qui ont conduit au départ de Gebru ne sont pas encore clairs ; elle et Google ont refusé de commenter au-delà de leurs publications sur les réseaux sociaux. Mais MIT Technology Review a obtenu une copie du document de recherche de l'un des coauteurs, Emily M. Bender, professeur de linguistique informatique à l'Université de Washington. Bien que Bender nous ait demandé de ne pas publier l'article lui-même parce que les auteurs ne voulaient pas qu'un projet aussi précoce circule en ligne, cela donne un aperçu des questions que Gebru et ses collègues soulevaient à propos de l'IA et qui pourraient inquiéter Google.



Sur les dangers des perroquets stochastiques : les modèles de langage peuvent-ils être trop grands ? expose les risques des grands modèles de langage - des IA formées sur des quantités stupéfiantes de données textuelles. Ceux-ci ont grandi de plus en plus populaire -et de plus en plus grand — au cours des trois dernières années. Ils sont maintenant extraordinairement bons, dans les bonnes conditions, pour produire ce qui ressemble à un nouveau texte convaincant et significatif - et parfois pour estimer le sens du langage. Mais, dit l'introduction du document, nous nous demandons si une réflexion suffisante a été consacrée aux risques potentiels associés à leur développement et aux stratégies pour atténuer ces risques.

Le papier

L'article, qui s'appuie sur les travaux d'autres chercheurs, présente l'historique du traitement du langage naturel, un aperçu des quatre principaux risques des grands modèles de langage et des suggestions pour des recherches futures. Étant donné que le conflit avec Google semble porter sur les risques, nous nous sommes concentrés sur leur résumé ici.

Coûts environnementaux et financiers

La formation de grands modèles d'IA consomme beaucoup de puissance de traitement informatique, et donc beaucoup d'électricité. Gebru et ses coauteurs se réfèrent à un article de 2019 d'Emma Strubell et de ses collaborateurs sur les émissions de carbone et les coûts financiers de grands modèles de langage. Elle a constaté que leur consommation d'énergie et leur empreinte carbone explosent depuis 2017, les modèles étant alimentés de plus en plus de données.



L'étude de Strubell a révélé que la formation d'un modèle de langage avec un type particulier de méthode de recherche d'architecture neuronale (NAS) aurait produit l'équivalent de 626 155 livres (284 tonnes métriques) de dioxyde de carbone, soit environ la production à vie de cinq voitures américaines moyennes. Formation d'une version du modèle linguistique de Google, BERT, qui sous-tend le moteur de recherche de l'entreprise , a produit 1 438 livres d'équivalent CO2 selon l'estimation de Strubell, soit presque la même chose qu'un vol aller-retour entre New York et San Francisco. Ces chiffres doivent être considérés comme des minimums, le coût de la formation d'un modèle une fois. En pratique, les modèles sont formés et recyclés plusieurs fois au cours de la recherche et du développement.

Le projet de document de Gebru souligne que les ressources nécessaires pour construire et maintenir des modèles d'IA aussi vastes signifient qu'ils ont tendance à profiter aux organisations riches, tandis que le changement climatique frappe le plus durement les communautés marginalisées. Il est plus que temps pour les chercheurs de donner la priorité à l'efficacité énergétique et aux coûts afin de réduire l'impact environnemental négatif et l'accès inéquitable aux ressources, écrivent-ils.

Données massives, modèles impénétrables

Les grands modèles de langage sont également entraînés sur des quantités de texte en augmentation exponentielle. Cela signifie que les chercheurs ont cherché à collecter toutes les données qu'ils pouvaient sur Internet, il y a donc un risque qu'un langage raciste, sexiste et autrement abusif se retrouve dans les données de formation.



Un modèle d'IA enseigné à considérer le langage raciste comme normal est évidemment mauvais. Les chercheurs, cependant, soulignent quelques problèmes plus subtils. La première est que les changements de langue jouent un rôle important dans le changement social; les mouvements MeToo et Black Lives Matter, par exemple, ont tenté d'établir un nouveau vocabulaire antisexiste et antiraciste. Un modèle d'IA formé sur de vastes étendues d'Internet ne sera pas adapté aux nuances de ce vocabulaire et ne produira ni n'interprétera un langage conforme à ces nouvelles normes culturelles.

Il ne parviendra pas non plus à saisir la langue et les normes des pays et des peuples qui ont moins accès à Internet et donc une plus petite empreinte linguistique en ligne. Le résultat est que le langage généré par l'IA sera homogénéisé, reflétant les pratiques des pays et des communautés les plus riches.

De plus, comme les ensembles de données de formation sont si volumineux, il est difficile de les auditer pour vérifier ces biais intégrés. Une méthodologie qui repose sur des ensembles de données trop volumineux pour être documentés est donc intrinsèquement risquée, concluent les chercheurs. Alors que la documentation permet une responsabilité potentielle, [...] les données de formation non documentées perpétuent le préjudice sans recours.

Coûts d'opportunité de la recherche

Les chercheurs résument le troisième défi comme le risque d'un effort de recherche mal orienté. Bien que la plupart des chercheurs en IA reconnaissent que les grands modèles de langage pas en fait comprendre Langue et sont tout simplement excellents à manipuler cela, Big Tech peut gagner de l'argent à partir de modèles qui manipulent le langage avec plus de précision, donc il continue d'investir dans eux. Cet effort de recherche s'accompagne d'un coût d'opportunité, écrivent Gebru et ses collègues. Il n'y a pas autant d'efforts à travailler sur des modèles d'IA qui pourraient permettre de comprendre ou qui obtiennent de bons résultats avec des ensembles de données plus petits et plus soigneusement conservés (et donc aussi utiliser moins d'énergie).

Illusions de sens

Le dernier problème avec les grands modèles de langage, selon les chercheurs, est que parce qu'ils sont si bons pour imiter le vrai langage humain, il est facile de les utiliser pour tromper les gens. Il y a eu quelques cas très médiatisés, comme le étudiant qui a produit des conseils d'auto-assistance et de productivité générés par l'IA sur un blog, qui est devenu viral.

Les dangers sont évidents : les modèles d'IA pourraient être utilisés pour générer de la désinformation sur une élection ou la pandémie de covid-19, par exemple. Ils peuvent également se tromper par inadvertance lorsqu'ils sont utilisés pour la traduction automatique. Les chercheurs évoquent un exemple : En 2017, Facebook mal traduit le poste d'un Palestinien, qui disait bonjour en arabe, les a attaqués en hébreu, ce qui a conduit à son arrestation.

Pourquoi est-ce important

L'article de Gebru et Bender a six coauteurs, dont quatre sont des chercheurs de Google. Bender a demandé d'éviter de divulguer leurs noms par crainte de répercussions. (Bender, en revanche, est une professeure titulaire : je pense que cela souligne la valeur de la liberté académique, dit-elle.)

L'objectif de l'article, dit Bender, était de faire le point sur le paysage de la recherche actuelle dans le traitement du langage naturel. Nous travaillons à une échelle où les personnes qui construisent les choses ne peuvent pas réellement maîtriser les données, a-t-elle déclaré. Et parce que les avantages sont si évidents, il est particulièrement important de prendre du recul et de se demander quels sont les inconvénients possibles ? … Comment en tirer profit tout en atténuant les risques ?

Dans son e-mail interne, Dean, le responsable de l'IA de Google, a déclaré que l'une des raisons pour lesquelles le document n'avait pas atteint notre barre était qu'il ignorait trop de recherches pertinentes. Plus précisément, il a déclaré qu'il ne mentionnait pas les travaux plus récents sur la manière de rendre les grands modèles de langage plus économes en énergie et d'atténuer les problèmes de biais.

Cependant, les six collaborateurs ont puisé dans un large éventail d'érudition. La liste de citations de l'article, avec 128 références, est particulièrement longue. C'est le genre de travail qu'aucun individu ou même une paire d'auteurs ne peut réaliser, a déclaré Bender. Cela nécessitait vraiment cette collaboration.

La version de l'article que nous avons vue fait également un clin d'œil à plusieurs efforts de recherche sur la réduction de la taille et des coûts de calcul des grands modèles de langage, et sur la mesure du biais intégré des modèles. Il soutient cependant que ces efforts n'ont pas été suffisants. Je suis très ouvert à voir quelles autres références nous devrions inclure, a déclaré Bender.

Nicolas Le Roux, a Google AI researcher in the Montreal office, later noté sur Twitter que le raisonnement dans l'e-mail de Dean était inhabituel. Mes soumissions ont toujours été vérifiées pour la divulgation de matériel sensible, jamais pour la qualité de la revue de la littérature, a-t-il déclaré.

L'e-mail de Dean indique également que Gebru et ses collègues n'ont accordé à Google AI qu'une journée pour un examen interne de l'article avant de le soumettre à une conférence pour publication. Il a écrit que notre objectif est de rivaliser avec les revues à comité de lecture en termes de rigueur et de réflexion dans la façon dont nous examinons la recherche avant publication.

Bender a noté que même ainsi, la conférence soumettrait toujours le document à un processus de révision substantiel: la bourse est toujours une conversation et toujours un travail en cours, a-t-elle déclaré.

D'autres, dont William Fitzgerald, un ancien responsable des relations publiques de Google, ont jeter davantage le doute sur la demande de Dean.

Google a été le pionnier d'une grande partie de la recherche fondamentale qui a depuis conduit à l'explosion récente des grands modèles de langage. Google AI a été le premier à inventer le Modèle de langage Transformer en 2017 qui sert de base au dernier modèle BERT de la société et aux GPT-2 et GPT-3 d'OpenAI. BERT, comme indiqué ci-dessus, alimente désormais également la recherche Google, la vache à lait de l'entreprise.

Bender craint que les actions de Google ne créent un effet dissuasif sur les futures recherches sur l'éthique de l'IA. Bon nombre des meilleurs experts en éthique de l'IA travaillent dans de grandes entreprises technologiques parce que c'est là que se trouve l'argent. Cela a été bénéfique à bien des égards, dit-elle. Mais nous nous retrouvons avec un écosystème qui a peut-être des incitations qui ne sont pas les meilleures pour le progrès de la science dans le monde.

Mise à jour (7 décembre) : Des détails supplémentaires ont été ajoutés pour clarifier les coûts environnementaux des grands modèles de langage.

cacher