À l'intérieur de la lutte pour récupérer l'IA du contrôle de Big Tech

Sur la photo en haut à partir de la gauche : Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Deuxième rangée : Joy Buolamwini. Troisième rangée à partir de la gauche : William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru n'a jamais pensé qu'un article scientifique lui causerait tant d'ennuis.

En 2020, en tant que co-responsable de l'équipe d'IA éthique de Google, Gebru avait contacté Emilie Bender , professeur de linguistique à l'Université de Washington, et les deux ont décidé de collaborer à des recherches sur la direction troublante de l'intelligence artificielle. Gebru voulait identifier les risques posés par grands modèles de langage , l'une des percées récentes les plus étonnantes dans la recherche sur l'IA. Les modèles sont des algorithmes formés sur des quantités stupéfiantes de texte. Dans les bonnes conditions, ils peuvent composer ce qui ressemble à des passages de prose convaincants.

Cette histoire faisait partie de notre numéro de juillet 2021

• Voir la suite du problème
• S'abonner

Pendant quelques années, les entreprises technologiques se sont efforcées de créer des versions plus grandes et de les intégrer dans des produits de consommation. Google, qui a inventé la technique, en utilisait déjà une pour améliorer la pertinence des résultats de recherche. OpenAI a annoncé le plus grand, appelé GPT-3 , en juin 2020 et l'a licencié exclusivement à Microsoft quelques mois plus tard.

Gebru s'inquiétait de la rapidité avec laquelle la technologie était déployée. Dans l'article qu'elle a fini par écrire avec Bender et cinq autres, elle a détaillé les dangers possibles. Les modèles étaient extrêmement coûteux à créer, à la fois sur le plan environnemental (ils nécessitent d'énormes quantités de puissance de calcul) et financièrement ; ils ont souvent été formés au langage toxique et abusif d'Internet ; et ils en étaient venus à dominer la recherche sur l'IA linguistique, en proposant des alternatives prometteuses.

Comme d'autres techniques d'IA existantes, les modèles ne comprennent pas réellement le langage. Mais parce qu'ils peuvent le manipuler pour récupérer des informations textuelles pour les utilisateurs ou générer une conversation naturelle, ils peuvent être intégrés dans des produits et services qui rapportent beaucoup d'argent aux entreprises technologiques.

Ce novembre, Gebru a soumis le document à une conférence. Peu de temps après, les dirigeants de Google lui ont demandé de se rétracter, et lorsqu'elle a refusé, ils l'ont licenciée. Deux mois plus tard, ils ont également a renvoyé sa coauteure Margaret Mitchell , l'autre chef de l'équipe d'IA éthique.

Le démantèlement de cette équipe a déclenché l'une des plus grandes controverses dans le monde de l'IA de mémoire récente. Les défenseurs de Google ont fait valoir que l'entreprise a le droit de superviser ses propres chercheurs. Mais pour beaucoup d'autres, cela a renforcé les craintes quant au degré de contrôle que les géants de la technologie ont désormais sur le terrain. Big Tech est désormais le principal employeur et bailleur de fonds des chercheurs en IA, y compris, assez ironiquement, bon nombre de ceux qui évaluent ses impacts sociaux.

Histoire connexe

Nous avons lu le journal qui a forcé Timnit Gebru à quitter Google. Voici ce qu'il dit.

Le chercheur en éthique vedette de l'entreprise a souligné les risques des grands modèles linguistiques, qui sont essentiels aux activités de Google.

Parmi les entreprises les plus riches et les plus puissantes du monde, Google, Facebook, Amazon, Microsoft et Apple ont fait de l'IA un élément central de leur activité. Les progrès de la dernière décennie, en particulier dans une technique d'IA appelée l'apprentissage en profondeur , leur ont permis de surveiller le comportement des utilisateurs ; leur recommander des nouvelles, des informations et des produits ; et surtout, ciblez-les avec des publicités. L'année dernière, l'appareil publicitaire de Google a généré plus de 140 milliards de dollars de revenus. Facebook a généré 84 milliards de dollars.

Les entreprises ont investi massivement dans la technologie qui leur a apporté une telle richesse. La société mère de Google, Alphabet, a acquis le laboratoire d'IA basé à Londres DeepMind pour 600 millions de dollars en 2014 et dépense des centaines de millions par an pour soutenir ses recherches. Microsoft a signé un accord d'un milliard de dollars avec OpenAI en 2019 pour les droits de commercialisation de ses algorithmes.

Dans le même temps, les géants de la technologie sont devenus de grands investisseurs dans la recherche universitaire sur l'IA, influençant fortement ses priorités scientifiques. Au fil des ans, de plus en plus de scientifiques ambitieux sont passés à travailler à temps plein pour des géants de la technologie ou ont adopté une double affiliation. Selon une étude menée par des chercheurs du Réseau d'IA radicale , un groupe qui cherche à défier la dynamique du pouvoir dans l'IA.

Le problème est que l'agenda des entreprises pour l'IA s'est concentré sur des techniques à potentiel commercial, ignorant largement la recherche qui pourrait aider à relever des défis tels que les inégalités économiques et le changement climatique. En fait, cela a aggravé ces défis. La volonté d'automatiser les tâches a coûté des emplois et entraîné l'augmentation de tâches fastidieuses telles que le nettoyage des données et la modération du contenu. La poussée pour créer des modèles toujours plus grands a fait exploser la consommation d'énergie de l'IA. L'apprentissage en profondeur a également créé une culture dans laquelle nos données sont constamment extraites, souvent sans consentement, pour former des produits comme les systèmes de reconnaissance faciale. Et les algorithmes de recommandation ont exacerbé la polarisation politique, tandis que les grands modèles de langage n'ont pas réussi à nettoyer la désinformation.

C'est cette situation que Gebru et un mouvement croissant d'universitaires partageant les mêmes idées veulent changer. Au cours des cinq dernières années, ils ont cherché à détourner les priorités du domaine de la simple enrichissement des entreprises technologiques, en élargissant qui peut participer au développement de la technologie. Leur objectif n'est pas seulement d'atténuer les dommages causés par les systèmes existants, mais de créer une nouvelle IA plus équitable et démocratique.

Bonjour de Timnit

En décembre 2015, Gebru s'est assis pour rédiger une lettre ouverte. À mi-parcours de son doctorat à Stanford, elle avait assisté à la conférence Neural Information Processing Systems, le plus grand rassemblement annuel de recherche sur l'IA. Sur plus de 3 700 chercheurs là-bas, Gebru ne comptait qu'une poignée de Noirs.

Autrefois une petite réunion sur un sujet académique de niche, NeurIPS (comme on l'appelle maintenant) devenait rapidement la plus grande manne annuelle d'emplois en IA. Les entreprises les plus riches du monde venaient montrer des démos, organiser des fêtes extravagantes et signer de gros chèques pour les personnes les plus rares de la Silicon Valley : des chercheurs habiles en intelligence artificielle.

Cette année-là, Elon Musk est arrivé pour annoncer l'entreprise à but non lucratif OpenAI . Lui, Sam Altman, alors président de Y Combinator, et le cofondateur de PayPal, Peter Thiel, avaient investi 1 milliard de dollars pour résoudre ce qu'ils croyaient être un problème existentiel : la perspective qu'une superintelligence puisse un jour conquérir le monde. Leur solution : construire une superintelligence encore meilleure. Sur les 14 conseillers ou membres de l'équipe technique qu'il a oints, 11 étaient des hommes blancs.

RICARDO SANTO | PHOTO DE COURTOISIE

Alors que Musk était adulé, Gebru faisait face à l'humiliation et au harcèlement. Lors d'une conférence, un groupe de gars ivres portant des t-shirts Google Research l'ont encerclée et l'ont soumise à des câlins non désirés, un baiser sur la joue et une photo.

Gebru a tapé une critique cinglante de ce qu'elle avait observé : le spectacle, le culte culte des célébrités de l'IA et, surtout, l'homogénéité écrasante. Cette culture de club de garçons, a-t-elle écrit, avait déjà poussé les femmes talentueuses hors du terrain. Cela conduisait également toute la communauté vers une conception dangereusement étroite de l'intelligence artificielle et de son impact sur le monde.

Google avait déjà déployé un algorithme de vision par ordinateur qui classait les Noirs comme des gorilles, a-t-elle noté. Et la sophistication croissante des drones sans pilote mettait l'armée américaine sur la voie des armes autonomes létales. Mais il n'y avait aucune mention de ces problèmes dans le grand plan de Musk pour empêcher l'IA de conquérir le monde dans un scénario futur théorique. Nous n'avons pas besoin de nous projeter dans l'avenir pour voir les effets négatifs potentiels de l'IA, a écrit Gebru. C'est déjà en train de se produire.

Gebru n'a jamais publié sa réflexion. Mais elle a réalisé que quelque chose devait changer. Le 28 janvier 2016, elle a envoyé un e-mail avec pour objet Hello from Timnit à cinq autres chercheurs de Black AI. J'ai toujours été triste du manque de couleur dans l'IA, a-t-elle écrit. Mais maintenant, j'ai vu 5 d'entre vous :) et j'ai pensé que ce serait cool si nous commencions un groupe noir dans l'IA ou au moins si nous nous connaissions.

Le courriel a déclenché une discussion. En quoi le fait d'être noir a-t-il éclairé leurs recherches ? Pour Gebru, son travail était en grande partie un produit de son identité ; pour d'autres, ce n'était pas le cas. Mais après s'être rencontrés, ils ont convenu : si l'IA devait jouer un rôle plus important dans la société, ils avaient besoin de plus de chercheurs noirs. Sinon, le domaine produirait une science plus faible et ses conséquences néfastes pourraient s'aggraver.

Un programme axé sur le profit

Comme Noir en IA commençait à peine à fusionner, AI atteignait son rythme commercial. Cette année-là, en 2016, les géants de la technologie ont dépensé entre 20 et 30 milliards de dollars pour développer la technologie, selon le McKinsey Global Institute.

Chauffé par l'investissement des entreprises, le champ s'est déformé. Des milliers d'autres chercheurs ont commencé à étudier l'IA, mais ils souhaitaient principalement travailler sur des algorithmes d'apprentissage en profondeur, tels que ceux derrière les grands modèles de langage. En tant que jeune doctorant qui souhaite obtenir un emploi dans une entreprise technologique, vous vous rendez compte que les entreprises technologiques sont axées sur l'apprentissage en profondeur, déclare Suresh Venkatasubramanian, professeur d'informatique qui travaille maintenant au Bureau de la politique scientifique et technologique de la Maison Blanche. Vous orientez donc toutes vos recherches vers l'apprentissage en profondeur. Ensuite, le doctorant suivant qui arrive regarde autour de lui et dit : « Tout le monde fait un apprentissage en profondeur ». Je devrais probablement le faire aussi.

Mais l'apprentissage en profondeur n'est pas la seule technique dans le domaine. Avant son boom, il existait une approche différente de l'IA connue sous le nom de raisonnement symbolique. Alors que l'apprentissage en profondeur utilise d'énormes quantités de données pour enseigner aux algorithmes des relations significatives dans l'information, le raisonnement symbolique se concentre sur l'encodage explicite des connaissances et de la logique basée sur l'expertise humaine.

Certains chercheurs croient maintenant que ces techniques devraient être combinées. L'approche hybride rendrait l'IA plus efficace dans son utilisation des données et de l'énergie, et lui donnerait les connaissances et les capacités de raisonnement d'un expert ainsi que la capacité de se mettre à jour avec de nouvelles informations. Mais les entreprises sont peu incitées à explorer des approches alternatives alors que le moyen le plus sûr de maximiser leurs profits est de construire des modèles toujours plus grands.

Dans leur article, Gebru et Bender ont fait allusion au coût de base de cette tendance à s'en tenir à l'apprentissage en profondeur : les systèmes d'IA les plus avancés dont nous avons besoin ne sont pas développés et des problèmes similaires ne cessent de se reproduire. Facebook, par exemple, s'appuie fortement sur de grands modèles de langage pour la modération automatisée du contenu. Mais sans vraiment comprendre le sens du texte, ces modèles échouent souvent. Ils suppriment régulièrement des messages anodins tout en laissant passer les discours de haine et la désinformation.

Les systèmes de reconnaissance faciale basés sur l'IA souffrent du même problème. Ils sont formés sur des quantités massives de données mais ne voient que des modèles de pixels - ils ne maîtrisent pas les concepts visuels tels que les yeux, la bouche et le nez. Cela peut déclencher ces systèmes lorsqu'ils sont utilisés sur des personnes ayant un teint de peau différent de celui des personnes qui leur ont été montrées pendant la formation. Néanmoins, Amazon et d'autres sociétés ont vendu ces systèmes aux forces de l'ordre. Aux États-Unis, ils ont causé trois cas connus de police emprisonnant la mauvaise personne – tous des hommes noirs – au cours de la dernière année.

Pendant des années, de nombreux membres de la communauté de l'IA ont largement accepté le rôle de Big Tech dans l'élaboration du développement et de l'impact de ces technologies. Alors que certains ont exprimé leur malaise face à la prise de contrôle de l'entreprise, beaucoup d'autres ont salué le profond financement de l'industrie.

Mais à mesure que les lacunes de l'IA d'aujourd'hui sont devenues plus évidentes - à la fois son incapacité à résoudre les problèmes sociaux et les exemples de plus en plus nombreux qu'elle peut les exacerber - la confiance dans la Big Tech s'est affaiblie. L'éviction de Gebru et Mitchell par Google a encore alimenté la discussion en révélant à quel point les entreprises donneront la priorité au profit plutôt qu'à l'autocontrôle.

Immédiatement après, plus de 2 600 employés de Google et 4 300 autres ont signé une pétition dénonçant le licenciement de Gebru comme une censure sans précédent de la recherche. Six mois plus tard, les groupes de recherche rejettent toujours le financement de l'entreprise, les chercheurs refusent de participer à ses ateliers de conférence et les employés partent en signe de protestation.

Contrairement à il y a cinq ans, lorsque Gebru a commencé à soulever ces questions, il existe maintenant un mouvement bien établi qui se demande ce que l'IA devrait être et à qui elle devrait servir. Ce n'est pas une coïncidence. C'est en grande partie le produit de la propre initiative de Gebru, qui a commencé par le simple fait d'inviter davantage de chercheurs noirs sur le terrain.

Il faut une conférence

En décembre 2017, le nouveau groupe Black in AI a organisé son premier atelier à NeurIPS. Lors de l'organisation de l'atelier, Gebru a approché Joy Buolamwini, une chercheuse du MIT Media Lab qui étudiait les systèmes commerciaux de reconnaissance faciale pour d'éventuels biais. Buolamwini avait commencé à tester ces systèmes après que l'un d'entre eux n'ait pas réussi à détecter son propre visage à moins qu'elle ne porte un masque blanc. Elle a soumis ses résultats préliminaires à l'atelier.

Deborah Raji, alors chercheuse de premier cycle, a été une autre des premières participantes. Raji était consternée par la culture qu'elle avait observée à NeurIPS. L'atelier est devenu son répit. Passer de quatre ou cinq jours à une journée entière de personnes qui me ressemblent et qui parlent de réussir dans cet espace, c'était un encouragement si important pour moi, dit-elle.

Buolamwini, Raji et Gebru ont continué à travailler ensemble sur une paire d'études révolutionnaires sur les systèmes de vision par ordinateur discriminatoires. Buolamwini et Gebru co-écrit Nuances de genre , qui a montré que les systèmes de reconnaissance faciale vendus par Microsoft, IBM et le géant chinois de la technologie Megvii avaient des taux d'échec remarquablement élevés sur les femmes noires malgré des performances presque parfaites sur les hommes blancs. Raji et Buolamwini ont ensuite collaboré sur un suivi appelé Audit exploitable , qui a trouvé la même chose pour la Rekognition d'Amazon. En 2020, Amazon accepterait un moratoire d'un an sur les ventes à la police de son produit, en partie à cause de ce travail.

Histoire connexe

J'ai commencé à pleurer : découvrez les derniers jours de Timnit Gebru chez Google et ce qui se passe ensuite .

Lors du tout premier atelier Black in AI, cependant, ces succès étaient des possibilités lointaines. Il n'y avait pas d'autre objectif que de construire une communauté et de produire des recherches basées sur leurs points de vue qui manquaient cruellement. De nombreux spectateurs ne comprenaient pas pourquoi un tel groupe devait exister. Gebru se souvient des commentaires dédaigneux de certains membres de la communauté de l'IA. Mais pour d'autres, Black in AI a montré une nouvelle voie à suivre.

C'était le cas pour William Agnew et Raphael Gontijo Lopes, deux hommes queer menant des recherches en informatique, qui ont réalisé qu'ils pouvaient former un groupe Queer in AI. (D'autres groupes qui ont pris forme incluent Latinx en IA, {Dis}Ability en IA et Muslim en ML.) Pour Agnew, en particulier, avoir une telle communauté était un besoin urgent. Il était même difficile de m'imaginer avoir une vie heureuse, dit-il, réfléchissant au manque de modèles queer dans le domaine. Il y a Turing, mais il s'est suicidé. Donc c'est déprimant. Et la partie étrange de lui est tout simplement ignorée.

Tous les membres des groupes d'affinité ne voient pas un lien entre leur identité et leur recherche. Pourtant, chaque groupe a établi une expertise particulière. Black in AI est devenu le centre intellectuel pour exposer la discrimination algorithmique, critiquer la surveillance et développer des techniques d'IA efficaces en matière de données. Queer in AI est devenu un centre de contestation de la manière dont les algorithmes portent atteinte à la vie privée des personnes et les classent par défaut dans des catégories délimitées.

Venkatasubramanian et Gebru ont également aidé à créer la conférence Fairness, Accountability, and Transparency (FAccT) pour créer un forum de recherche sur les implications sociales et politiques de l'IA. Les idées et les projets d'articles discutés lors des ateliers du groupe d'affinité NeurIPS deviennent souvent la base des articles publiés au FAccT, qui présente ensuite cette recherche à un public plus large.

C'est après la présentation de Buolamwini au premier atelier Black in AI, par exemple, que FAccT a publié Gender Shades. Parallèlement à Actionable Auditing, il a ensuite alimenté plusieurs grandes campagnes d'éducation et de plaidoyer pour limiter l'utilisation par le gouvernement de la reconnaissance faciale. Lorsqu'Amazon a tenté de saper la légitimité des recherches de Buolamwini et Raji, des dizaines de chercheurs en intelligence artificielle et d'organisations de la société civile se sont regroupés pour les défendre, préfigurant ce qu'ils feraient plus tard pour Gebru. Ces efforts ont finalement contribué au moratoire d'Amazon, qui en mai, la société a annoncé qu'il se prolongerait indéfiniment.

La recherche a également déclenché une cascade de réglementations. Plus d'une douzaine de villes ont interdit l'utilisation de la reconnaissance faciale par la police, et le Massachusetts exige désormais que la police obtienne l'autorisation d'un juge pour l'utiliser. Les États-Unis et la Commission européenne ont proposé une réglementation supplémentaire.

D'abord, nous devions être là, dit Gebru. Et à un moment donné, ce que Black in AI dit commence à devenir important. Et ce que tous ces groupes disent ensemble devient important. Vous devez nous écouter maintenant.

Suivez l'argent

Après le licenciement de Gebru et Mitchell, le terrain est de nouveau aux prises avec une question séculaire : est-il possible de changer le statu quo tout en travaillant de l'intérieur ? Gebru croit toujours que travailler avec des géants de la technologie est le meilleur moyen d'identifier les problèmes. Mais elle pense également que les chercheurs en entreprise ont besoin de protections juridiques plus solides. S'ils voient des pratiques à risque, ils devraient pouvoir partager publiquement leurs observations sans mettre en péril leur carrière.

Se pose alors la question du financement. De nombreux chercheurs souhaitent davantage d'investissements de la part du gouvernement américain pour soutenir les travaux qui sont essentiels au développement commercial de l'IA et qui font progresser le bien-être public. L'année dernière, il a engagé un maigre 1 milliard de dollars dans la recherche sur l'IA non liée à la défense. L'administration Biden demande maintenant au Congrès d'investir 180 milliards de dollars supplémentaires dans les technologies émergentes, l'IA étant une priorité absolue.

Un tel financement pourrait aider des gens comme Abebe reviendra , professeur adjoint d'informatique à l'Université de Californie à Berkeley. Abebe, qui a également cofondé Black in AI, est entré dans l'IA avec l'idée de l'utiliser pour faire progresser l'équité sociale. Mais quand elle a commencé son doctorat à Cornell, personne ne se concentrait sur de telles recherches.

À l'automne 2016, en tant qu'étudiante au doctorat, elle a créé un petit groupe de lecture Cornell avec un autre étudiant diplômé pour étudier des sujets tels que l'instabilité du logement, l'accès aux soins de santé et les inégalités. Elle s'est ensuite lancée dans un nouveau projet pour voir si ses compétences en informatique pouvaient soutenir les efforts de lutte contre la pauvreté.

Finalement, elle a trouvé l'étude Poverty Tracker, un ensemble de données détaillées sur les chocs financiers - dépenses imprévues comme les factures médicales ou les contraventions de stationnement - subis par plus de 2 000 familles new-yorkaises. Au cours de nombreuses conversations avec les auteurs de l'étude, les travailleurs sociaux et les organisations à but non lucratif au service des communautés marginalisées, elle a appris leurs besoins et leur a dit comment elle pouvait les aider. Abebe a ensuite développé un modèle qui a montré comment la fréquence et le type de chocs affectaient le statut économique d'une famille.

Cinq ans plus tard, le projet est toujours en cours. Elle collabore maintenant avec des organisations à but non lucratif pour améliorer son modèle et travaille avec des décideurs politiques par le biais du California Policy Lab pour l'utiliser comme un outil de prévention de l'itinérance. Son groupe de lecture est également devenu une communauté de 2 000 personnes et tient sa conférence inaugurale plus tard cette année.

Abebe y voit un moyen d'inciter davantage de chercheurs à renverser les normes de l'IA. Alors que les conférences informatiques traditionnelles mettent l'accent sur l'avancement des techniques de calcul pour le plaisir de le faire, la nouvelle publiera des travaux qui cherchent d'abord à comprendre en profondeur un problème social. Le travail n'est pas moins technique, mais il jette les bases de l'émergence d'une IA plus significative socialement.

Ces changements pour lesquels nous nous battons ne concernent pas seulement les groupes marginalisés, dit-elle. C'est en fait pour tout le monde.

cacher