211service.com
Comment Facebook est devenu accro à la diffusion de fausses informations
Les algorithmes d'intelligence artificielle de l'entreprise lui ont donné une habitude insatiable de mensonges et de discours de haine. Maintenant, l'homme qui les a construits ne peut pas résoudre le problème.
Les coupables sont Wintermeyer
11 mars 2021Joaquin Quiñonero Candela, directeur de l'IA chez Facebook, s'excusait auprès de son public.
C'était le 23 mars 2018, quelques jours seulement après la révélation que Cambridge Analytica, un cabinet de conseil qui a travaillé sur la campagne présidentielle de Donald Trump en 2016, avait subrepticement siphonné les données personnelles de dizaines de millions d'Américains de leurs comptes Facebook dans le but d'influencer la façon dont ils ont voté. Il s'agissait de la plus grande atteinte à la vie privée de l'histoire de Facebook, et Quiñonero devait auparavant prendre la parole lors d'une conférence sur, entre autres, l'intersection de l'IA, de l'éthique et de la vie privée au sein de l'entreprise. Il a envisagé d'annuler, mais après en avoir discuté avec son directeur des communications, il a respecté le temps qui lui était imparti.
Alors qu'il s'avançait pour faire face à la pièce, il commença par un aveu. Je viens de vivre les cinq jours les plus difficiles de mon mandat sur Facebook, se souvient-il avoir dit. S'il y a des critiques, je les accepterai.
Le scandale de Cambridge Analytica allait déclencher la plus grande crise publicitaire de Facebook. Cela a aggravé les craintes que les algorithmes qui déterminent ce que les gens voient sur la plate-forme amplifient les fausses nouvelles et les discours de haine, et que les pirates informatiques russes les aient armés pour tenter d'influencer l'élection en faveur de Trump. Des millions a commencé à supprimer l'application ; les employés sont partis en signe de protestation ; la capitalisation boursière de la société a plongé plus de 100 milliards de dollars après son appel aux résultats de juillet.
Dans les mois qui ont suivi, Mark Zuckerberg a commencé ses propres excuses. Il s'est excusé de ne pas avoir pris une vue assez large des responsabilités de Facebook, et pour ses erreurs en tant que PDG. En interne, Sheryl Sandberg, la directrice de l'exploitation, a lancé un mandat de deux ans vérification des droits civils recommander des moyens par lesquels l'entreprise pourrait empêcher l'utilisation de sa plateforme pour saper la démocratie.
Enfin, Mike Schroepfer, directeur de la technologie de Facebook, a demandé à Quiñonero de créer une équipe avec une directive un peu vague : examiner l'impact sociétal des algorithmes de l'entreprise. Le groupe s'est nommé Society and AI Lab (SAIL); l'année dernière, il s'est associé à une autre équipe travaillant sur les questions de confidentialité des données pour former Responsible AI.
Quiñonero était un choix naturel pour le poste. Lui, autant que quiconque, était le responsable de la position de Facebook en tant que centrale d'IA. Au cours de ses six années chez Facebook, il avait créé certains des premiers algorithmes pour cibler les utilisateurs avec un contenu précisément adapté à leurs intérêts, puis il avait diffusé ces algorithmes dans toute l'entreprise. Désormais, son mandat serait de les rendre moins nocifs.
Facebook a constamment souligné les efforts de Quiñonero et d'autres alors qu'il cherche à réparer sa réputation. Il sort régulièrement différents dirigeants pour parler aux médias des réformes en cours. En mai 2019, il a accordé une série d'entretiens avec Schroepfer au New York Times, qui a récompensé l'entreprise avec un profil humanisant d'un cadre sensible et bien intentionné s'efforçant de surmonter les défis techniques de filtrage de la désinformation et des discours de haine d'un flux de contenu qui s'élevait à des milliards de pièces par jour. Ces défis sont si difficiles que cela rend Schroepfer émotif, écrit le Times : Parfois, cela le fait pleurer.
Au printemps 2020, c'était apparemment mon tour. Ari Entin, directeur des communications sur l'IA de Facebook, m'a demandé dans un e-mail si je voulais approfondir le travail de l'entreprise sur l'IA. Après avoir parlé à plusieurs de ses responsables de l'IA, j'ai décidé de me concentrer sur Quiñonero. Entin heureusement obligé. Non seulement en tant que chef de l'équipe d'IA responsable, mais aussi en tant qu'homme qui avait fait de Facebook une entreprise axée sur l'IA, Quiñonero était un choix solide à utiliser comme affichiste.
Il semblait un choix naturel de sujet pour moi aussi. Dans les années qui ont suivi la formation de son équipe à la suite du scandale de Cambridge Analytica, les inquiétudes concernant la propagation de mensonges et de discours de haine sur Facebook n'avaient fait que grandir. Fin 2018, la société a admis que cette activité avait contribué à alimenter une campagne génocidaire anti-musulmane au Myanmar depuis plusieurs années. En 2020, Facebook a commencé tardivement à prendre des mesures contre les négationnistes de l'Holocauste, les anti-vaxxers et le mouvement complotiste QAnon. Tous ces mensonges dangereux métastasaient grâce aux capacités d'IA que Quiñonero avait aidé à construire. Les algorithmes qui sous-tendent les activités de Facebook n'ont pas été créés pour filtrer ce qui était faux ou incendiaire ; ils ont été conçus pour que les gens partagent et interagissent avec autant de contenu que possible en leur montrant des choses qui les indigneraient ou les titilleraient le plus. Résoudre ce problème, pour moi, semblait être le territoire central de l'IA responsable.
J'ai commencé à appeler régulièrement Quiñonero par vidéo. J'ai également parlé à des dirigeants de Facebook, à des employés actuels et anciens, à des pairs de l'industrie et à des experts externes. Beaucoup ont parlé sous couvert d'anonymat parce qu'ils avaient signé des accords de non-divulgation ou craignaient des représailles. Je voulais savoir : que faisait l'équipe de Quiñonero pour contenir la haine et les mensonges sur sa plate-forme ?
Joaquin Quiñonero Candela devant son domicile de la Bay Area, où il vit avec sa femme et ses trois enfants.
WINNI WINTERMEYERMais Entin et Quiñonero avaient un programme différent. Chaque fois que j'ai essayé d'aborder ces sujets, mes demandes d'en parler ont été abandonnées ou redirigées. Ils voulaient seulement discuter du plan de l'équipe d'IA responsable pour s'attaquer à un type de problème spécifique : le biais de l'IA, dans lequel les algorithmes discriminent certains groupes d'utilisateurs. Un exemple serait un algorithme de ciblage publicitaire qui montre certaines opportunités d'emploi ou de logement aux Blancs mais pas aux minorités.
Au moment où des milliers d'émeutiers ont pris d'assaut le Capitole américain en janvier, organisés en partie sur Facebook et alimentés par les mensonges sur une élection volée qui s'était propagée sur toute la plate-forme, il était clair d'après mes conversations que l'équipe d'IA responsable n'avait pas réussi à faire progrès contre la désinformation et les discours de haine parce qu'il n'a jamais fait de ces problèmes son objectif principal. Plus important encore, j'ai réalisé que s'il essayait, il serait mis en place pour l'échec.
La raison est simple. Tout ce que l'entreprise fait et choisit de ne pas faire découle d'une seule motivation : le désir incessant de croissance de Zuckerberg. L'expertise de Quiñonero en IA a stimulé cette croissance. Son équipe s'est retrouvée coincée dans le ciblage des biais de l'IA, comme je l'ai appris dans mes reportages, car la prévention de tels biais aide l'entreprise à éviter règlement proposé qui pourrait, s'il était adopté, entraver cette croissance. La direction de Facebook a également affaibli ou interrompu à plusieurs reprises de nombreuses initiatives destinées à nettoyer la désinformation sur la plate-forme, car cela nuirait à cette croissance.
En d'autres termes, le travail de l'équipe Responsible AI - quels que soient ses mérites sur le problème spécifique de la lutte contre les biais de l'IA - est essentiellement sans rapport avec la résolution des problèmes plus importants de désinformation, d'extrémisme et de polarisation politique. Et c'est nous tous qui en payons le prix.
Lorsque vous êtes dans le domaine de la maximisation de l'engagement, vous n'êtes pas intéressé par la vérité. Vous n'êtes pas intéressé par le mal, la division, la conspiration. En fait, ce sont vos amis, explique Hany Farid, professeur à l'Université de Californie à Berkeley, qui collabore avec Facebook pour comprendre la désinformation basée sur les images et les vidéos sur la plateforme.
Ils en font toujours juste assez pour pouvoir publier le communiqué de presse. Mais à quelques exceptions près, je ne pense pas que cela se traduise réellement par de meilleures politiques. Ils ne traitent jamais vraiment les problèmes fondamentaux.
En mars 2012, Quiñonero a rendu visite à un ami dans la région de la baie. À l'époque, il était responsable du bureau britannique de Microsoft Research, dirigeant une équipe utilisant l'apprentissage automatique pour inciter davantage de visiteurs à cliquer sur les publicités affichées par le moteur de recherche de l'entreprise, Bing. Son expertise était rare, et l'équipe avait moins d'un an. L'apprentissage automatique, un sous-ensemble de l'IA, n'avait pas encore fait ses preuves en tant que solution aux problèmes industriels à grande échelle. Peu de géants de la technologie avaient investi dans la technologie.
L'ami de Quiñonero voulait montrer son nouvel employeur, l'une des startups les plus en vogue de la Silicon Valley : Facebook, alors âgé de huit ans et déjà avec près de Un milliard utilisateurs actifs mensuels (c'est-à-dire ceux qui se sont connectés au moins une fois au cours des 30 derniers jours). Alors que Quiñonero se promenait dans son siège social de Menlo Park, il a vu un ingénieur seul effectuer une mise à jour majeure du site Web, ce qui aurait impliqué une bureaucratie importante chez Microsoft. Ce fut une introduction mémorable à la philosophie Move fast and break Things de Zuckerberg. Quiñonero a été émerveillé par les possibilités. En une semaine, il avait passé des entretiens et signé une offre pour rejoindre l'entreprise.
Son arrivée ne pouvait pas mieux tomber. Le service de publicité de Facebook était au milieu d'une expansion rapide alors que la société se préparait pour son introduction en bourse en mai. L'objectif était d'augmenter les revenus et de s'attaquer à Google, qui détenait la part du lion du marché de la publicité en ligne. L'apprentissage automatique, qui pourrait prédire quelles annonces résonneraient le mieux avec quels utilisateurs et ainsi les rendre plus efficaces, pourrait être l'outil parfait. Peu de temps après avoir commencé, Quiñonero a été promu à la gestion d'une équipe similaire à celle qu'il avait dirigée chez Microsoft.
Quiñonero a commencé à élever des poulets fin 2019 afin de se détendre de l'intensité de son travail.
WINNI WINTERMEYERContrairement aux algorithmes traditionnels, qui sont codés en dur par les ingénieurs, les algorithmes d'apprentissage automatique s'entraînent sur les données d'entrée pour apprendre les corrélations qu'elles contiennent. L'algorithme formé, connu sous le nom de modèle d'apprentissage automatique, peut ensuite automatiser les décisions futures. Un algorithme formé sur les données de clics publicitaires, par exemple, pourrait apprendre que les femmes cliquent plus souvent que les hommes sur les publicités pour des leggings de yoga. Le modèle résultant diffusera alors davantage de ces publicités aux femmes. Aujourd'hui, dans une entreprise basée sur l'IA comme Facebook, les ingénieurs génèrent d'innombrables modèles avec de légères variations pour voir lequel fonctionne le mieux sur un problème donné.
Les énormes quantités de données utilisateur de Facebook ont donné à Quiñonero un gros avantage. Son équipe a pu développer des modèles qui ont appris à déduire l'existence non seulement de grandes catégories comme les femmes et les hommes, mais aussi de catégories très fines comme les femmes entre 25 et 34 ans qui aiment les pages Facebook liées au yoga et les ciblent. Plus le ciblage est fin, meilleures sont les chances d'obtenir un clic, ce qui donnerait aux annonceurs plus d'argent pour leur argent.
En un an, son équipe avait développé ces modèles, ainsi que les outils pour en concevoir et en déployer de nouveaux plus rapidement. Auparavant, il fallait six à huit semaines aux ingénieurs de Quiñonero pour construire, former et tester un nouveau modèle. Maintenant, il n'en fallait plus qu'un.
La nouvelle du succès se répandit rapidement. L'équipe qui a travaillé sur la détermination des publications que les utilisateurs individuels de Facebook verraient sur leurs fils d'actualités personnels souhaitait appliquer les mêmes techniques. Tout comme les algorithmes pourraient être formés pour prédire qui cliquerait sur quelle annonce, ils pourraient également être formés pour prédire qui aimerait ou partagerait quelle publication, puis donnerait plus d'importance à ces publications. Si le modèle déterminait qu'une personne aimait vraiment les chiens, par exemple, les publications d'amis sur les chiens apparaîtraient plus haut dans le fil d'actualité de cet utilisateur.
Le succès de Quiñonero avec le fil d'actualités, associé à de nouvelles recherches impressionnantes sur l'IA menées à l'extérieur de l'entreprise, a attiré l'attention de Zuckerberg et Schroepfer. Facebook comptait désormais un peu plus d'un milliard d'utilisateurs, soit plus de huit fois plus que tout autre réseau social, mais ils voulaient savoir comment poursuivre cette croissance. Les dirigeants ont décidé d'investir massivement dans l'IA, la connectivité Internet et la réalité virtuelle.
Ils ont créé deux équipes d'IA. L'un était FAIR, un laboratoire de recherche fondamentale qui ferait progresser les capacités de pointe de la technologie. L'autre, Applied Machine Learning (AML), intégrerait ces capacités dans les produits et services de Facebook. En décembre 2013, après des mois de courtisation et de persuasion, les dirigeants ont recruté Yann LeCun, l'un des plus grands noms du domaine, pour diriger FAIR. Trois mois plus tard, Quiñonero a été promu à nouveau, cette fois pour diriger AML. (Il a ensuite été rebaptisé FAIAR, prononcé feu.)
C'est ainsi que vous savez ce qu'il a en tête. J'étais toujours, pendant quelques années, à quelques pas du bureau de Mark.
Joaquín Quinonero Candela
Dans son nouveau rôle, Quiñonero a construit une nouvelle plate-forme de développement de modèles accessible à tous sur Facebook. Appelé Flux FBLearner , il a permis aux ingénieurs ayant peu d'expérience en IA de former et de déployer des modèles d'apprentissage automatique en quelques jours. À la mi-2016, il était utilisé par plus d'un quart de l'équipe d'ingénierie de Facebook et avait déjà été utilisé pour former plus d'un million de modèles, y compris des modèles de reconnaissance d'images, de ciblage publicitaire et de modération de contenu.
L'obsession de Zuckerberg de faire en sorte que le monde entier utilise Facebook avait trouvé une nouvelle arme puissante. Les équipes avaient auparavant utilisé des tactiques de conception, comme expérimenter le contenu et la fréquence des notifications, pour tenter d'attirer plus efficacement les utilisateurs. Leur objectif, entre autres, était d'augmenter une métrique appelée L6/7, la fraction de personnes qui se sont connectées à Facebook six des sept jours précédents. L6/7 n'est qu'une des innombrables façons dont Facebook a mesuré l'engagement - la propension des gens à utiliser sa plate-forme de quelque manière que ce soit, que ce soit en publiant des choses, en les commentant, en les aimant ou en les partageant, ou simplement en les regardant. Désormais, chaque interaction utilisateur, autrefois analysée par des ingénieurs, était analysée par des algorithmes. Ces algorithmes créaient des boucles de rétroaction beaucoup plus rapides et plus personnalisées pour peaufiner et personnaliser le fil d'actualités de chaque utilisateur afin de continuer à augmenter le nombre d'engagements.
Zuckerberg, qui était assis au centre du bâtiment 20, le bureau principal du siège social de Menlo Park, a placé les nouvelles équipes FAIR et AML à ses côtés. Beaucoup des premières recrues de l'IA étaient si proches que son bureau et le leur se touchaient pratiquement. C'était le sanctuaire intérieur, dit un ancien dirigeant de l'organisation AI (la branche de Facebook qui contient toutes ses équipes d'IA), qui se souvient que le PDG faisait entrer et sortir les gens de son voisinage au fur et à mesure qu'ils gagnaient ou perdaient sa faveur. C'est ainsi que vous savez ce qu'il a en tête, dit Quiñonero. J'étais toujours, pendant quelques années, à quelques pas du bureau de Mark.
Avec de nouveaux modèles d'apprentissage automatique en ligne quotidiennement, l'entreprise a créé un nouveau système pour suivre leur impact et maximiser l'engagement des utilisateurs. Le processus est toujours le même aujourd'hui. Les équipes s'entraînent à un nouveau modèle d'apprentissage automatique sur FBLearner, que ce soit pour modifier l'ordre de classement des publications ou pour mieux détecter le contenu qui enfreint les normes communautaires de Facebook (ses règles sur ce qui est et n'est pas autorisé sur la plateforme). Ensuite, ils testent le nouveau modèle sur un petit sous-ensemble d'utilisateurs de Facebook pour mesurer comment il modifie les mesures d'engagement, telles que le nombre de likes, de commentaires et de partages, explique Krishna Gade, qui a été responsable de l'ingénierie pour le fil d'actualités de 2016 à 2018. .
Si un modèle réduit trop l'engagement, il est rejeté. Sinon, il est déployé et surveillé en permanence. Sur Twitter, Gade expliqué que ses ingénieurs recevraient des notifications tous les quelques jours lorsque des mesures telles que les likes ou les commentaires étaient en baisse. Ensuite, ils déchiffraient ce qui avait causé le problème et si des modèles avaient besoin d'être recyclés.
Mais cette approche a rapidement causé des problèmes. Les modèles qui maximisent l'engagement favorisent également la controverse, la désinformation et l'extrémisme : en termes simples, les gens aiment les choses scandaleuses. Parfois, cela attise les tensions politiques existantes. L'exemple le plus dévastateur à ce jour est le cas du Myanmar, où de fausses nouvelles virales et des discours de haine à propos de la minorité musulmane Rohingya ont aggravé le conflit religieux du pays en un véritable génocide. Facebook admis en 2018 , après des années à minimiser son rôle, qu'il n'avait pas fait assez pour empêcher que notre plateforme ne soit utilisée pour fomenter la division et inciter à la violence hors ligne.
Bien que Facebook ait peut-être ignoré ces conséquences au début, il les étudiait en 2016. Dans une présentation interne de cette année-là, revue par le journal de Wall Street , une chercheuse de l'entreprise, Monica Lee, a découvert que Facebook hébergeait non seulement un grand nombre de groupes extrémistes, mais les promouvait également auprès de ses utilisateurs : 64 % de toutes les adhésions à des groupes extrémistes sont dues à nos outils de recommandation, selon la présentation, principalement grâce à les modèles derrière les fonctionnalités des groupes que vous devriez rejoindre et découvrir.
La question pour le leadership était : devrions-nous optimiser l'engagement si vous constatez que quelqu'un est dans un état d'esprit vulnérable ?
Un ancien chercheur en IA qui a rejoint en 2018
En 2017, Chris Cox, directeur produit de longue date de Facebook, a formé un nouveau groupe de travail pour comprendre si la maximisation de l'engagement des utilisateurs sur Facebook contribuait à la polarisation politique. Il a constaté qu'il y avait effectivement une corrélation et que réduire la polarisation signifierait prendre un coup sur l'engagement. Dans un document de mi-2018 examiné par le Journal, le groupe de travail a proposé plusieurs correctifs potentiels, tels que la modification des algorithmes de recommandation pour suggérer une gamme plus diversifiée de groupes à rejoindre. Mais il a reconnu que certaines des idées étaient anti-croissance. La plupart des propositions n'ont pas avancé et le groupe de travail s'est dissous.
Depuis, d'autres employés ont corroboré ces conclusions. Un ancien chercheur de Facebook AI qui a rejoint en 2018 dit que lui et son équipe ont mené étude après étude confirmant la même idée de base : les modèles qui maximisent l'engagement augmentent la polarisation. Ils pouvaient facilement suivre à quel point les utilisateurs étaient d'accord ou en désaccord sur différentes questions, avec quel contenu ils aimaient s'engager et comment leurs positions avaient changé en conséquence. Quel que soit le problème, les modèles ont appris à nourrir les utilisateurs de points de vue de plus en plus extrêmes. Au fil du temps, ils mesurablement devenir plus polarisé, dit-il.
L'équipe du chercheur a également découvert que les utilisateurs ayant tendance à publier ou à interagir avec du contenu mélancolique - un signe possible de dépression - pouvaient facilement se transformer en consommation de contenu de plus en plus négatif qui risquait d'aggraver davantage leur santé mentale. L'équipe a proposé de peaufiner les modèles de classement du contenu pour que ces utilisateurs cessent de maximiser l'engagement seuls, afin qu'ils voient moins de choses déprimantes. La question pour le leadership était : devrions-nous optimiser l'engagement si vous constatez que quelqu'un est dans un état d'esprit vulnérable ? il se souvient. (Une porte-parole de Facebook a déclaré qu'elle ne pouvait pas trouver de documentation pour cette proposition.)
Histoire connexe
La réalité désordonnée et secrète derrière la tentative d'OpenAI de sauver le monde L'IA moonshot a été fondée dans un esprit de transparence. C'est l'histoire intérieure de la façon dont la pression concurrentielle a érodé cet idéalisme.Mais tout ce qui réduisait l'engagement, même pour des raisons telles que ne pas exacerber la dépression de quelqu'un, a conduit à de nombreux ourlets et haws parmi les dirigeants. Avec leurs évaluations de performance et leurs salaires liés à la réussite des projets, les employés ont rapidement appris à abandonner ceux qui ont été repoussés et à continuer à travailler sur ceux dictés du haut vers le bas.
Un de ces projets fortement poussé par les chefs d'entreprise consistait à prédire si un utilisateur pourrait être à risque pour quelque chose que plusieurs personnes avaient déjà fait : diffuser en direct leur propre suicide sur Facebook Live. La tâche consistait à construire un modèle analyser les commentaires que d'autres utilisateurs publiaient sur une vidéo après sa mise en ligne et attiraient l'attention des utilisateurs à risque sur des examinateurs formés de la communauté Facebook qui pouvaient appeler les services d'urgence locaux pour effectuer un bilan de santé. Cela n'a nécessité aucune modification des modèles de classement du contenu, a eu un impact négligeable sur l'engagement et a efficacement repoussé la presse négative. C'était aussi presque impossible, dit le chercheur : C'est plus un coup de pub. L'efficacité d'essayer de déterminer si quelqu'un va se suicider dans les 30 prochaines secondes, sur la base des 10 premières secondes d'analyse vidéo, vous ne serez pas très efficace.
Facebook conteste cette caractérisation, affirmant que l'équipe qui a travaillé sur cet effort a depuis réussi à prédire quels utilisateurs étaient à risque et a augmenté le nombre de contrôles de bien-être effectués. Mais la société ne publie pas de données sur l'exactitude de ses prévisions ni sur le nombre de contrôles de bien-être qui se sont avérés être de véritables urgences.
Cet ancien employé, quant à lui, ne laisse plus sa fille utiliser Facebook.
Quiñonero aurait dû être parfaitement placé pour s'attaquer à ces problèmes lorsqu'il a créé l'équipe SAIL (plus tard Responsible AI) en avril 2018. Son passage en tant que directeur d'Applied Machine Learning l'avait familiarisé intimement avec les algorithmes de l'entreprise, en particulier ceux utilisés pour recommander des publications, des annonces, et d'autres contenus aux utilisateurs.
Il semblait également que Facebook était prêt à prendre ces problèmes au sérieux. Alors que les efforts précédents pour y travailler avaient été dispersés dans l'entreprise, Quiñonero se voyait désormais accorder une équipe centralisée avec une marge de manœuvre dans son mandat pour travailler sur tout ce qu'il jugeait bon à l'intersection de l'IA et de la société.
À l'époque, Quiñonero s'engageait dans sa propre rééducation sur la façon d'être un technologue responsable. Le domaine de la recherche sur l'IA accordait une attention croissante aux problèmes de biais et de responsabilité de l'IA à la suite d'études très médiatisées montrant que, par exemple, un algorithme évaluait les accusés noirs comme plus susceptibles d'être arrêtés de nouveau que les accusés blancs qui avaient été arrêtés pour la même infraction ou une infraction plus grave. Quiñonero a commencé à étudier la littérature scientifique sur l'équité algorithmique, à lire des livres sur l'ingénierie éthique et l'histoire de la technologie, et à parler avec des experts des droits civiques et des philosophes moraux.
WINNI WINTERMEYERAu cours des nombreuses heures que j'ai passées avec lui, je pouvais dire qu'il prenait cela au sérieux. Il avait rejoint Facebook au milieu du printemps arabe, une série de révolutions contre les régimes oppressifs du Moyen-Orient. Les experts ont loué les médias sociaux pour avoir diffusé les informations qui ont alimenté les soulèvements et donné aux gens des outils pour s'organiser. Né en Espagne mais élevé au Maroc, où il a été témoin de la suppression de la liberté d'expression, Quiñonero a ressenti un lien intense avec le potentiel de Facebook en tant que force du bien.
Six ans plus tard, Cambridge Analytica avait menacé de revenir sur cette promesse. La controverse l'a forcé à confronter sa foi dans l'entreprise et à examiner ce que rester signifierait pour son intégrité. Je pense que ce qui arrive à la plupart des gens qui travaillent chez Facebook - et c'est certainement mon histoire - c'est qu'il n'y a pas de frontière entre Facebook et moi, dit-il. C'est extrêmement personnel. Mais il a choisi de rester et de diriger SAIL, car il pensait qu'il pouvait faire plus pour le monde en aidant à redresser l'entreprise qu'en la laissant derrière elle.
Je pense que si vous êtes dans une entreprise comme Facebook, en particulier ces dernières années, vous réalisez vraiment l'impact que vos produits ont sur la vie des gens - sur ce qu'ils pensent, comment ils communiquent, comment ils interagissent les uns avec les autres, dit Quiñonero ami de longue date Zoubin Ghahramani, qui aide à diriger l'équipe Google Brain. Je sais que Joaquin se soucie profondément de tous les aspects de cela. En tant que personne qui s'efforce de faire mieux et d'améliorer les choses, il voit le rôle important qu'il peut avoir dans l'élaboration à la fois de la réflexion et des politiques autour de l'IA responsable.
Au début, SAIL ne comptait que cinq personnes, qui venaient de différentes parties de l'entreprise mais étaient toutes intéressées par l'impact sociétal des algorithmes. L'un des membres fondateurs, Isabel Kloumann, une chercheuse issue de l'équipe principale de science des données de l'entreprise, a apporté avec elle une première version d'un outil pour mesurer le biais dans les modèles d'IA.
L'équipe a également réfléchi à de nombreuses autres idées de projets. L'ancien dirigeant de l'organisation AI, qui était présent à certaines des premières réunions de SAIL, se souvient d'une proposition pour lutter contre la polarisation. Il s'agissait d'utiliser l'analyse des sentiments, une forme d'apprentissage automatique qui interprète l'opinion en morceaux de texte, pour mieux identifier les commentaires qui exprimaient des points de vue extrêmes. Ces commentaires ne seraient pas supprimés, mais ils seraient cachés par défaut avec une option pour les révéler, limitant ainsi le nombre de personnes qui les verraient.
Et il y a eu des discussions sur le rôle que SAIL pourrait jouer au sein de Facebook et comment il devrait évoluer au fil du temps. Le sentiment était que l'équipe produirait d'abord des directives sur l'IA responsable pour dire aux équipes de produits ce qu'elles devraient ou ne devraient pas faire. Mais l'espoir était qu'il servirait finalement de plaque tournante centrale de l'entreprise pour évaluer les projets d'IA et arrêter ceux qui ne suivaient pas les directives.
Les anciens employés ont cependant décrit à quel point il pouvait être difficile d'obtenir une adhésion ou un soutien financier lorsque le travail n'améliorait pas directement la croissance de Facebook. De par sa nature, l'équipe était ne pas penser à la croissance et, dans certains cas, il proposait des idées contraires à la croissance. En conséquence, il a reçu peu de ressources et languit. Beaucoup de ses idées sont restées largement académiques.
Le 29 août 2018, cela a soudainement changé. Dans la montée en puissance des élections américaines de mi-mandat, le président Donald Trump et d'autres dirigeants républicains les accusations se multiplient que Facebook, Twitter et Google avaient un parti pris anti-conservateur. Ils ont affirmé que les modérateurs de Facebook en particulier, en appliquant les normes communautaires, supprimaient davantage les voix conservatrices que les voix libérales. Cette charge serait plus tard être démystifié , mais le hashtag #StopTheBias , alimenté par un tweet de Trump, se répandait rapidement sur les réseaux sociaux.
Pour Trump, c'était le dernier effort en date pour semer la méfiance à l'égard des principaux canaux de diffusion de l'information du pays. Pour Zuckerberg, cela menaçait d'aliéner les utilisateurs américains conservateurs de Facebook et de rendre l'entreprise plus vulnérable à la réglementation d'un gouvernement dirigé par les républicains. En d'autres termes, cela menaçait la croissance de l'entreprise.
Facebook ne m'a pas accordé d'interview avec Zuckerberg, mais précédent rapports a montré comment il a de plus en plus flatté Trump et les dirigeants républicains. Après l'élection de Trump, Joel Kaplan, vice-président de la politique publique mondiale de Facebook et son républicain le plus haut placé, a conseillé à Zuckerberg de faire preuve de prudence dans le nouvel environnement politique.
Le 20 septembre 2018, trois semaines après le tweet #StopTheBias de Trump, Zuckerberg a tenu une réunion avec Quiñonero pour la première fois depuis la création de SAIL. Il voulait savoir tout ce que Quiñonero avait appris sur le biais de l'IA et comment l'annuler dans les modèles de modération de contenu de Facebook. À la fin de la réunion, une chose était claire : la partialité de l'IA était désormais la priorité absolue de Quiñonero. La direction a été très, très insistante pour s'assurer que nous évoluons de manière agressive, déclare Rachad Alao, directeur de l'ingénierie de Responsible AI qui a rejoint en avril 2019.
C'était une victoire pour tout le monde dans la salle. Zuckerberg a trouvé un moyen de parer aux accusations de parti pris anti-conservateur. Et Quiñonero disposait désormais de plus d'argent et d'une plus grande équipe pour améliorer l'expérience globale de Facebook pour les utilisateurs. Ils pourraient s'appuyer sur l'outil existant de Kloumann afin de mesurer et de corriger le prétendu biais anti-conservateur dans les modèles de modération de contenu, ainsi que de corriger d'autres types de biais dans la grande majorité des modèles de la plate-forme.
Cela pourrait aider à empêcher la plateforme de discriminer involontairement certains utilisateurs. À ce moment-là, Facebook avait déjà des milliers de modèles fonctionnant simultanément, et presque aucun n'avait été mesuré pour les biais. Cela lui causerait des problèmes juridiques quelques mois plus tard avec le département américain du logement et du développement urbain (HUD), qui alléguait que les algorithmes de l'entreprise déduisaient des attributs protégés tels que la race à partir des données des utilisateurs et leur montraient des annonces de logement basées sur ces attributs. —une forme illégale de discrimination. (Le procès est toujours en cours.) Schroepfer a également prédit que le Congrès adopterait bientôt des lois pour réguler la discrimination algorithmique , Facebook devait donc faire des progrès dans ces efforts de toute façon.
(Facebook conteste l'idée qu'il ait poursuivi ses travaux sur le biais de l'IA pour protéger la croissance ou en prévision de la réglementation. Nous avons créé l'équipe de l'IA responsable parce que c'était la bonne chose à faire, a déclaré un porte-parole.)
Mais réduire l'attention de SAIL à l'équité algorithmique écarterait tous les autres problèmes algorithmiques de longue date de Facebook. Ses modèles de recommandation de contenu continueraient de pousser les publications, les actualités et les groupes vers les utilisateurs dans le but de maximiser l'engagement, de récompenser le contenu extrémiste et de contribuer à un discours politique de plus en plus fracturé.
Zuckerberg l'a même admis. Deux mois après la rencontre avec Quiñonero, en une note publique décrivant les plans de Facebook en matière de modération de contenu, il a illustré les effets néfastes de la stratégie d'engagement de l'entreprise avec un graphique simplifié. Il a montré que plus un message est susceptible de violer les normes communautaires de Facebook, plus il reçoit d'engagement des utilisateurs, car les algorithmes qui maximisent l'engagement récompensent le contenu incendiaire.
FACEBOOKMais ensuite, il a montré un autre graphique avec la relation inverse. Plutôt que de récompenser le contenu qui a failli violer les normes de la communauté, a écrit Zuckerberg, Facebook pourrait choisir de commencer à le pénaliser, en lui donnant moins de distribution et d'engagement plutôt que plus. Comment cela serait-il fait ? Avec plus d'IA. Facebook développerait de meilleurs modèles de modération de contenu pour détecter ce contenu limite afin qu'il puisse être rétroactivement poussé plus bas dans le fil d'actualité pour étouffer sa viralité, a-t-il déclaré.
FACEBOOKLe problème est que malgré toutes les promesses de Zuckerberg, cette stratégie est au mieux ténue.
La désinformation et les discours de haine évoluent constamment. De nouveaux mensonges surgissent ; de nouvelles personnes et de nouveaux groupes deviennent des cibles. Pour attraper les choses avant qu'elles ne deviennent virales, les modèles de modération de contenu doivent être capables d'identifier les nouveaux contenus indésirables avec une grande précision. Mais les modèles d'apprentissage automatique ne fonctionnent pas de cette façon. Un algorithme qui a appris à reconnaître la négation de l'Holocauste ne peut pas immédiatement repérer, disons, la négation du génocide des Rohingyas. Il doit s'entraîner sur des milliers, voire des millions d'exemples d'un nouveau type de contenu avant d'apprendre à le filtrer. Même dans ce cas, les utilisateurs peuvent rapidement apprendre à déjouer le modèle en faisant des choses comme changer le libellé d'un message ou remplacer les phrases incendiaires par des euphémismes, rendant leur message illisible pour l'IA tout en restant évident pour un humain. C'est pourquoi les nouvelles théories du complot peuvent rapidement échapper à tout contrôle, et en partie pourquoi, même après l'interdiction d'un tel contenu, des formes de celui-ci pouvez persister Sur la plateforme.
Dans son profil du New York Times, Schroepfer nommé ces limitations de la stratégie de modération de contenu de l'entreprise. Chaque fois que M. Schroepfer et ses plus de 150 spécialistes en ingénierie créent A.I. des solutions qui signalent et étouffent le matériel nocif, les messages nouveaux et douteux que l'I.A. les systèmes n'ont jamais vu apparaître auparavant et ne sont donc pas détectés, écrit le Times. Cela n'ira jamais à zéro, a déclaré Schroepfer à la publication.
Pendant ce temps, les algorithmes qui recommandent ce contenu fonctionnent toujours pour maximiser l'engagement. Cela signifie que chaque message toxique qui échappe aux filtres de modération de contenu continuera d'être poussé plus haut dans le fil d'actualités et promu pour atteindre un public plus large. En effet, un étude de l'Université de New York a récemment constaté que parmi les pages Facebook des éditeurs partisans, celles qui publiaient régulièrement de la désinformation politique recevaient le plus d'engagement à l'approche de l'élection présidentielle américaine de 2020 et des émeutes du Capitole. Cela m'a en quelque sorte eu, dit un ancien employé qui a travaillé sur les questions d'intégrité de 2018 à 2019. Nous avons pleinement reconnu [ceci], et pourtant nous augmentons toujours l'engagement.
Mais l'équipe SAIL de Quiñonero ne travaillait pas sur ce problème. En raison des inquiétudes de Kaplan et de Zuckerberg concernant l'aliénation des conservateurs, l'équipe est restée concentrée sur les préjugés. Et même après sa fusion avec la plus grande équipe d'IA responsable, elle n'a jamais été mandatée pour travailler sur des systèmes de recommandation de contenu susceptibles de limiter la propagation de la désinformation. Aucune autre équipe non plus, comme je l'ai confirmé après qu'Entin et un autre porte-parole m'aient donné une liste complète de toutes les autres initiatives de Facebook sur les questions d'intégrité - le terme générique de l'entreprise pour les problèmes tels que la désinformation, les discours de haine et la polarisation.
Histoire connexe
J'ai commencé à pleurer : découvrez les derniers jours de Timnit Gebru chez Google et ce qui se passe ensuite .Un porte-parole de Facebook a déclaré : « Le travail n'est pas effectué par une équipe spécifique car ce n'est pas ainsi que l'entreprise fonctionne. Il est plutôt réparti entre les équipes qui ont l'expertise spécifique pour s'attaquer à la façon dont le classement du contenu affecte la désinformation pour leur partie de la plate-forme, a-t-elle déclaré. Mais Schroepfer m'a dit précisément le contraire dans une interview précédente. Je lui avais demandé pourquoi il avait créé une équipe centralisée d'IA responsable au lieu de diriger les équipes existantes pour faire avancer la question. Il a dit que c'était la meilleure pratique de l'entreprise.
[Si] c'est un domaine important, nous devons agir rapidement, ce n'est pas bien défini, [nous créons] une équipe dédiée et obtenons le bon leadership, a-t-il déclaré. Au fur et à mesure qu'un domaine grandit et mûrit, vous verrez les équipes de produits prendre plus de travail, mais l'équipe centrale est toujours nécessaire car vous devez rester à la pointe du travail.
Lorsque j'ai décrit le travail de l'équipe Responsible AI à d'autres experts de l'éthique de l'IA et des droits de l'homme, ils ont noté l'incongruité entre les problèmes auxquels elle s'attaquait et ceux, comme la désinformation, pour lesquels Facebook est le plus notoire. Cela semble si étrangement éloigné de Facebook en tant que produit - les choses que Facebook construit et les questions sur l'impact sur le monde auxquelles Facebook est confronté, a déclaré Rumman Chowdhury, dont la startup, Parité , conseille les entreprises sur l'utilisation responsable de l'IA, et a été racheté par Twitter après notre entretien. J'avais montré à Chowdhury la documentation de l'équipe Quiñonero détaillant son travail. Je trouve surprenant que nous parlions d'inclusivité, de justice, d'équité et que nous ne parlions pas des problèmes très réels qui se posent aujourd'hui, a-t-elle déclaré.
Il semble que le cadrage « IA responsable » soit complètement subjectif par rapport à ce dont une entreprise décide qu'elle veut se soucier. C'est comme 'Nous allons inventer les termes et ensuite nous les suivrons', déclare Ellery Roberts Biddle, directrice éditoriale de Ranking Digital Rights, une organisation à but non lucratif qui étudie l'impact des entreprises technologiques sur les droits de l'homme. Je ne comprends même pas ce qu'ils veulent dire quand ils parlent d'équité. Pensent-ils qu'il est juste de recommander aux gens de rejoindre des groupes extrémistes, comme ceux qui ont pris d'assaut le Capitole ? Si tout le monde reçoit la recommandation, cela signifie-t-il que c'était juste ?
Nous sommes à un endroit où il y a un génocide [Myanmar] que l'ONU a, avec beaucoup de preuves, été en mesure d'indiquer spécifiquement à Facebook et à la façon dont la plate-forme promeut le contenu, ajoute Biddle. Jusqu'à quel point les enjeux peuvent-ils augmenter?
Au cours des deux dernières années, L'équipe de Quiñonero a construit l'outil original de Kloumann, appelé Fairness Flow. Il permet aux ingénieurs de mesurer la précision des modèles d'apprentissage automatique pour différents groupes d'utilisateurs. Ils peuvent comparer la précision d'un modèle de détection de visage à différents âges, sexes et tons de peau, ou la précision d'un algorithme de reconnaissance vocale à travers différentes langues, dialectes et accents.
Fairness Flow est également fourni avec un ensemble de directives pour aider les ingénieurs à comprendre ce que signifie former un modèle équitable. L'un des problèmes les plus épineux pour rendre les algorithmes équitables est qu'il y a différentes définitions de l'équité , qui peuvent être mutuellement incompatibles. Fairness Flow répertorie quatre définitions que les ingénieurs peuvent utiliser en fonction de ce qui convient le mieux à leur objectif, par exemple si un modèle de reconnaissance vocale reconnaît tous les accents avec une précision égale ou avec un seuil de précision minimum.
Mais tester les algorithmes d'équité est encore largement facultatif chez Facebook. Aucune des équipes qui travaillent directement sur le fil d'actualités, le service publicitaire ou d'autres produits de Facebook n'est tenue de le faire. Les incitations salariales sont toujours liées aux mesures d'engagement et de croissance. Et bien qu'il existe des directives sur la définition de l'équité à utiliser dans une situation donnée, elles ne sont pas appliquées.
Ce dernier problème est apparu au premier plan lorsque l'entreprise a dû faire face à des allégations de parti pris anti-conservateur.
En 2014, Kaplan a été promu de chef de la politique américaine à vice-président mondial pour la politique, et il a commencé à jouer un rôle plus lourd dans la modération du contenu et les décisions sur la façon de classer les messages dans les fils d'actualité des utilisateurs. Après que les républicains ont commencé à exprimer des allégations de parti pris anti-conservateur en 2016, son équipe a commencé à examiner manuellement l'impact des modèles de détection de désinformation sur les utilisateurs pour s'assurer, entre autres, qu'ils ne pénalisaient pas de manière disproportionnée les conservateurs.
Tous les utilisateurs de Facebook ont quelque 200 traits attachés à leur profil. Celles-ci incluent diverses dimensions soumises par les utilisateurs ou estimées par des modèles d'apprentissage automatique, telles que la race, les tendances politiques et religieuses, la classe socio-économique et le niveau d'éducation. L'équipe de Kaplan a commencé à utiliser les traits pour assembler des segments d'utilisateurs personnalisés qui reflétaient des intérêts largement conservateurs : les utilisateurs qui interagissaient avec du contenu, des groupes et des pages conservateurs, par exemple. Ensuite, ils effectueraient des analyses spéciales pour voir comment les décisions de modération du contenu affecteraient les publications de ces segments, selon un ancien chercheur dont le travail a fait l'objet de ces critiques.
La documentation Fairness Flow, que l'équipe Responsible AI a écrite plus tard, comprend une étude de cas sur la façon d'utiliser l'outil dans une telle situation. Au moment de décider si un modèle de désinformation est juste par rapport à l'idéologie politique, l'équipe a écrit, l'équité ne ne pas signifie que le modèle devrait affecter les utilisateurs conservateurs et libéraux de la même manière. Si les conservateurs publient une plus grande fraction de désinformation, à en juger par le consensus public, alors le modèle devrait signaler une plus grande fraction de contenu conservateur. Si les libéraux publient plus d'informations erronées, ils devraient également signaler leur contenu plus souvent.
Mais les membres de l'équipe de Kaplan ont suivi exactement l'approche inverse : ils ont compris que l'équité signifiait que ces modèles ne devraient pas affecter les conservateurs plus que les libéraux. Lorsqu'un modèle le faisait, il arrêtait son déploiement et exigeait un changement. Une fois, ils ont bloqué un détecteur de désinformation médicale qui avait sensiblement réduit la portée des campagnes anti-vaccins, m'a dit l'ancien chercheur. Ils ont dit aux chercheurs que le modèle ne pouvait pas être déployé tant que l'équipe n'avait pas corrigé cet écart. Mais cela a effectivement rendu le modèle vide de sens. Cela ne sert à rien, alors, dit le chercheur. Un modèle modifié de cette manière n'aurait littéralement aucun impact sur le problème réel de la désinformation.
Je ne comprends même pas ce qu'ils veulent dire quand ils parlent d'équité. Pensent-ils qu'il est juste de recommander aux gens de rejoindre des groupes extrémistes, comme ceux qui ont pris d'assaut le Capitole ? Si tout le monde reçoit la recommandation, cela signifie-t-il que c'était juste ?
Ellery Roberts Biddle, directrice éditoriale de Ranking Digital Rights
Cela s'est produit d'innombrables autres fois, et pas seulement pour la modération de contenu. En 2020, le Poste de Washington a rapporté que l'équipe de Kaplan avait sapé les efforts visant à atténuer l'ingérence électorale et la polarisation au sein de Facebook, affirmant qu'ils pourraient contribuer à un parti pris anti-conservateur. En 2018, il a utilisé le même argument pour suspendre un projet d'édition des modèles de recommandation de Facebook, même si les chercheurs pensaient que cela réduirait la division sur la plate-forme, selon le journal de Wall Street . Ses affirmations sur les préjugés politiques ont également affaibli une proposition visant à modifier les modèles de classement du fil d'actualités qui, selon les scientifiques des données de Facebook, renforceraient la plate-forme contre les tactiques de manipulation que la Russie avait utilisées lors des élections américaines de 2016.
Et avant les élections de 2020, les responsables politiques de Facebook ont utilisé cette excuse, selon le New York Times , d'opposer son veto ou d'affaiblir plusieurs propositions qui auraient réduit la diffusion de contenus haineux et préjudiciables.
Facebook a contesté les reportages du Wall Street Journal en un blog de suivi poste, et a contesté la caractérisation du New York Times dans une interview avec la publication. Un porte-parole de l'équipe de Kaplan m'a également nié qu'il s'agissait d'un comportement habituel, affirmant que les cas signalés par le Post, le Journal et le Times étaient tous des cas individuels qui, selon nous, sont ensuite mal caractérisés. Il a refusé de commenter le recyclage des modèles de désinformation sur le dossier.
Bon nombre de ces incidents se sont produits avant l'adoption de Fairness Flow. Mais ils montrent comment la poursuite de Facebook de l'équité au service de la croissance avait déjà coûté cher pour progresser sur les autres défis de la plate-forme. Et si les ingénieurs utilisaient la définition de l'équité adoptée par l'équipe de Kaplan, Fairness Flow pourrait simplement systématiser les comportements qui récompensent la désinformation au lieu d'aider à la combattre.
Souvent, toute cette question d'équité n'entre en jeu que comme un moyen pratique de maintenir le statu quo, déclare l'ancien chercheur : Cela semble aller à l'encontre des choses que Mark disait publiquement en termes de justice et d'équité.
La dernière fois que j'ai parlé avec Quiñonero était un mois après les émeutes du Capitole des États-Unis. Je voulais savoir comment la prise d'assaut du Congrès avait affecté sa pensée et la direction de son travail.
Dans l'appel vidéo, c'était comme d'habitude : Quiñonero appelait depuis son bureau à domicile dans une fenêtre et Entin, son responsable des relations publiques, dans une autre. J'ai demandé à Quiñonero quel rôle il pensait que Facebook avait joué dans les émeutes et si cela avait changé la tâche qu'il voyait pour l'IA responsable. Après une longue pause, il a évité la question, se lançant dans une description du travail récent qu'il avait fait pour promouvoir une plus grande diversité et inclusion parmi les équipes d'IA.
Je lui ai posé à nouveau la question. Sa caméra Facebook Portal, qui utilise des algorithmes de vision par ordinateur pour suivre l'orateur, a commencé à zoomer lentement sur son visage alors qu'il s'immobilisait. Je ne sais pas si j'ai une réponse facile à cette question, Karen, dit-il. C'est une question extrêmement difficile à me poser.
Entin, qui marchait rapidement avec un visage de poker stoïque, a attrapé une balle anti-stress rouge.
J'ai demandé à Quiñonero pourquoi son équipe n'avait pas auparavant cherché des moyens de modifier les modèles de classement de contenu de Facebook pour atténuer la désinformation et l'extrémisme. Il m'a dit que c'était le travail d'autres équipes (bien qu'aucune, comme je l'ai confirmé, n'ait été mandatée pour travailler sur cette tâche). Il n'est pas possible pour l'équipe d'IA responsable d'étudier toutes ces choses nous-mêmes, a-t-il déclaré. Quand je lui ai demandé s'il envisagerait que son équipe s'attaque à ces problèmes à l'avenir, il a vaguement admis, je serais d'accord avec vous que ce sera la portée de ce type de conversations.
Vers la fin de notre entretien d'une heure, il a commencé à souligner que l'IA était souvent injustement dépeinte comme le coupable. Que Facebook utilise ou non l'IA, a-t-il dit, les gens vomiraient toujours des mensonges et des discours de haine, et ce contenu se répandrait toujours sur la plate-forme.
Je l'ai pressé une fois de plus. Il ne pouvait certainement pas croire que les algorithmes n'avaient absolument rien fait pour changer la nature de ces problèmes, dis-je.
Je ne sais pas, dit-il avec un bégaiement hésitant. Puis il répéta, avec plus de conviction : C'est ma réponse honnête. Honnête devant Dieu. Je ne sais pas.
Corrections : Nous avons modifié une ligne suggérant que Joel Kaplan, vice-président de la politique mondiale de Facebook, avait utilisé Fairness Flow. Il n'a pas. Mais les membres de son équipe ont utilisé la notion d'équité pour demander le recyclage des modèles de désinformation d'une manière qui contredit directement les directives de Responsible AI. Nous avons également précisé quand Rachad Alao, le directeur technique de Responsible AI , rejoint l'entreprise.