Le dénonciateur de Facebook affirme que ses algorithmes sont dangereux. Voici pourquoi.

La dénonciatrice de Facebook Frances Haugen témoigne lors d'un comité sénatorial le 5 octobre. Drew Angerer/Getty Images

Dimanche soir, la principale source de Fichiers Facebook du Wall Street Journal , une série d'enquête basée sur des documents internes de Facebook, a révélé son identité dans un épisode de 60 minutes .

Frances Haugen, ancienne chef de produit de l'entreprise, a déclaré qu'elle s'était manifestée après avoir vu les dirigeants de Facebook privilégier à plusieurs reprises le profit par rapport à la sécurité.

Avant de démissionner en mai de cette année, elle a passé au peigne fin Facebook Workplace, le réseau social interne des employés de l'entreprise, et a rassemblé un large éventail de rapports internes et de recherches dans le but de démontrer de manière concluante que Facebook avait délibérément choisi de ne pas résoudre les problèmes sur son Plate-forme.

Aujourd'hui, elle a témoigné devant le Sénat sur l'impact de Facebook sur la société. Elle a réitéré bon nombre des conclusions de la recherche interne et a imploré le Congrès d'agir.

Histoire connexe

Comment Facebook est devenu accro à la diffusion de fausses informations

Les algorithmes d'intelligence artificielle de l'entreprise lui ont donné une habitude insatiable de mensonges et de discours de haine. Maintenant, l'homme qui les a construits ne peut pas résoudre le problème.

Je suis ici aujourd'hui parce que je crois que les produits de Facebook nuisent aux enfants, attisent la division et affaiblissent notre démocratie, a-t-elle déclaré dans sa déclaration liminaire aux législateurs. Ces problèmes sont résolubles. Des médias sociaux plus sûrs, respectueux de la liberté d'expression et plus agréables sont possibles. Mais il y a une chose que j'espère que tout le monde retiendra de ces révélations, c'est que Facebook peut changer, mais qu'il ne le fera clairement pas tout seul.

Au cours de son témoignage, Haugen a particulièrement blâmé les décisions de conception de l'algorithme et de la plate-forme de Facebook pour bon nombre de ses problèmes. Il s'agit d'un changement notable par rapport à l'attention actuelle des décideurs politiques sur la politique de contenu et la censure de Facebook - ce qui appartient et n'appartient pas à Facebook. De nombreux experts pensent que cette vision étroite conduit à une stratégie de taupe qui passe à côté de la vue d'ensemble.

Je suis un ardent défenseur des solutions non basées sur le contenu, car ces solutions protégeront les personnes les plus vulnérables au monde, a déclaré Haugen, soulignant la capacité inégale de Facebook à appliquer sa politique de contenu dans des langues autres que l'anglais.

Le témoignage de Haugen fait écho à de nombreuses conclusions de une enquête du MIT Technology Review publié plus tôt cette année, qui s'appuyait sur des dizaines d'entretiens avec des dirigeants de Facebook, des employés actuels et anciens, des pairs de l'industrie et des experts externes. Nous avons rassemblé les parties les plus pertinentes de notre enquête et d'autres reportages pour donner plus de contexte au témoignage de Haugen.

Comment fonctionne l'algorithme de Facebook ?

Familièrement, nous utilisons le terme algorithme de Facebook comme s'il n'y en avait qu'un. En fait, Facebook décide comment cibler les publicités et classer le contenu en fonction de centaines, voire de milliers d'algorithmes. Certains de ces algorithmes identifient les préférences d'un utilisateur et augmentent ce type de contenu dans le fil d'actualité de l'utilisateur. D'autres servent à détecter des types spécifiques de mauvais contenu, comme la nudité, le spam ou les titres de clickbait, et à les supprimer ou à les pousser vers le bas du flux.

Tous ces algorithmes sont connus sous le nom d'algorithmes d'apprentissage automatique. Comme je écrit plus tôt cette année :

Contrairement aux algorithmes traditionnels, qui sont codés en dur par les ingénieurs, les algorithmes d'apprentissage automatique s'entraînent sur les données d'entrée pour apprendre les corrélations qu'elles contiennent. L'algorithme formé, connu sous le nom de modèle d'apprentissage automatique, peut ensuite automatiser les décisions futures. Un algorithme formé sur les données de clics publicitaires, par exemple, pourrait apprendre que les femmes cliquent plus souvent que les hommes sur les publicités pour des leggings de yoga. Le modèle résultant diffusera alors davantage de ces publicités aux femmes.

Et en raison des énormes quantités de données utilisateur de Facebook, il peut

développer des modèles qui ont appris à déduire l'existence non seulement de grandes catégories comme les femmes et les hommes, mais aussi de catégories très fines comme les femmes entre 25 et 34 ans qui aiment les pages Facebook liées au yoga et [ciblent] les publicités qui leur sont destinées. Plus le ciblage est fin, meilleures sont les chances d'obtenir un clic, ce qui donnerait aux annonceurs plus d'argent pour leur argent.

Les mêmes principes s'appliquent pour le classement du contenu dans le fil d'actualité :

Tout comme les algorithmes [peuvent] être formés pour prédire qui cliquerait sur quelle annonce, ils [peuvent] également être formés pour prédire qui aimerait ou partagerait quelle publication, puis donner à ces publications plus d'importance. Si le modèle déterminait qu'une personne aimait vraiment les chiens, par exemple, les publications d'amis sur les chiens apparaîtraient plus haut dans le fil d'actualité de cet utilisateur.

Avant que Facebook ne commence à utiliser des algorithmes d'apprentissage automatique, les équipes utilisaient des tactiques de conception pour accroître l'engagement. Ils expérimentaient des choses comme la couleur d'un bouton ou la fréquence des notifications pour inciter les utilisateurs à revenir sur la plate-forme. Mais les algorithmes d'apprentissage automatique créent une boucle de rétroaction beaucoup plus puissante. Non seulement ils peuvent personnaliser ce que chaque utilisateur voit, mais ils continueront également d'évoluer avec les préférences changeantes d'un utilisateur, montrant perpétuellement à chaque personne ce qui les maintiendra le plus engagés.

Qui exécute l'algorithme de Facebook ?

Au sein de Facebook, il n'y a pas une seule équipe en charge de ce système de classement de contenu dans son intégralité. Les ingénieurs développent et ajoutent leurs propres modèles d'apprentissage automatique au mélange, en fonction des objectifs de leur équipe. Par exemple, les équipes qui se concentrent sur la suppression ou la rétrogradation des contenus malveillants, connues sous le nom d'équipes d'intégrité, formeront uniquement des modèles pour détecter différents types de contenus malveillants.

C'est une décision que Facebook a prise très tôt dans le cadre de sa culture d'action rapide et de rupture. Elle a développé un outil interne appelé Flux FBLearner cela a permis aux ingénieurs sans expérience en apprentissage automatique de développer les modèles dont ils avaient besoin à leur disposition. À un point de données, il était déjà utilisé par plus d'un quart de l'équipe d'ingénierie de Facebook en 2016.

Histoire connexe

Elle a tout risqué pour exposer Facebook. Maintenant, elle raconte son histoire.

Sophie Zhang, ancienne scientifique des données chez Facebook, a révélé que cela permet une manipulation politique mondiale et n'a pas fait grand-chose pour l'arrêter.

De nombreux employés actuels et anciens de Facebook à qui j'ai parlé disent que cela explique en partie pourquoi Facebook ne semble pas pouvoir comprendre ce qu'il sert aux utilisateurs dans le fil d'actualité. Différentes équipes peuvent avoir des objectifs concurrents, et le système est devenu si complexe et difficile à manier que personne ne peut plus suivre l'ensemble de ses différents composants.

Par conséquent, le principal processus de contrôle de la qualité de l'entreprise passe par l'expérimentation et la mesure. Comme j'ai écrit:

Les équipes s'entraînent à un nouveau modèle d'apprentissage automatique sur FBLearner, que ce soit pour modifier l'ordre de classement des publications ou pour mieux détecter le contenu qui enfreint les normes communautaires de Facebook (ses règles sur ce qui est et n'est pas autorisé sur la plateforme). Ensuite, ils testent le nouveau modèle sur un petit sous-ensemble d'utilisateurs de Facebook pour mesurer comment il modifie les mesures d'engagement, telles que le nombre de likes, de commentaires et de partages, explique Krishna Gade, qui a été responsable de l'ingénierie pour le fil d'actualités de 2016 à 2018. .

Si un modèle réduit trop l'engagement, il est rejeté. Sinon, il est déployé et surveillé en permanence. Sur Twitter, Gade expliqué que ses ingénieurs recevraient des notifications tous les quelques jours lorsque des mesures telles que les likes ou les commentaires étaient en baisse. Ensuite, ils déchiffraient ce qui avait causé le problème et si des modèles avaient besoin d'être recyclés.

Comment le classement du contenu de Facebook a-t-il conduit à la propagation de la désinformation et des discours de haine ?

Au cours de son témoignage, Haugen est revenue à plusieurs reprises sur l'idée que l'algorithme de Facebook incite à la désinformation, aux discours de haine et même à la violence ethnique.

Facebook … sait – ils l'ont admis en public – que le classement basé sur l'engagement est dangereux sans systèmes d'intégrité et de sécurité, mais n'a pas déployé ces systèmes d'intégrité et de sécurité dans la plupart des langues du monde, a-t-elle déclaré au Sénat aujourd'hui. Il sépare les familles. Et dans des endroits comme l'Ethiopie, cela attise littéralement la violence ethnique.

Voici ce que j'ai déjà écrit à ce sujet :

Les modèles d'apprentissage automatique qui maximisent l'engagement favorisent également la controverse, la désinformation et l'extrémisme : en termes simples, les gens aiment les choses scandaleuses.

Parfois, cela attise les tensions politiques existantes. L'exemple le plus dévastateur à ce jour est le cas du Myanmar, où de fausses nouvelles virales et des discours de haine à propos de la minorité musulmane Rohingya ont aggravé le conflit religieux du pays en un véritable génocide. Facebook a admis en 2018, après des années à minimiser son rôle, qu'il n'avait pas fait assez pour aider à empêcher que notre plateforme ne soit utilisée pour fomenter la division et inciter à la violence hors ligne.

Comme Haugen l'a mentionné, Facebook le sait également depuis un certain temps. Des rapports précédents ont révélé qu'il étudiait le phénomène depuis au moins 2016.

Dans une présentation interne de cette année-là, revue par le le journal Wall Street , une chercheuse de l'entreprise, Monica Lee, a découvert que Facebook hébergeait non seulement un grand nombre de groupes extrémistes, mais les promouvait également auprès de ses utilisateurs : 64 % de toutes les adhésions à des groupes extrémistes sont dues à nos outils de recommandation, selon la présentation, principalement grâce à les modèles derrière les fonctionnalités des groupes que vous devriez rejoindre et découvrir.

En 2017, Chris Cox, directeur produit de longue date de Facebook, a formé un nouveau groupe de travail pour comprendre si la maximisation de l'engagement des utilisateurs sur Facebook contribuait à la polarisation politique. Il a constaté qu'il y avait effectivement une corrélation et que réduire la polarisation signifierait prendre un coup sur l'engagement. Dans un document de mi-2018 examiné par le Journal, le groupe de travail a proposé plusieurs correctifs potentiels, tels que la modification des algorithmes de recommandation pour suggérer une gamme plus diversifiée de groupes à rejoindre. Mais il a reconnu que certaines des idées étaient anti-croissance. La plupart des propositions n'ont pas avancé et le groupe de travail s'est dissous.

Dans mes propres conversations, les employés de Facebook ont ​​également corroboré ces conclusions.

Un ancien chercheur de Facebook AI qui a rejoint en 2018 dit que lui et son équipe ont mené étude après étude confirmant la même idée de base : les modèles qui maximisent l'engagement augmentent la polarisation. Ils pouvaient facilement suivre à quel point les utilisateurs étaient d'accord ou en désaccord sur différentes questions, avec quel contenu ils aimaient s'engager et comment leurs positions avaient changé en conséquence. Quel que soit le problème, les modèles ont appris à nourrir les utilisateurs de points de vue de plus en plus extrêmes. Au fil du temps, ils deviennent sensiblement plus polarisés, dit-il.

Histoire connexe

La course pour comprendre le monde exaltant et dangereux de l'IA linguistique

Des centaines de scientifiques du monde entier travaillent ensemble pour comprendre l'une des technologies émergentes les plus puissantes avant qu'il ne soit trop tard.

Dans son témoignage, Haugen a également souligné à plusieurs reprises à quel point ces phénomènes sont bien pires dans les régions qui ne parlent pas anglais en raison de la couverture inégale de Facebook des différentes langues.

Dans le cas de l'Éthiopie, il y a 100 millions d'habitants et six langues. Facebook ne prend en charge que deux de ces langues pour les systèmes d'intégrité, a-t-elle déclaré. Cette stratégie consistant à se concentrer sur des systèmes spécifiques à la langue et au contenu pour que l'IA nous sauve est vouée à l'échec.

Elle a poursuivi: Ainsi, investir dans des moyens non basés sur le contenu pour ralentir la plate-forme protège non seulement notre liberté d'expression, mais également la vie des gens.

J'explore cela plus en détail dans un article différent du début de cette année sur les limites de grands modèles de langage , ou LLM :

Bien que les LLM aient ces déficiences linguistiques, Facebook s'appuie fortement sur eux pour automatiser la modération de son contenu à l'échelle mondiale. Lorsque la guerre du Tigré[, en Éthiopie] a éclaté pour la première fois en novembre, [le chercheur en éthique de l'IA Timnit] Gebru a vu la plate-forme patauger pour maîtriser la vague de désinformation. Ceci est emblématique d'un modèle persistant que les chercheurs ont observé dans la modération de contenu. Les communautés qui parlent des langues non prioritaires pour la Silicon Valley souffrent des environnements numériques les plus hostiles.

Gebru a noté que ce n'est pas non plus là que le mal s'arrête. Lorsque les fausses nouvelles, les discours de haine et même les menaces de mort ne sont pas modérés, ils sont ensuite supprimés en tant que données de formation pour créer la prochaine génération de LLM. Et ces modèles, reprenant ce sur quoi ils sont formés, finissent par régurgiter ces schémas linguistiques toxiques sur Internet.

Quel est le lien entre le classement du contenu de Facebook et la santé mentale des adolescents ?

L'une des révélations les plus choquantes des fichiers Facebook du Journal a été la recherche interne d'Instagram, qui a révélé que sa plate-forme aggravait la santé mentale des adolescentes. Trente-deux pour cent des adolescentes ont déclaré que lorsqu'elles se sentaient mal dans leur corps, Instagram les faisait se sentir plus mal, ont écrit les chercheurs dans une présentation de diapositives de mars 2020.

Haugen relie également ce phénomène aux systèmes de classement basés sur l'engagement, qui, a-t-elle déclaré au Sénat aujourd'hui, exposaient les adolescents à davantage de contenu anorexique.

Si Instagram est une force si positive, avons-nous vu un âge d'or de la santé mentale des adolescents au cours des 10 dernières années ? Non, nous avons constaté une augmentation des taux de suicide et de dépression chez les adolescents, a-t-elle poursuivi. Il existe un large éventail de recherches qui soutiennent l'idée que l'utilisation des médias sociaux amplifie le risque de ces dommages à la santé mentale.

Dans mon propre reportage, j'ai entendu un ancien chercheur en intelligence artificielle qui a également vu cet effet s'étendre à Facebook.

L'équipe du chercheur… a découvert que les utilisateurs ayant tendance à publier ou à interagir avec du contenu mélancolique - un signe possible de dépression - pouvaient facilement se transformer en consommation de contenu de plus en plus négatif qui risquait d'aggraver davantage leur santé mentale.

Mais comme pour Haugen, le chercheur a découvert que les dirigeants n'étaient pas intéressés à apporter des changements algorithmiques fondamentaux.

L'équipe a proposé de peaufiner les modèles de classement du contenu pour que ces utilisateurs cessent de maximiser l'engagement seuls, afin qu'ils voient moins de choses déprimantes. La question pour le leadership était : devrions-nous optimiser l'engagement si vous constatez que quelqu'un est dans un état d'esprit vulnérable ? il se souvient.

Mais tout ce qui réduisait l'engagement, même pour des raisons telles que ne pas exacerber la dépression de quelqu'un, a conduit à de nombreux ourlets et haws parmi les dirigeants. Avec leurs évaluations de performance et leurs salaires liés à la réussite des projets, les employés ont rapidement appris à abandonner ceux qui ont été repoussés et à continuer à travailler sur ceux dictés du haut vers le bas….

Cet ancien employé, quant à lui, ne laisse plus sa fille utiliser Facebook.

Comment réparons nous ça?

Haugen est contre le démantèlement de Facebook ou l'abrogation de l'article 230 de la loi américaine sur la décence des communications, qui protège les plateformes technologiques de la responsabilité du contenu qu'elles distribuent.

Au lieu de cela, elle recommande de créer une exemption plus ciblée à l'article 230 pour le classement algorithmique, qui, selon elle, éliminerait le classement basé sur l'engagement. Elle plaide également pour un retour au fil d'actualité chronologique de Facebook.

Histoire connexe

Bilan : Pourquoi Facebook ne peut jamais se réparer lui-même

Dans An Ugly Truth, les journalistes Sheera Frenkel et Cecilia Kang révèlent les défauts fondamentaux de Facebook à travers un récit détaillé de ses années entre deux élections américaines.

Ellery Roberts Biddle, directrice de projets chez Ranking Digital Rights, une organisation à but non lucratif qui étudie les systèmes de classement des médias sociaux et leur impact sur les droits de l'homme, déclare qu'une exclusion de l'article 230 devrait être soigneusement examinée : je pense que cela aurait une implication étroite. Je ne pense pas que cela permettrait d'atteindre tout à fait ce que nous pourrions espérer.

Pour qu'une telle exclusion soit réalisable, dit-elle, les décideurs politiques et le public devraient avoir un niveau de transparence beaucoup plus élevé sur le fonctionnement même des systèmes de ciblage publicitaire et de classement de contenu de Facebook. Je comprends l'intention de Haugen - c'est logique, dit-elle. Mais c'est dur. Nous n'avons pas encore répondu à la question de la transparence autour des algorithmes. Il y a beaucoup plus à faire.

Néanmoins, les révélations et le témoignage de Haugen ont attiré une attention renouvelée sur ce que de nombreux experts et employés de Facebook disent depuis des années : à moins que Facebook ne modifie la conception fondamentale de ses algorithmes, il ne résoudra pas de manière significative les problèmes de la plateforme.

Son intervention soulève également la perspective que si Facebook ne peut pas mettre de l'ordre dans sa propre maison, les décideurs pourraient forcer le problème.

Le Congrès peut modifier les règles que Facebook respecte et mettre fin aux nombreux dommages qu'il cause actuellement, a déclaré Haugen au Sénat. Je me suis présenté au péril de ma vie parce que je crois que nous avons encore le temps d'agir, mais nous devons agir maintenant.

cacher