Comment Facebook et Google financent la désinformation mondiale

Les géants de la technologie versent des millions de dollars aux opérateurs de pages de clickbait, finançant la détérioration des écosystèmes d'information à travers le monde.





lumière et ombre au sol

Getty

  • Karen Hao page d'archives
20 novembre 2021

Birmanie, mars 2021.

Un mois après la chute du gouvernement démocratique.



Votre navigateur ne prend pas en charge la balise vidéo. Votre navigateur ne prend pas en charge la balise vidéo.

Une vidéo Facebook Live a montré des centaines de personnes protestant contre le coup d'État militaire dans les rues du Myanmar.

Il comptait près de 50 000 partages et plus de 1,5 million de vues, dans un pays d'un peu plus de 54 millions d'habitants.

Les observateurs, incapables de voir les événements sur le terrain, ont utilisé les images, ainsi que des centaines d'autres flux en direct, pour suivre et documenter le déroulement de la situation. (MIT Technology Review a brouillé les noms et les images des affiches pour éviter de compromettre leur sécurité.)



Mais moins d'un jour plus tard, la même vidéo serait rediffusée plusieurs fois, chacune prétendant toujours être en direct.

Au milieu d'une crise politique massive, il n'y avait plus moyen de discerner ce qui était réel et ce qui ne l'était pas.

En 2015, selon les données de CrowdTangle, un outil géré par Facebook, six des 10 sites Web au Myanmar ayant obtenu le plus d'engagement sur Facebook provenaient de médias légitimes. Un an plus tard, Facebook (qui a récemment été rebaptisé Meta) offrait un accès mondial aux Instant Articles, un programme que les éditeurs pouvaient utiliser pour monétiser leur contenu.



Un an après ce déploiement, les éditeurs légitimes ne représentaient que deux des 10 premiers éditeurs sur Facebook au Myanmar. En 2018, ils représentaient zéro. Tous les engagements étaient plutôt allés à de fausses nouvelles et à des sites Web de clickbait. Dans un pays où Facebook est synonyme d'Internet, le contenu de qualité médiocre a dépassé les autres sources d'information.

C'est au cours de cette dégradation rapide de l'environnement numérique du Myanmar qu'un groupe militant de Rohingya, une minorité ethnique majoritairement musulmane, a attaqué et tué une douzaine de membres des forces de sécurité, en août 2017. Alors que la police et l'armée commençaient à sévir contre les Rohingya et de diffuser la propagande anti-musulmane, de faux articles de presse capitalisant sur ce sentiment sont devenus viraux. Ils ont affirmé que les musulmans étaient armés, qu'ils se rassemblaient en foules de 1 000 personnes, qu'ils étaient au coin de la rue pour vous tuer.

Il n'est toujours pas clair aujourd'hui si les fausses nouvelles provenaient principalement d'acteurs politiques ou d'acteurs motivés financièrement. Mais dans tous les cas, le volume considérable de fausses nouvelles et d'appâts à clics a agi comme de l'huile sur les flammes de tensions ethniques et religieuses déjà dangereusement élevées. Cela a modifié l'opinion publique et aggravé le conflit, qui a finalement entraîné la mort de 10 000 Rohingyas, selon des estimations prudentes, et le déplacement de 700 000 autres.



En 2018, une enquête des Nations Unies a déterminé que les violences contre les Rohingyas constituaient un génocide et que Facebook avait joué un rôle déterminant dans les atrocités. Des mois plus tard, Facebook a admis qu'il n'avait pas fait assez pour empêcher que notre plateforme ne soit utilisée pour fomenter la division et inciter à la violence hors ligne.

Au cours des dernières semaines, les révélations des Facebook Papers, une collection de documents internes fournis au Congrès et à un consortium d'organes de presse par la lanceuse d'alerte Frances Haugen, ont réaffirmé ce que les groupes de la société civile disent depuis des années : l'amplification algorithmique par Facebook des contenus incendiaires , combiné à son incapacité à donner la priorité à la modération du contenu en dehors des États-Unis et de l'Europe, a alimenté la propagation des discours de haine et de la désinformation, déstabilisant dangereusement les pays du monde entier.

Mais il manque une pièce cruciale à l'histoire. Facebook ne se contente pas d'amplifier la désinformation.

L'entreprise le finance également.

Un examen de la technologie du MIT enquête, basée sur des entretiens d'experts, des analyses de données et des documents qui n'étaient pas inclus dans les Facebook Papers, a révélé que Facebook et Google versent des millions de dollars publicitaires pour financer les acteurs du clickbait, alimentant la détérioration des écosystèmes d'information dans le monde entier.

L'anatomie d'une ferme de clickbait

Facebook a lancé son programme Instant Articles en 2015 avec une poignée d'éditeurs américains et européens. La société a présenté le programme comme un moyen d'améliorer les temps de chargement des articles et de créer une expérience utilisateur plus fluide.

Histoire connexe

Comment Facebook est devenu accro à la diffusion de fausses informations

Les algorithmes d'intelligence artificielle de l'entreprise lui ont donné une habitude insatiable de mensonges et de discours de haine. Maintenant, l'homme qui les a construits ne peut pas résoudre le problème.

C'était la vente publique. Mais cette décision a également capté les dollars publicitaires de Google. Avant les articles instantanés, les articles publiés sur Facebook étaient redirigés vers un navigateur, où ils s'ouvraient sur le site Web de l'éditeur. Le fournisseur d'annonces, généralement Google, tirerait alors profit de toutes les vues ou clics d'annonces. Avec le nouveau schéma, les articles s'ouvriraient directement dans l'application Facebook et Facebook serait propriétaire de l'espace publicitaire. Si un éditeur participant avait également opté pour la monétisation avec le réseau publicitaire de Facebook, appelé Audience Network, Facebook pourrait insérer des publicités dans les histoires de l'éditeur et prendre une réduction de 30 % des revenus.

Instant Articles est rapidement tombé en disgrâce auprès de sa cohorte originale de grands éditeurs grand public. Pour eux, les paiements n'étaient pas assez élevés par rapport aux autres formes de monétisation disponibles. Mais ce n'était pas vrai pour les éditeurs du Sud, que Facebook a lancé accepté dans le programme en 2016 . En 2018, la société a déclaré avoir payé 1,5 milliard de dollars aux éditeurs et aux développeurs d'applications (qui peuvent également participer à Audience Network). En 2019, ce chiffre avait atteint plusieurs milliards .

Au début, Facebook effectuait peu de contrôle de qualité sur les types d'éditeurs rejoignant le programme. La conception de la plate-forme n'a pas non plus suffisamment pénalisé les utilisateurs pour avoir publié un contenu identique sur les pages Facebook - en fait, elle a récompensé le comportement. La publication du même article sur plusieurs pages pourrait jusqu'à doubler le nombre d'utilisateurs qui ont cliqué dessus et généré des revenus publicitaires.

Les fermes Clickbait du monde entier ont saisi cette faille comme stratégie, une stratégie qu'elles utilisent encore aujourd'hui.

Une ferme créera un site Web ou plusieurs sites Web…

… pour la publication de contenu principalement plagié.

Il les enregistre avec Instant Articles et Réseau d'audience ,

qui insère des publicités dans leurs articles.

Ensuite, il publie ces articles sur un groupe de plusieurs dizaines de pages Facebook à la fois.

Des acteurs de clickbait sont apparus au Myanmar du jour au lendemain. Avec la bonne recette pour produire un contenu engageant et évocateur, ils pourraient générer des milliers de dollars américains par mois de revenus publicitaires, soit 10 fois le salaire mensuel moyen, qui leur sont versés directement par Facebook.

Un document interne à l'entreprise, d'abord rapporté par MIT Technology Review en octobre , montre que Facebook était conscient du problème dès 2019. L'auteur, l'ancien scientifique des données de Facebook, Jeff Allen, a découvert que ces tactiques exactes avaient permis aux fermes de clickbait en Macédoine et au Kosovo d'atteindre près d'un demi-million d'Américains un an avant les élections de 2020. . Les fermes avaient également fait leur chemin dans les articles instantanés et les pauses publicitaires, un programme de monétisation similaire pour insérer des publicités dans les vidéos Facebook. À un moment donné, jusqu'à 60 % des domaines inscrits dans les articles instantanés utilisaient les tactiques d'écriture de spam employées par les fermes de clickbait, selon le rapport. Allen, lié par un accord de non-divulgation avec Facebook, n'a pas commenté le rapport.

Malgré la pression des chercheurs internes et externes, Facebook a eu du mal à endiguer les abus. Pendant ce temps, la société déployait davantage de programmes de monétisation pour ouvrir de nouvelles sources de revenus. Outre les pauses publicitaires pour les vidéos, il y avait la monétisation IGTV pour Instagram et les publicités In-Stream pour les vidéos en direct. Cette poussée imprudente pour la croissance des utilisateurs que nous avons vue - nous assistons maintenant à une poussée imprudente pour la croissance des éditeurs, déclare Victoire Rio, une chercheuse en droits numériques qui lutte contre les dommages causés par les plateformes au Myanmar et dans d'autres pays du Sud.

MIT Technology Review a constaté que le problème se produit maintenant à l'échelle mondiale. Des milliers d'opérations de clickbait ont vu le jour, principalement dans les pays où les paiements de Facebook fournissent une source de revenus plus importante et plus stable que les autres formes de travail disponibles. Certains sont des équipes de personnes tandis que d'autres sont des individus, encouragés par des outils automatisés bon marché qui les aident à créer et à distribuer des articles à grande échelle. Ils ne sont plus limités non plus à la publication d'articles. Ils diffusent des vidéos en direct et gèrent des comptes Instagram, qu'ils monétisent directement ou utilisent pour générer plus de trafic vers leurs sites.

Google est également coupable. Son programme AdSense a alimenté les fermes basées en Macédoine et au Kosovo qui ciblaient le public américain à l'approche de l'élection présidentielle de 2016. Et c'est AdSense qui incite les nouveaux acteurs de clickbait sur YouTube à publier du contenu scandaleux et de la désinformation virale.

Aujourd'hui, de nombreuses fermes d'appâts à clic monétisent à la fois les articles instantanés et AdSense, recevant des paiements des deux sociétés. Et parce que les algorithmes de Facebook et YouTube boostez tout ce qui intéresse les utilisateurs , ils ont créé un écosystème d'informations où le contenu qui devient viral sur une plate-forme sera souvent recyclé sur l'autre pour maximiser la distribution et les revenus.

Ces acteurs n'existeraient pas sans les plateformes, dit Rio.

Histoire connexe

Les fermes de trolls ont atteint 140 millions d'Américains par mois sur Facebook avant les élections de 2020, selon un rapport interne

Ce n'est pas normal. Ce n'est pas sain.

En réponse aux preuves détaillées que nous avons fournies à chaque entreprise de ce comportement, le porte-parole de Meta, Joe Osborne, a contesté nos principales conclusions, affirmant que nous avions mal compris le problème. Quoi qu'il en soit, nous avons investi dans la création de nouvelles solutions expertes et évolutives à ces problèmes complexes pendant de nombreuses années, et nous continuerons à le faire, a-t-il déclaré.

Google a confirmé que le comportement enfreignait ses politiques et a mis fin à toutes les chaînes YouTube identifiées par MIT Technology Review comme diffusant des informations erronées. Nous travaillons dur pour protéger les téléspectateurs contre les pièges à clics ou les contenus trompeurs sur nos plateformes et avons investi massivement dans des systèmes conçus pour élever les informations faisant autorité, a déclaré le porte-parole de YouTube, Ivy Choi.

Les fermes Clickbait ne ciblent pas seulement leur pays d'origine. À l'instar des acteurs de Macédoine et du Kosovo, les opérateurs les plus récents ont compris qu'ils n'avaient besoin de comprendre ni le contexte local d'un pays ni sa langue pour transformer l'indignation politique en revenu.

MIT Technology Review s'est associé à Allen, qui dirige maintenant une organisation à but non lucratif appelée The Institut d'intégrité qui mène des recherches sur les abus de plateforme, afin d'identifier d'éventuels acteurs de clickbait sur Facebook. Nous nous sommes concentrés sur les pages épuisées au Cambodge et au Vietnam, deux des pays où les opérations de clickbait profitent désormais de la situation au Myanmar.

Nous avons obtenu des données de CrowdTangle, dont l'équipe de développement la société s'est dissoute plus tôt cette année , et de Listes d'éditeurs de Facebook , qui enregistrent les éditeurs inscrits aux programmes de monétisation. Allen a écrit un algorithme de clustering personnalisé pour trouver des pages affichant du contenu de manière hautement coordonnée et ciblant les locuteurs de langues utilisées principalement en dehors des pays où les opérations sont basées. Nous avons ensuite analysé quels clusters avaient au moins une page enregistrée dans un programme de monétisation ou faisaient fortement la promotion du contenu d'une page enregistrée dans un programme.

Nous avons trouvé plus de 2 000 pages dans les deux pays engagées dans ce comportement de type clickbait. (Cela pourrait être un sous-dénombrement, car toutes les pages Facebook ne sont pas suivies par CrowdTangle.) Beaucoup ont des millions d'abonnés et touchent probablement encore plus d'utilisateurs. Dans son rapport de 2019, Allen a constaté que 75% des utilisateurs qui ont été exposés au contenu de clickbait provenant de fermes gérées en Macédoine et au Kosovo n'avaient jamais suivi aucune des pages. Le système de recommandation de contenu de Facebook l'avait plutôt poussé dans leurs fils d'actualités.

Lorsque MIT Technology Review a envoyé à Facebook une liste de ces pages et une explication détaillée de notre méthodologie, Osborne a qualifié l'analyse de défectueuse. Bien que certaines pages ici aient pu figurer sur nos listes d'éditeurs, beaucoup d'entre elles n'ont pas réellement monétisé sur Facebook, a-t-il déclaré.

En effet, ces chiffres n'indiquent pas que toutes ces pages ont généré des revenus publicitaires. Il s'agit plutôt d'une estimation, basée sur des données que Facebook a rendues publiques, du nombre de pages associées à des acteurs de clickbait au Cambodge et au Vietnam que Facebook a rendu éligibles à la monétisation sur la plateforme.

Osborne a également confirmé que plus de pages de type clickbait gérées par le Cambodge que nous avons trouvées s'étaient directement enregistrées auprès de l'un des programmes de monétisation de Facebook que nous ne le pensions auparavant. Dans notre analyse, nous avons constaté que 35 % des pages de nos clusters l'avaient fait au cours des deux dernières années. Les 65 % restants auraient indirectement généré des revenus publicitaires en promouvant fortement le contenu de la page enregistrée auprès d'un public plus large. Osborne a dit qu'en fait à propos de demi des pages que nous avons trouvées, soit environ 150 pages supplémentaires, s'étaient directement inscrites à un moment donné auprès d'un programme de monétisation, principalement des articles instantanés.

Peu de temps après que nous ayons approché Facebook, les opérateurs de pages de clickbait au Myanmar ont commencé à se plaindre dans les forums en ligne que leurs pages avaient été supprimées des articles instantanés. Osborne a refusé de répondre à nos questions sur les dernières mesures d'application prises par la société.

Facebook a continuellement cherché à éliminer ces acteurs de ses programmes. Par exemple, seules 30 des pages gérées par le Cambodge monétisent encore, a déclaré Osborne. Mais nos données provenant des listes d'éditeurs de Facebook montrent que l'application est souvent retardée et incomplète - les pages de clickbait peuvent rester dans les programmes de monétisation pendant des centaines de jours avant d'être supprimées. Les mêmes acteurs créeront également de nouvelles pages une fois que leurs anciennes auront été démonétisées.

Allen est maintenant open-sourcer le code nous avions l'habitude d'encourager d'autres chercheurs indépendants à affiner et à développer nos travaux.

Pour soutenir le journalisme de MIT Technology Review, veuillez envisager de vous abonner .

En utilisant la même méthodologie, nous avons également trouvé plus de 400 pages gérées par des étrangers ciblant principalement des publics américains dans des clusters qui sont apparus dans les listes d'éditeurs de Facebook au cours des deux dernières années. (Nous n'avons pas inclus les pages de pays dont la langue principale est l'anglais.) L'ensemble comprend un cluster de monétisation géré en partie depuis la Macédoine et destiné aux femmes et à la communauté LGBTQ. Il compte huit pages Facebook, dont deux vérifiées avec respectivement plus de 1,7 million et 1,5 million d'abonnés, et publie le contenu de cinq sites Web, chacun enregistré auprès de Google AdSense et Audience Network. Il possède également trois comptes Instagram, qui monétisent via des boutiques de cadeaux et des collaborations et en dirigeant les utilisateurs vers les mêmes sites Web largement plagiés. Les administrateurs des pages Facebook et des comptes Instagram n'ont pas répondu à nos demandes de commentaires.

Les pages LGBT News et Women's Rights News sur Facebook publient un contenu identique provenant de cinq de ses propres sites affiliés monétisant avec Instant Articles et Google AdSense, ainsi que d'autres médias avec lesquels il semble avoir des partenariats rémunérés.

Osborne a déclaré que Facebook enquêtait maintenant sur les comptes après les avoir portés à l'attention de l'entreprise. Choi a déclaré que Google avait supprimé les publicités AdSense de centaines de pages sur ces sites dans le passé en raison de violations de la politique, mais que les sites eux-mêmes sont toujours autorisés à monétiser sur la base des examens réguliers de l'entreprise.

S'il est possible que les Macédoniens qui gèrent les pages se soucient effectivement de la politique américaine et des droits des femmes et des LGBTQ, le contenu génère indéniablement des revenus. Cela signifie que ce qu'ils promeuvent est très probablement guidé par ce qui gagne et perd avec l'algorithme de fil d'actualité de Facebook.

L'activité d'une seule page ou d'un groupe de pages peut ne pas sembler significative, explique Camille François, chercheur à l'Université de Columbia qui étudie les campagnes de désinformation organisées sur les réseaux sociaux. Mais lorsque des centaines ou des milliers d'acteurs font la même chose, amplifient le même contenu et atteignent des millions de spectateurs, cela peut affecter la conversation publique. Ce que les gens voient comme la conversation domestique sur un sujet peut en fait être quelque chose de complètement différent, dit François. C'est un groupe de personnes rémunérées qui prétendent n'avoir aucune relation les unes avec les autres, optimisant ce qu'elles publient.

Osborne a déclaré que Facebook a créé plusieurs nouvelles politiques et protocoles d'application au cours des deux dernières années pour résoudre ce problème, notamment en pénalisant les pages exécutées dans un pays qui se comportent comme si elles étaient locales dans un autre, ainsi qu'en pénalisant les pages qui créent une audience sur le base d'un sujet, puis pivoter vers un autre. Mais Allen et Rio affirment que les actions de l'entreprise n'ont pas réussi à combler les lacunes fondamentales dans les politiques et les conceptions de la plate-forme - des vulnérabilités qui alimentent une crise mondiale de l'information.

Cela affecte avant tout des pays en dehors des États-Unis, mais présente également un risque énorme pour les États-Unis à long terme, a déclaré Rio. Cela va affecter à peu près n'importe où dans le monde lorsqu'il y a des événements intensifiés comme une élection.

Désinformation à louer

En réponse au rapport initial de MIT Technology Review sur le rapport interne 2019 d'Allen, que nous publié dans son intégralité , David Agranovich, directeur de la perturbation des menaces mondiales chez Facebook, tweeté , Les pages référencées ici, basées sur nos propres recherches de 2019, sont des spammeurs motivés financièrement, et non des opérations d'influence manifestes. Ces deux défis sont sérieux, mais ils sont différents. Les confondre n'aide personne. Osborne a répété que nous confondions les deux groupes en réponse à nos découvertes.

Mais les experts en désinformation disent qu'il est trompeur de tracer une ligne dure entre les spammeurs à motivation financière et les opérations d'influence politique.

Il y a une distinction dans l'intention : les spammeurs motivés financièrement sont agnostiques quant au contenu qu'ils publient. Ils vont là où se trouvent les clics et l'argent, laissant l'algorithme du fil d'actualité de Facebook dicter les sujets qu'ils couvriront ensuite. Les opérations politiques visent plutôt à faire avancer un programme spécifique.

Mais en pratique ça n'a pas d'importance : dans leurs tactiques et leur impact, ils se ressemblent souvent. Au cours d'une journée moyenne, un site de clickbait à motivation financière peut être peuplé de nouvelles de célébrités, d'animaux mignons ou d'histoires très émouvantes, tous des moteurs de trafic fiables. Ensuite, lorsque les troubles politiques frappent, ils dérivent vers des nouvelles hyperpartisanes, la désinformation et l'appât de l'indignation, car cela suscite plus d'engagement.

Le cluster de pages macédonien en est un parfait exemple. La plupart du temps, le contenu fait la promotion des droits des femmes et des personnes LGBTQ. Mais au moment d'événements comme les élections de 2020, l'insurrection du 6 janvier et l'adoption du projet de loi anti-avortement du Texas, le cluster a amplifié un contenu politique particulièrement pointu. Beaucoup de ses articles ont été largement diffusés par des pages légitimes très suivies, y compris celles gérées par Occupy Democrats, l'Union of Concerned Scientists et Women's March Global.

Un exemple d'article hautement politique finalement supprimé d'un des cinq sites affiliés au cluster. Les sites de clickbait nettoient souvent les anciens articles de leurs pages.

Les opérations d'influence politique, quant à elles, pourraient publier du contenu sur des célébrités et des animaux pour créer des pages Facebook avec de nombreux abonnés. Ils pivotent ensuite également vers la politique lors d'événements politiques sensibles, capitalisant sur les vastes audiences déjà à leur disposition.

Les agents politiques paieront parfois aussi des spammeurs motivés financièrement pour diffuser de la propagande sur leurs pages Facebook, ou achèteront des pages pour les réutiliser pour des campagnes d'influence. Rio a déjà vu des preuves d'un marché noir où les acteurs du clickbait peuvent vendre leurs larges audiences Facebook.

En d'autres termes, les pages semblent inoffensives jusqu'à ce qu'elles ne le soient plus. Nous avons permis à des acteurs inauthentiques d'accumuler d'énormes suivis à des fins largement inconnues, a écrit Allen dans le rapport.

Ce changement s'est produit à plusieurs reprises au Myanmar depuis l'essor des fermes d'appâts cliquables, en particulier pendant la crise des Rohingyas et à nouveau avant et après le coup d'État militaire de cette année. (Cette dernière a été précipitée par des événements similaires à ceux qui ont conduit à l'insurrection américaine du 6 janvier, notamment fausses allégations généralisées d'élections volées .)

En octobre 2020, Facebook a supprimé un certain nombre de pages et de groupes engagés dans un comportement coordonné de clickbait au Myanmar. Dans une analyse de ces actifs, Graphika, une société de recherche qui étudie la diffusion de l'information en ligne, a constaté que les pages se concentraient principalement sur les nouvelles et les potins des célébrités, mais repoussait la propagande politique, la rhétorique anti-musulmane dangereuse et la désinformation sur le covid-19 pendant les moments clés de la crise . Des dizaines de pages comptaient plus d'un million d'abonnés chacune, la plus importante atteignant plus de 5 millions.

Le même phénomène s'est produit aux Philippines à l'approche de l'élection du président Rodrigo Duterte en 2016. Duterte a été comparé à Donald Trump pour sa politique populiste, sa rhétorique ampoulée et ses penchants autoritaires. Au cours de sa campagne, une ferme d'appâts à clics, enregistrée officiellement sous le nom de société Twinmark Media, est passée de la couverture des célébrités et du divertissement à la promotion de lui et de son idéologie.

À l'époque, il était largement admis que les politiciens avaient engagé Twinmark pour mener une campagne d'influence. Mais dans les entretiens avec journalistes et des chercheurs , les anciens employés de Twinmark ont ​​admis qu'ils étaient simplement à la recherche de profits. Grâce à l'expérimentation, les employés ont découvert que le contenu pro-Duterte excellait lors d'une élection houleuse. Ils ont même payé d'autres célébrités et influenceurs pour partager leurs articles afin d'obtenir plus de clics et de générer plus de revenus publicitaires, D'après les recherches des spécialistes des médias et de la communication Jonathan Ong et Jason Vincent A. Cabañes.

Dans les derniers mois de la campagne, Duterte a dominé le discours politique sur les réseaux sociaux. Facebook lui-même l'a nommé le roi incontesté des conversations Facebook quand il a découvert qu'il faisait l'objet de 68 % de toutes les discussions liées aux élections , contre 46 % pour son rival le plus proche.

Trois mois après l'élection, Maria Ressa, PDG de la société de médias Rappler, qui a remporté le prix Nobel de la paix cette année pour son travail de lutte contre la désinformation, publié un article décrivant comment un concert de clickbait et de propagande coordonnés sur Facebook a modifié l'opinion publique sur des questions clés.

C'est une stratégie de 'mort par mille coupes' - une réduction des faits, en utilisant des demi-vérités qui fabriquent une réalité alternative en fusionnant le pouvoir des bots et des faux comptes sur les réseaux sociaux pour manipuler de vraies personnes, a-t-elle écrit.

En 2019, Facebook finalement démonté 220 pages Facebook, 73 comptes Facebook et 29 comptes Instagram liés à Twinmark Media. À ce moment-là, Facebook et Google avaient déjà versé à la ferme jusqu'à 8 millions de dollars ( 400 millions de pesos philippins ).

Ni Facebook ni Google n'ont confirmé ce montant. Meta Osborne a contesté la caractérisation selon laquelle Facebook avait influencé l'élection.

Une menace en évolution

Facebook a fait un effort majeur pour éliminer les fermes de clickbait des articles instantanés et des pauses publicitaires au premier semestre 2019, selon le rapport interne d'Allen. Plus précisément, il a commencé à vérifier l'originalité du contenu des éditeurs et à démonétiser ceux qui publiaient du contenu en grande partie non original.

Mais ces contrôles automatisés sont limités. Ils se concentrent principalement sur l'évaluation de l'originalité des vidéos, et non, par exemple, sur la question de savoir si un article a été plagié. Même s'ils le faisaient, de tels systèmes ne seraient aussi bons que les capacités d'intelligence artificielle de l'entreprise dans une langue donnée. Les pays dont les langues ne sont pas prioritaires pour la communauté des chercheurs en IA reçoivent beaucoup moins d'attention, voire pas du tout. Dans le cas de l'Éthiopie, il y a 100 millions d'habitants et six langues. Facebook ne prend en charge que deux de ces langues pour les systèmes d'intégrité, a déclaré Haugen lors de son témoignage au Congrès.

Rio dit qu'il y a aussi des lacunes dans l'application. Les contrevenants sont retirés du programme mais pas de la plate-forme, et ils peuvent faire appel pour être réintégrés. Les appels sont traités par une équipe distincte de celle qui fait l'application et n'effectue que des vérifications topiques de base avant de réintégrer l'acteur. (Facebook n'a pas répondu aux questions sur ce que ces vérifications recherchent réellement.) En conséquence, cela peut prendre quelques heures à un opérateur de clickbait pour rejoindre encore et encore après le retrait. D'une manière ou d'une autre, toutes les équipes ne se parlent pas, dit-elle.

C'est ainsi que Rio s'est retrouvée dans un état de panique en mars de cette année. Un mois après que l'armée eut arrêté l'ancienne dirigeante démocrate Aung San Suu Kyi et pris le contrôle du gouvernement, les manifestants s'opposaient toujours violemment au nouveau régime. L'armée coupait sporadiquement l'accès à Internet et aux réseaux de diffusion, et Rio était terrifiée pour la sécurité de ses amis dans le pays.

Elle a commencé à les chercher dans les vidéos Facebook Live. Les gens regardaient très activement ces vidéos parce que c'est ainsi que vous gardez une trace de vos proches, dit-elle. Elle n'était pas inquiète de voir que les vidéos provenaient de pages présentant des problèmes de crédibilité ; elle pensait que les streamers utilisaient de fausses pages pour protéger leur anonymat.

Puis l'impossible s'est produit : elle a vu deux fois la même vidéo Live. Elle s'en souvenait parce que c'était horrifiant : des centaines d'enfants, qui semblaient n'avoir que 10 ans, alignés, les mains sur la tête, chargés dans des camions militaires.

Lorsqu'elle a creusé dedans, elle a découvert que les vidéos n'étaient pas du tout en direct. Les vidéos en direct sont destinées à indiquer une diffusion en temps réel et incluent des métadonnées importantes sur l'heure et le lieu de l'activité. Ces vidéos avaient été téléchargées d'ailleurs et rediffusées sur Facebook à l'aide d'outils tiers pour les faire ressembler à des flux en direct.

Histoire connexe

Elle a tout risqué pour exposer Facebook. Maintenant, elle raconte son histoire.

Sophie Zhang, ancienne scientifique des données chez Facebook, a révélé que cela permet une manipulation politique mondiale et n'a pas fait grand-chose pour l'arrêter.

Il y en avait des centaines, accumulant des dizaines de milliers d'engagements et des centaines de milliers de vues. Début novembre, MIT Technology Review a trouvé des dizaines de fausses vidéos en direct en double de cette période toujours en place. Une paire en double avec plus de 200 000 et 160 000 vues, respectivement, proclamées en birman, je suis le seul à diffuser en direct de tout le pays en temps réel. Facebook en a supprimé plusieurs après que nous les ayons portés à son attention, mais des dizaines d'autres, ainsi que les pages qui les ont publiées, sont toujours là. Osborne a déclaré que la société était consciente du problème et avait considérablement réduit ces fausses vies et leur distribution au cours de l'année écoulée.

Ironiquement, estime Rio, les vidéos ont probablement été extraites de séquences de la crise téléchargées sur YouTube en tant que preuves des droits de l'homme. En d'autres termes, les scènes proviennent bien du Myanmar, mais elles étaient toutes diffusées depuis le Vietnam et le Cambodge.

Au cours du dernier semestre, Rio a suivi et identifié plusieurs clusters de pages à partir du Vietnam et du Cambodge. Beaucoup ont utilisé de fausses vidéos en direct pour augmenter rapidement leur nombre d'abonnés et inciter les téléspectateurs à rejoindre des groupes Facebook déguisés en communautés pro-démocratie. Rio craint maintenant que le dernier déploiement par Facebook de publicités intégrées dans les vidéos en direct n'incite davantage les acteurs du clickbait à les simuler. Un cluster cambodgien de 18 pages a commencé à publier une désinformation politique très préjudiciable, atteignant un total de 16 millions d'engagements et une audience de 1,6 million en quatre mois. Facebook a supprimé les 18 pages en mars, mais de nouveaux clusters continuent de se développer tandis que d'autres restent.

Pour autant que Rio le sache, ces acteurs vietnamiens et cambodgiens ne parlent pas birman. Ils ne comprennent probablement pas la culture birmane ou la politique du pays. L'essentiel est qu'ils n'en ont pas besoin. Pas quand ils volent leur contenu.

Rio a depuis trouvé plusieurs des groupes Facebook et Telegram privés des Cambodgiens (un avec plus de 3 000 personnes), où ils échangent des outils et des conseils sur les meilleures stratégies pour gagner de l'argent. MIT Technology Review a examiné les documents, les images et les vidéos qu'elle a rassemblés et a embauché un traducteur khmer pour interpréter un didacticiel vidéo qui guide les téléspectateurs étape par étape à travers un flux de travail d'appâtage au clic.

Les documents montrent comment les opérateurs cambodgiens recueillent des recherches sur le contenu le plus performant dans chaque pays et les plagient pour leurs sites Web de clickbait. Un dossier Google Drive partagé au sein de la communauté contient deux douzaines de feuilles de calcul de liens vers les groupes Facebook les plus populaires dans 20 pays, dont les États-Unis, le Royaume-Uni, l'Australie, l'Inde, la France, l'Allemagne, le Mexique et le Brésil.

La vidéo du didacticiel montre également comment ils trouvent les vidéos YouTube les plus virales dans différentes langues et utilisent un outil automatisé pour convertir chacune en un article pour leur site. Nous avons trouvé 29 chaînes YouTube diffusant de la désinformation politique sur la situation politique actuelle au Myanmar, par exemple, qui étaient converties en articles de clickbait et redistribuées à de nouveaux publics sur Facebook.

L'une des chaînes YouTube diffusant de la désinformation politique au Myanmar. Google l'a finalement supprimé.

Après avoir porté ces chaînes à son attention, YouTube les a toutes clôturées pour avoir enfreint les règles de sa communauté, dont sept qui, selon elle, faisaient partie d'opérations d'influence coordonnées liées au Myanmar. Choi a noté que YouTube avait également cessé de diffuser des annonces sur près de 2 000 vidéos sur ces chaînes. Nous continuons de surveiller activement nos plateformes pour empêcher les mauvais acteurs de chercher à abuser de notre réseau à des fins lucratives, a-t-elle déclaré.

Ensuite, il existe d'autres outils, dont un qui permet aux vidéos préenregistrées d'apparaître comme de fausses vidéos Facebook Live. Un autre génère aléatoirement détails du profil pour les hommes américains , y compris l'image, le nom, l'anniversaire, le numéro de sécurité sociale, le numéro de téléphone et l'adresse, donc un autre outil peut produire en masse de faux comptes Facebook en utilisant certaines de ces informations.

C'est maintenant si facile à faire que de nombreux acteurs cambodgiens opèrent en solo. Rio les appelle des micro-entrepreneurs. Dans le scénario le plus extrême, elle a vu des individus gérer jusqu'à 11 000 comptes Facebook par eux-mêmes.

Les micro-entrepreneurs qui réussissent forment également d'autres personnes pour faire ce travail dans leur communauté. Ça va empirer, dit-elle. 'N'importe quel Joe dans le monde pourrait affecter votre environnement informatique sans que vous vous en rendiez compte.

Le profit plutôt que la sécurité

Lors de son témoignage au Sénat en octobre de cette année, Haugen a souligné les défauts fondamentaux de l'approche basée sur le contenu de Facebook en matière d'abus de plateforme. La stratégie actuelle, centrée sur ce qui peut et ne peut pas apparaître sur la plateforme, ne peut être que réactive et jamais exhaustive, a-t-elle déclaré. Non seulement cela oblige Facebook à énumérer toutes les formes d'abus possibles, mais cela exige également que l'entreprise maîtrise la modération dans toutes les langues. Facebook a échoué sur les deux plans, et les personnes les plus vulnérables au monde en ont payé le prix le plus élevé, a-t-elle déclaré.

Le principal coupable, a déclaré Haugen, est le désir de Facebook de maximiser l'engagement, qui a transformé son algorithme et la conception de sa plate-forme en un porte-voix géant pour les discours de haine et la désinformation. Une Enquête sur l'examen de la technologie du MIT du début de cette année, basée sur des dizaines d'entretiens avec des dirigeants de Facebook, des employés actuels et anciens, des pairs de l'industrie et des experts externes, corrobore cette caractérisation.

Son témoignage fait également écho à ce qu'Allen a écrit dans son rapport - et à ce que Rio et d'autres experts en désinformation ont vu à plusieurs reprises au cours de leurs recherches. Pour les fermes de clickbait, entrer dans les programmes de monétisation est la première étape, mais le montant qu'ils encaissent dépend de la mesure dans laquelle les systèmes de recommandation de contenu de Facebook améliorent leurs articles. Ils ne prospéreraient pas et ne plagieraient pas un contenu aussi préjudiciable si leurs tactiques louches ne fonctionnaient pas si bien sur la plate-forme.

Par conséquent, éliminer les fermes elles-mêmes n'est pas la solution : des acteurs très motivés pourront toujours créer de nouveaux sites Web et de nouvelles pages pour gagner plus d'argent. Au lieu de cela, ce sont les algorithmes et les mécanismes de récompense de contenu qui doivent être traités.

Dans son rapport, Allen a proposé une voie possible Facebook pourrait le faire : en utilisant ce qu'on appelle une mesure d'autorité basée sur un graphique pour classer le contenu. Cela amplifierait les pages de meilleure qualité comme les actualités et les médias et diminuerait les pages de qualité inférieure comme les clickbait, inversant ainsi la tendance actuelle.

Haugen a souligné que l'échec de Facebook à réparer sa plate-forme n'était pas faute de solutions, d'outils ou de capacités. Facebook peut changer mais ne le fera clairement pas tout seul, a-t-elle déclaré. Ma crainte est que sans action, les comportements de division et extrémistes que nous voyons aujourd'hui ne soient que le début. Ce que nous avons vu au Myanmar et que nous voyons maintenant en Éthiopie ne sont que les premiers chapitres d'une histoire si terrifiante que personne ne veut en lire la fin.

(Osborne a déclaré que Facebook a une approche fondamentalement différente du Myanmar aujourd'hui avec une plus grande expertise dans les questions de droits de l'homme du pays et une équipe et une technologie dédiées pour détecter les contenus violents, comme les discours de haine, en birman.)

En octobre, l'envoyé spécial sortant de l'ONU pour le Myanmar a déclaré que le pays avait dégénéré en guerre civile . Des milliers de personnes ont depuis fui vers les pays voisins comme la Thaïlande et l'Inde. À la mi-novembre, les acteurs du clickbait continuaient de publier de fausses nouvelles toutes les heures. Dans un poste, la dirigeante démocrate, Mère Suu, avait été assassinée. Dans un autre, elle avait finalement été libérée.

Un merci spécial à notre équipe. Conception et développement par Rachel Stein et Andre Vitorio. Direction artistique et production par Emily Luong et Stephanie Arnett. Montage par Niall Firth et Mat Honan. Vérification des faits par Matt Mahoney. Copie révisée par Linda Lowenthal.

Correction: Une version précédente de l'article indiquait à tort qu'après avoir contacté Facebook, les acteurs du clickbait au Cambodge ont commencé à se plaindre dans les forums en ligne d'avoir été expulsés des articles instantanés. Les acteurs étaient en fait au Myanmar.