J'étais là quand : Facebook fait passer les profits avant la sécurité

Le mois dernier, la principale source de Fichiers Facebook du Wall Street Journal , a révélé son identité dans un épisode de 60 minutes . Frances Haugen, ancienne chef de produit de l'entreprise, a déclaré qu'elle s'était manifestée après avoir vu les dirigeants de Facebook privilégier à plusieurs reprises le profit par rapport à la sécurité. Elle a ensuite comparu devant des législateurs aux États-Unis et au Royaume-Uni pour parler de ce qu'elle avait appris pendant son séjour au cabinet.

Mais Haugen n'a pas été le premier dénonciateur de Facebook à sonner l'alarme sur l'incapacité ou la réticence de l'entreprise à faire face aux graves problèmes causés par les algorithmes de la plateforme. En 2020, nous avons entendu parler de Sophie Zhang, qui avait été officiellement employée en tant que data scientist de bas niveau dans l'entreprise. Lorsqu'elle a démissionné, sa note de sortie à succès de 8 000 mots a révélé qu'elle avait identifié des dizaines de pays, dont l'Inde, le Mexique, l'Afghanistan et la Corée du Sud, où de faux comptes et likes permettaient aux politiciens d'induire le public en erreur et de prendre le pouvoir. Cela a également révélé à quel point l'entreprise avait fait peu pour atténuer le problème, malgré les efforts répétés de Zhang pour le porter à l'attention de la direction.

Dans le dernier épisode de J'étais là quand , un nouveau projet d'histoire orale du podcast In Machines We Trust, nous parlons à Zhang de ses efforts.

Crédits:

Cet épisode a été produit par Jennifer Strong, Anthony Green et Emma Cillekens. Il est édité par Michael Reilly et Mat Honan. Il est mixé par Garret Lang, avec une conception sonore et une musique de Jacob Gorski.

Transcription complète :

[ID TR]

SOT : Frances Haugen : Pendant mon séjour sur Facebook, j'ai réalisé une vérité dévastatrice. Presque personne en dehors de Facebook ne sait ce qui se passe à l'intérieur de Facebook.

Jenifer : Frances Haugen est une ancienne chef de produit chez Facebook. Elle a déposé des plaintes auprès des forces de l'ordre fédérales affirmant que la direction du géant des médias sociaux a à plusieurs reprises fait passer le profit avant la sécurité.

SOT : Frances Haugen : La société cache intentionnellement des informations vitales au public, au gouvernement américain et aux gouvernements du monde entier.

Jenifer : Ses plaintes étaient accompagnées d'une mine de documents que Haugen avait rassemblés avant de démissionner... dans le but de démontrer que l'entreprise avait délibérément choisi de ne pas résoudre les problèmes sur sa plate-forme.

Parmi eux... que des algorithmes comme celui derrière votre fil d'actualité Facebook amplifient la haine, la désinformation et les troubles politiques.

Et elle n'est pas la seule dénonciatrice à accuser l'entreprise de fermer les yeux sur les campagnes de désinformation sur la plateforme.

Sophie Zhang a travaillé comme scientifique des données sur Facebook… et jusqu'à son licenciement, elle s'est consacrée à la recherche et à la suppression de faux comptes, commentaires et likes qui étaient utilisés pour influencer les élections à l'échelle mondiale. Sa note de sortie à succès comptait 8 000 mots… et révélait à quel point Facebook avait peu fait pour atténuer le problème.

Je suis Jennifer Strong, et voici J'étais là quand .

Il s'agit d'un projet d'histoire orale présentant les histoires de la façon dont les moments décisifs de l'intelligence artificielle et de l'informatique se sont produits… tels que racontés par les personnes qui en ont été témoins.

[Afficher l'ID]

Sophie Zhang : Je suis Sophie Zhang. Chez Facebook, j'étais data scientist et j'ai travaillé dans l'équipe d'engagement. Par faux, j'entends, par exemple, les faux comptes, mais aussi les comptes piratés. Et par engagement, je veux dire, likes, commentaires, partages, etc. Mais pendant mon temps libre, quand j'ai commencé à travailler au noir dans le domaine de la recherche d'activités politiques inauthentiques. Activité politique souvent très sophistiquée et inauthentique. Je pourrais dire que c'était aussi un faux engagement, mais ce n'était pas ce sur quoi je devais travailler.

Lorsque j'ai commencé à examiner les intersections entre le faux engagement et l'activité civique, j'ai très rapidement trouvé des résultats dans le monde entier. J'ai trouvé des résultats au Brésil, en Inde, en Indonésie, dans de nombreux pays, mais aussi au Honduras, un peu au Honduras en fait par rapport à sa taille. Et je préparais un rapport pour les dirigeants sur le problème. Je voulais prendre une capture d'écran de la page du principal récipiendaire au Honduras, Juan Orlando Hernández, qui, après l'avoir consulté, s'est avéré être le président du Honduras.

J'allais sur sa page pour prendre une capture d'écran quand ils se sont soudainement arrêtés, parce que j'ai remarqué quelque chose de très inhabituel parce que les gens qui étaient, qui aimaient sa page et commentaient, beaucoup d'entre eux n'étaient pas du tout des gens. Il s'agissait de pages se faisant passer pour des utilisateurs. Et donc juste pour revenir en arrière ici, que sont les pages ? Que sont les utilisateurs ? Les pages sont une fonctionnalité Facebook destinée aux personnalités publiques, aux organisations publiques, etc. Ainsi, par exemple, MIT Tech Review a une page Facebook. MIT Tech Review n'est pas une personne. La page est gérée par quelqu'un d'autre sur Facebook.

Et donc l'intention de la façon dont les pages Facebook sont, c'est qu'elles sont censées refléter des entités publiques et qu'un seul utilisateur peut contrôler de nombreuses pages. Ainsi, par exemple, le même administrateur peut contrôler la page CNN ainsi que CNN, Philippines et CNN Europe, etc. Mais rien n'empêchait un utilisateur de créer des centaines de pages, de leur donner des noms et des photos de profil comme de vraies personnes et de les faire agir comme de vraies personnes. En fait, c'était plus facile de leur côté car ils pouvaient assez facilement basculer entre ces pages sans avoir besoin de se connecter et de se déconnecter à chaque fois.

Assez vite réalisé que ces fausses pages se faisant passer pour des utilisateurs, il y en avait des milliers au Honduras. Et quelques centaines d'entre eux étaient dirigés personnellement par l'administrateur de la page du président du Honduras. C'était quelqu'un qui avait clairement une grande confiance dans les médias sociaux envers le gouvernement hondurien. Et ils ne cachaient même pas le fait qu'ils utilisaient des milliers de faux actifs pour manipuler leurs propres citoyens.

Et donc dès le début, j'ai été très naïf. J'ai pensé que, d'accord, j'ai trouvé ça. Ces gens étaient stupides. Nous les avons attrapés. Je les confierai à d'autres. Ils vont s'en emparer. Je peux revenir à mon travail actuel et tout ira bien. C'était plutôt le début d'une épreuve de sisyphe de deux ans, parce que ce qui s'est passé quand je l'ai soulevé, c'est que tout le monde était d'accord pour dire que c'était terrible. Il n'était pas controversé que ce soit mauvais. Tout le monde était d'accord pour dire que cela ne devrait pas être autorisé, mais la question était : que devons-nous faire à ce sujet ? Avons-nous la capacité d'agir en conséquence ? Est-ce dans nos politiques d'agir en conséquence, et cetera. Dès le début, j'en ai parlé à tous ceux qui semblaient s'y intéresser. J'en ai parlé à Pages Integrity, à Groups Integrity. J'en ai parlé à l'équipe de l'intégrité civique. J'ai essayé d'intéresser les renseignements sur les menaces. Finalement, je parlais à tous ceux qui écoutaient. J'ai parlé à tout le monde jusqu'au vice-président Guy Rosen. C'était essentiellement comme parler au vent, comme essayer de vider l'océan avec une passoire. Finalement, j'ai compris que la meilleure façon d'obtenir des résultats n'était souvent pas d'essayer de passer par les canaux appropriés, mais de se plaindre publiquement au sein de l'entreprise sur Workplace, qui est essentiellement Facebook pour le bureau, et de publier des messages Workplace sur la situation que d'autres à l'entreprise pouvait voir. Et beaucoup d'entre eux étaient bien sûr contrariés parce que ce n'était pas le genre d'entreprise pour laquelle ils pensaient travailler et pour laquelle ils voulaient travailler. Je ne sais pas si c'était par ce moyen, par d'autres, mais finalement Facebook a finalement mis fin à l'opération du gouvernement hondurien, qui faisait l'actualité internationale.

Quelques semaines plus tard, l'opération est revenue en utilisant une méthode différente. Lorsque nous avons obtenu le démontage au Honduras, j'étais encore naïf et idéaliste au début. J'ai pensé, d'accord, avant cela, tout le monde disait que nous n'avions pas de précédent, nous ne savions pas quoi faire, mais maintenant nous avons le précédent. Maintenant, nous pouvons dire que nous avons créé ce précédent en faisant cela. Nous pouvons le résoudre dans cette méthode. Et donc après cela, j'ai pensé, d'accord, je peux les envoyer sur tous les autres que j'ai trouvés. Ils s'en occuperaient. Ils ne s'en sont pas occupés. Lorsque j'utilisais les canaux appropriés pour les envoyer, ils allaient essentiellement dans une déchiqueteuse de boîtes noires où ils étaient ignorés.

Au cours de la seconde moitié de 2019, j'ai soulevé et signalé environ trois douzaines de réseaux supplémentaires d'activités politiques inauthentiques, de l'Afghanistan à l'Albanie, du Brésil à la Bolivie, de l'Inde à l'Indonésie. Et il a donc fallu un certain temps pour trouver la bonne façon d'obtenir des résultats et d'amener les gens à réagir. Cela dépendait s'ils étaient liés à des politiciens et à des personnalités éminentes, car si quelque chose était lié à une personnalité politique, il devenait beaucoup plus difficile de le retirer. Je vais vous donner un numéro maintenant que je ne suis pas parti quand ils l'ont vu pour la première fois. Parce que l'Azerbaïdjan a certainement moins de 3% de la population mondiale, beaucoup plus petit, son réseau créait peut-être un million de commentaires chaque mois. Et cela constituait quelque chose comme 3 % de tous les commentaires des Pages sur les publications d'autres Pages dans le monde, globalement, civiques ou non civiques.

Mais même lorsque j'ai pris le gouvernement azerbaïdjanais en flagrant délit, il a fallu plus d'un an pour que l'opération soit démantelée. Quand j'ai découvert que le gouvernement azerbaïdjanais avait mis en place une ferme massive d'agents rémunérés pour harceler l'opposition en masse. C'était très clairement mauvais. Il était très clairement lié au gouvernement azerbaïdjanais. Et c'était à grande échelle. Mais quand nous l'avons supprimé, je suis sûr que quelque part sur Facebook, il y avait une équipe qui était très contrariée par la raison pour laquelle les chiffres ont soudainement chuté sans aucune raison qu'ils puissent comprendre. entre ma découverte et le démantèlement, l'Azerbaïdjan avait réprimé l'opposition, arrêté des personnalités de l'opposition non améliorées et déclenché une guerre avec l'Arménie.

Il devenait de plus en plus stressant de travailler sur la question. Il est difficile, individuellement, de voir quel impact tout cela a eu, mais il est rapidement devenu clair que cela était lié à l'activité dans les pays qui se débattaient parce qu'il se passait tellement de choses. Et c'est moi qui prenais personnellement les décisions sur ce qui était important. C'était essentiellement à moi de décider ce que je choisissais d'aller plus loin, ce que je choisissais de prioriser et d'essayer d'attirer l'attention. Et j'ai choisi de ne pas prioriser la Bolivie car elle était objectivement toute petite et pas très chic. Bien après l'élection, il y a eu des manifestations de masse qui ont dégénéré en ce qu'on a appelé alternativement un coup d'État ou un soulèvement populaire qui a entraîné la chute du gouvernement bolivien. Je sais que cela n'aurait pas dû être personnellement ma responsabilité, mais en fin de compte, personne d'autre n'est intervenu. Et j'ai donc choisi de le faire moi-même. Et parce que je m'étais mis dans cette position, cela dépendait essentiellement de moi, de ce qui était suffisamment important pour me concentrer, et je veux être clair. Il y avait toujours d'autres personnes qui étaient chargées d'affiner mes découvertes et chargées de les noter à la fin.

J'ai décidé dès le départ que je ne serais que le procureur, essentiellement, je ferais de mon mieux pour ne jamais être juge, juré et bourreau, car j'avais déjà trop de pouvoir entre les mains. Je ne pense pas que quiconque devrait être en mesure de décider si l'Albanie est plus importante que l'Azerbaïdjan ou des questions de ce genre. Parce qu'ils ont également trouvé dans ce livre de comptes qui étaient liés à des membres soutenant le gouvernement albanais. Mais ce que j'ai trouvé en Azerbaïdjan était objectivement pire en termes de taille et d'échelle. Et donc je savais que je n'avais que le capital politique pour passer très lentement un à la fois. Et j'ai donc choisi de me concentrer sur l'Azerbaïdjan. C'est toujours le cas en Albanie. L'Albanie a organisé des élections générales plus tôt cette année, et elles se poursuivaient encore à l'époque. Je veux dire, plus de deux ans après que je l'ai découvert, Facebook n'a toujours rien fait.

Et je ne peux que m'excuser abondamment auprès du peuple albanais. Je n'aurais pas dû être dans une position où je devais choisir si l'Albanie ou l'Azerbaïdjan étaient plus importantes. Je maintiens ma décision parce que ce qu'ils ont trouvé en Azerbaïdjan était objectivement pire, mais malgré tout, personne ne devrait être en charge de questions comme celle-ci. Il y a eu de nombreux reportages sur le manque de ressources de Facebook dans le domaine de l'intégrité. Je n'ai vu aucun reportage se plaindre du manque de ressources de Facebook en matière de marketing publicitaire. Et je pense que cela en dit long sur les priorités de l'entreprise à la fin.

Ce que j'ai trouvé le plus difficile, c'était dans certains pays autoritaires. L'opposition démocratique bénéficiait d'une tactique employante et savoureuse. Et j'ai eu le plus de réflexion sur ces cas. Mais je les ai quand même retirés sans hésitation parce que je croyais très fermement que mon allégeance était aux idées de démocratie et d'État de droit. Et que fondamentalement la démocratie ne peut pas se tenir sur un lit de mensonges. En tant qu'employé de très bas niveau pendant mon temps libre, sans aucune surveillance, je prenais personnellement des décisions qui affectaient directement les gouvernements nationaux.

C'est une question difficile de répondre à ce que je pense qu'il devrait arriver, parce qu'une partie de cela est comme, c'est comme demander si vous pouviez donner au ciel n'importe quelle couleur, quelle couleur voudriez-vous qu'il soit? Parce que c'est une, c'est une question essentiellement théorique et votre réponse n'aura aucun effet réel sur le monde réel.

Je ne peux pas plus faire changer d'avis Mark qu'ils ne peuvent rendre le ciel rose du jour au lendemain. Cela dépend des gens qui m'écoutent, des gens comme vous, parce que je ne peux rien changer moi-même. Je n'ai que le pouvoir que les autres m'accordent. Si vous voulez que les choses changent, vous devriez demander personnellement à vos représentants car finalement c'est un problème qui n'est pas vécu par quelques personnes. C'est le problème dont les coûts sont supportés par la société, par la démocratie, par le discours civique dans son ensemble. Et en tant qu'entreprise, Facebook n'a aucune incitation à résoudre ce problème plus que nous ne nous attendions à ce que Philip Morris développe des cigarettes non addictives.

Jenifer : J'étais là quand est un projet d'histoire orale présentant les histoires de personnes qui ont été témoins ou ont créé des percées dans l'intelligence artificielle et l'informatique.

Avez-vous une histoire à raconter? Connaissez-vous quelqu'un qui le fait? Envoyez-nous un e-mail à podcasts sur technology review dot com.

[MIDROLL]

[CRÉDITS]

Jennifer : Cet épisode a été produit par moi avec l'aide d'Anthony Green et d'Emma Cillekens. Nous sommes édités par Niall Firth et Mat Honan. Notre ingénieur du mixage est Garret Lang… et notre thème musical est de Jacob Gorski.

Merci de m'avoir écouté, je suis Jennifer Strong.

[ID TR]

cacher