Des gens terribles ont appris à exploiter Internet. Yasmin Green riposte.

L'équipe Jigsaw d'Alphabet ramène les personnes radicalisées en ligne du bord du gouffre, une vidéo à la fois. Par

• Martin Gilles page d'archives

19 février 2018

Landon Speers

Discours de haine, radicalisation en ligne, didacticiels sur la fabrication de bombes, fausses informations parrainées par l'État, censure du Web : Internet est un endroit terrible.

Une partie l'est, de toute façon. Aider à maintenir cette portion aussi petite que possible est le travail de Yasmin Green, directrice de la recherche et du développement chez Jigsaw, une branche de la société mère de Google, Alphabet. Elle affronte les terroristes et les trolls avec un groupe multinational d'environ 60 spécialistes, dont des ingénieurs en logiciel, des chercheurs et des chefs de produit. Ils peuvent également puiser dans les énormes ressources de Google. Mais Green et ses collègues ne passent pas tout leur temps à coder et à construire ; nombre d'entre eux se rendent également dans des points chauds géopolitiques pour étudier de près la radicalisation. Elle a parlé avec Examen de la technologie MIT sur certaines méthodes du groupe.

Cette histoire faisait partie de notre numéro de mars 2018

• Voir la suite du problème
• S'abonner

Qu'est-ce qui vous a attiré dans le rôle chez Jigsaw ?

J'ai quitté l'Iran, où je suis né, à un très jeune âge et j'ai grandi au Royaume-Uni. Je me souviens d'y être retourné à l'âge de 19 ans et d'avoir été stupéfait par le niveau de censure qui régnait dans le pays, à la fois hors ligne et en ligne. Des termes comme World Wide Web ont tendance à sembler ironiques aux personnes qui ne vivent pas dans des pays où l'information est gratuite. J'ai donc été attiré par le travail dans une entreprise qui essaie de rendre l'information accessible à tous.

Landon Speers

Jigsaw traite des menaces en ligne, mais les membres de l'équipe visitent également des zones de conflit dans le cadre de leur travail. Quel est le but de ces voyages ?

Nous voulons nous assurer que nous concevons une technologie basée sur une compréhension des expériences humaines. Une grande partie de notre méthodologie consiste à envoyer des membres de l'équipe sur le terrain pour interroger des personnes qui sont en première ligne des défis que nous essayons de relever, qu'il s'agisse de répression ou de conflit. L'une de nos visites sur le terrain était en Irak, où nous nous sommes assis face à face avec des personnes qui avaient rejoint puis quitté le groupe terroriste connu sous le nom d'ISIS. Nous voulions comprendre le processus de radicalisation, à la fois les éléments humains mais aussi le rôle joué par la technologie. Nous avons entendu parler de la façon dont les gens ont découvert ISIS, comment les gens ont été recrutés et comment la technologie a été utile à la logistique de leur voyage [pour rejoindre le groupe].

Quelle est la leçon la plus importante que nous ayons apprise sur la capacité d'ISIS à tirer parti d'Internet pour le recrutement ?

ISIS maîtrise à peu près de nombreux médias, de la radio aux tracts. En ce qui concerne Internet, ils ont vraiment compris la puissance du microciblage. Ils créent du contenu dans une longue liste de langues, y compris l'arabe et l'anglais, mais cela continue encore et encore, et arrive même au chinois et à l'hébreu. La langue qui m'a vraiment époustouflé pour voir une vidéo était la langue des signes. Ils créent donc du matériel de recrutement très local et utilisent les algorithmes disponibles via les médias sociaux pour distribuer ce matériel et atteindre des personnes aux quatre coins du monde.

Certains des contenus que les réseaux terroristes publient en ligne doivent clairement être supprimés. Mais comment faire face à des formes plus subtiles de propagande ?

Il y a certainement des catégories de contenu que vous voulez vous assurer de ne pas voir la lumière du jour, comme les décapitations et les tutoriels de fabrication de bombes. Ensuite, il y a toute une série d'autres contenus qui ne préconisent pas vraiment la violence, mais qui pourraient aider les gens à progresser sur la voie vers celle-ci. Notre recherche visait à comprendre quels étaient les thèmes de recrutement qui ont amené les gens à s'inscrire à ISIS. Il s'avère qu'ils n'étaient généralement pas attirés par les décapitations; au lieu de cela, ils étaient convaincus que ce groupe était religieusement légitime et que la cause du jihad était leur devoir religieux. ISIS façonnait la conversation, posant des questions auxquelles [il] avait des réponses apparemment convaincantes.

Je ne pense pas que quiconque ait imaginé que nous aurions le niveau d'intimidation et de discours de haine en ligne que nous avons actuellement, et nous devons faire de notre mieux pour nous assurer que nous prenons de l'avance.

Comment avez-vous tenté de contrer cette radicalisation en ligne ?

L'un des points à retenir pour nous était que le timing est essentiel. Au moment où les recrues potentielles sont convaincues de l'idéologie, il est trop tard pour les influencer ; vous devez vous y rendre lorsqu'ils sont sympathiques mais pas encore vendus. Nous nous sommes donc tournés vers la publicité ciblée en ligne. Nous avons conçu ce qu'on appelle la méthode de redirection, qui utilise des publicités ciblées pour atteindre les personnes qui sont favorables à l'Etat islamique mais qui ne s'y sont pas encore engagées, et les redirige vers des vidéos en ligne d'ecclésiastiques modérés, de transfuges et de journalistes citoyens qui pourraient éviter leur radicalisation.

Quels résultats cette méthode a-t-elle apportés ?

Le pilote, qui a duré huit semaines et s'est déroulé en arabe et en anglais, a atteint 320 000 personnes. Il avait un taux de clics exceptionnellement élevé sur les publicités et a généré un demi-million de minutes de temps de visionnage de vidéos. Étant donné que les gens ne passent pas plus de quelques secondes sur une vidéo qui ne les intéresse pas, c'est encourageant. Après notre pilote, YouTube a intégré la méthode dans ses résultats de recherche. La méthodologie open source a également été reproduite par d'autres, comme la Gen Next Foundation, et nous continuons à prendre en charge de nouveaux déploiements.

Jigsaw tente également de lutter contre la censure en ligne. À quel point ce problème est-il grave ?

Si vous regardez l'index de Freedom House à ce sujet, ils disent que chaque année, la situation empire. C'est vraiment décourageant, car c'est à l'opposé de ce que veulent les gens qui développent Internet. La situation est tellement volatile. Lorsque vous avez des troubles civils, comme il y en a eu récemment en Iran, vous voyez le dilemme des gouvernements répressifs quant à savoir s'il faut ou non fermer Internet parce que [censurer] cela enflamme la population et attire l'attention et l'indignation du public. Mais si ceux qui sont au pouvoir se sentent menacés, ils censureront.

Que peuvent faire des entreprises comme Alphabet pour contrer cela ?

Nous ressentons une très grande responsabilité d'aider les gens à accéder à l'information, surtout en cas de conflit et de répression. L'un de nos produits se concentre sur la protection des médias indépendants du monde entier contre un type d'attaque de censure appelée déni de service distribué, ou DDoS, qui met les sites Web hors ligne en les inondant de trafic. C'est ce qu'on appelle Project Shield. L'idée est venue de notre travail de terrain. Notre équipe s'est entretenue avec le groupe de surveillance des élections au Kenya, et leur site était tombé en panne le jour d'une élection clé. Google dispose d'une énorme infrastructure et de capacités d'atténuation DDoS de classe mondiale, dont Project Shield tire parti. Sans que les sites Web aient à héberger avec Google ou Jigsaw, il propose de contrôler le trafic avant qu'il n'arrive sur un serveur afin que nous puissions repérer le trafic malveillant et le filtrer.

Passons au problème des fake news. Comment pouvons-nous mieux identifier les efforts de désinformation parrainés par l'État ?

Histoire connexe

Yasmin Green, responsable de la R&D pour Alphabet's Jigsaw, utilise la technologie dans l'espoir de rendre le monde meilleur. Ce n'est pas facile.

Le but de ces campagnes est de planter des idées et des récits via de faux personnages et sites d'actualités, puis de faire fertiliser ces graines par les masses afin que les conversations aient l'air d'être organiques. La question de recherche que nous nous posons est de savoir s'il existe des marqueurs techniques d'activité coordonnée et secrète par rapport à l'activité plus organique que nous nous attendons à voir en ligne. S'il y en a, nous pourrions les utiliser dans la détection automatisée.

Nous examinons ici plusieurs dimensions. Les campagnes coordonnées ont tendance à durer plus longtemps que les campagnes organiques, et les personnes impliquées ont tendance à attendre de recevoir des instructions de leurs maîtres, il y a donc parfois un léger délai avant qu'elles n'agissent soudainement ensemble. Ces acteurs ont également tendance à être liés dans des réseaux ou des clusters extrêmement étroits qui semblent anormaux. Il y a aussi une dimension sémantique. Ces campagnes utilisent souvent des mots et des phrases similaires qui peuvent être le signe d'un contrôle centralisé.

Les entreprises Web ont été critiquées pour ne pas en faire assez pour lutter contre les discours de haine et le harcèlement en ligne. Cette critique est-elle juste ?

Je ne pense pas que quiconque ait imaginé que nous aurions le niveau d'intimidation et de discours de haine en ligne que nous avons actuellement, et nous devons faire de notre mieux pour nous assurer que nous prenons de l'avance.

Que fait Jigsaw pour frustrer les trolls en ligne ?

Nous avons une équipe dédiée à voir comment le traitement du langage naturel et l'apprentissage automatique peuvent être utilisés pour identifier la toxicité en ligne et aider les modérateurs et les communautés à y faire face. Il existe un modèle que nous avons développé et qui est accessible au public, appelé Perspective, et vous pouvez le trouver sur www.perspectiveapi.com . Cela vous aide à noter les commentaires pour leur niveau de toxicité. L'équipe de recherche cherche des moyens d'atteindre un autre niveau de granularité pour nous aider à mieux identifier ce qui se passe et comment les modérateurs peuvent le contrôler.

On craignait beaucoup que les biais dans les algorithmes ne nuisent à certains groupes de la société. Est-ce quelque chose sur lequel vous vous concentrez également?

Oui. Nous passons beaucoup de temps à réfléchir à la façon dont nous pouvons nous assurer que nous n'avons pas de biais dans notre IA en perspective qui pourraient nuire aux objectifs de ce projet, qui est de créer des conversations inclusives et empathiques.

Vous passez une grande partie de votre vie à vous concentrer sur le côté obscur d'Internet. Êtes-vous toujours optimiste quant à son potentiel ?

Je le suis, mais nous devons continuer à développer des technologies innovantes qui peuvent aider à relever ces défis vraiment difficiles.

cacher