Nous combattons les faux bots d'IA en utilisant plus d'IA. C'est une erreur.

Photo de la couverture du livre

• Samuel Woolley est professeur adjoint à la Moody School of Communication de l'Université du Texas-Austin. Ceci est un extrait adapté de son prochain livre Le jeu de réalité .

Chaque fois que vous vous connectez à Twitter et regardez un message populaire, vous êtes susceptible de trouver des comptes de robots qui l'aiment ou le commentent. En cliquant dessus, vous pouvez voir qu'ils ont tweeté plusieurs fois, souvent en peu de temps. Parfois, leurs messages vendent des déchets ou propagent des virus numériques. D'autres comptes, en particulier les robots qui publient du vitriol brouillé en réponse à des articles de presse particuliers ou à des déclarations officielles, sont entièrement politiques.

Il est facile de supposer que tout ce phénomène est alimenté par une informatique de pointe. En effet, j'ai parlé à de nombreuses personnes qui pensent que les algorithmes d'apprentissage automatique pilotés par l'apprentissage automatique ou l'intelligence artificielle donnent aux robots politiques la capacité d'apprendre de leur environnement et d'interagir avec les gens de manière sophistiquée.

Lors d'événements au cours desquels les chercheurs pensent désormais que les bots politiques et la désinformation ont joué un rôle clé - le référendum sur le Brexit, le concours Trump-Clinton en 2016, la crise de la Crimée -, il existe une croyance largement répandue selon laquelle les outils intelligents d'IA ont permis aux ordinateurs de se faire passer pour des humains et d'aider à manipuler la conversation publique.

Les experts et les journalistes ont alimenté cela : il y a eu histoires extrêmement provocatrices sur la montée en puissance d'une machine de propagande d'IA armée, et des histoires affirmant que l'intelligence artificielle a conquis la démocratie. Même mes propres recherches sur la façon dont les médias sociaux sont utilisés pour façonner l'opinion publique, pirater la vérité et faire taire les protestations - ce que l'on appelle la propagande informatique - ont été citées dans des articles qui suggèrent que nos seigneurs robots sont déjà là.

La réalité est, cependant, que des mécanismes complexes comme l'intelligence artificielle ont joué peu de rôle dans les campagnes de propagande informatique à ce jour. Toutes les preuves que j'ai vues sur Cambridge Analytica suggèrent que l'entreprise n'a jamais lancé les outils de marketing psychographique qu'elle prétendait posséder lors des élections américaines de 2016, bien qu'elle ait déclaré qu'elle pourrait cibler des individus avec des messages spécifiques basés sur des profils de personnalité dérivés de sa base de données Facebook controversée.

Lorsque j'étais à l'Oxford Internet Institute, nous avons examiné comment et si les bots Twitter étaient utilisés lors du débat sur le Brexit. Nous avons constaté que si beaucoup étaient utilisés pour diffuser des messages sur la campagne Leave, la grande majorité des comptes automatisés étaient très simples. Ils ont été conçus pour modifier la conversation en ligne avec des bots qui avaient été conçus simplement pour augmenter les likes et les suivis, pour diffuser des liens, pour suivre les tendances du jeu ou pour troller l'opposition. Il a été joué par de petits groupes d'utilisateurs humains qui ont compris la magie des mèmes et de la viralité, de semer des conspirations en ligne et de les regarder grandir. Les conversations ont été bloquées par du spam et du bruit de base générés par des robots, délibérément attachés à des hashtags particuliers afin de démobiliser les conversations en ligne. Les liens vers des articles de presse qui montraient un politicien sous un jour particulier ont été médiatisés par de faux comptes ou des comptes par procuration créés pour publier et republier le même contenu encore et encore et encore. Ces campagnes ont été menées de manière assez brutale : ces bots n'ont pas été conçus pour être fonctionnellement conversationnels. Ils n'ont pas exploité l'IA.

Plus bête

Il y a cependant des signes que la propagande et la désinformation informatiques basées sur l'IA commencent à être utilisées. Les pirates et d'autres groupes ont déjà commencé à tester l'efficacité de robots IA plus dangereux sur les réseaux sociaux. Une pièce de 2017 de Gizmodo ont rapporté que deux scientifiques des données ont appris à une intelligence artificielle à concevoir sa propre campagne de phishing : lors des tests, le pirate informatique artificiel était nettement meilleur que ses concurrents humains, composant et distribuant plus de tweets de phishing que les humains, et avec un taux de conversion nettement meilleur.

Le contenu problématique n'est pas diffusé uniquement par des robots politiques activés par l'apprentissage automatique. Les utilisations ou les conceptions problématiques de la technologie ne sont pas non plus générées uniquement par les entreprises de médias sociaux. Les chercheurs ont souligné que l'apprentissage automatique peut être entaché d'attaques empoisonnées - des acteurs malveillants influençant les données de formation afin de modifier les résultats d'un algorithme donné - avant même que la machine ne soit rendue publique.

Kalev Leetaru, chercheur principal à l'Université George Washington, suggère que les premières attaques lancées par des robots IA ne visent peut-être pas les médias sociaux, mais impliqueraient plutôt ce que l'on appelle une attaque par déni de service distribué, qui consiste à fermer les serveurs Web ciblés. en les inondant de trafic.

Imaginez un instant que vous confiiez ce botnet au contrôle d'un système d'apprentissage en profondeur et que vous donniez à cet algorithme d'IA le contrôle complet de chaque bouton et cadran de ce botnet, Leetaru écrit .

Ces efforts ne visent pas à aider les organes de presse à vérifier les tas de contenu. Au contraire, ils aident une entreprise de plusieurs milliards de dollars à garder sa propre maison propre.

Vous lui fournissez également des flux en direct d'informations sur l'état Internet mondial provenant des principaux fournisseurs de cybersécurité et de surveillance du monde entier afin qu'il puisse observer seconde par seconde comment la victime et le reste de l'Internet en général réagissent à l'attaque. Peut-être que tout cela vient après que l'algorithme ait passé plusieurs semaines à surveiller la cible avec des détails exquis pour comprendre la totalité et la nuance de ses modèles de trafic et de ses comportements et se frayer un chemin à travers ses couches extérieures de défenses.

Au-delà de la défense

En avril 2018, Mark Zuckerberg a comparu devant le Congrès : il était sous le microscope politique pour la mauvaise gestion des informations des utilisateurs lors des élections de 2016. Dans son témoignage en deux parties, il a mentionné l'intelligence artificielle plus de 30 fois, suggérant que l'IA allait être la solution au problème de la désinformation numérique en fournissant des programmes qui combattraient le volume considérable de la propagande informatique. Il a prédit qu'au cours de la prochaine décennie, l'IA serait le sauveur des énormes problèmes d'échelle auxquels Facebook et d'autres se heurtent lorsqu'ils traitent de la propagation mondiale du contenu indésirable et de la manipulation.

Existe-t-il donc un moyen d'utiliser l'IA ou la technologie des robots automatisés pour lutter contre la manipulation de l'opinion publique en ligne ? Pouvons-nous utiliser l'IA pour combattre l'IA ?

L'Observatoire des médias sociaux de l'Université de l'Indiana a construit des outils publics qui exploitent l'apprentissage automatique pour détecter les bots en examinant 1 200 fonctionnalités pour déterminer s'il est plus probable qu'il s'agisse d'un humain ou d'un bot.

Et Tessa Lyons, chef de produit Facebook a déclaré dans une annonce de 2018 que l'apprentissage automatique nous aide à identifier les doublons d'histoires démystifiées. Par exemple, un vérificateur des faits en France a démenti l'affirmation selon laquelle vous pouvez sauver une personne victime d'un accident vasculaire cérébral en utilisant une aiguille pour lui piquer le doigt et lui prélever du sang. Cela nous a permis d'identifier plus de 20 domaines et plus de 1 400 liens diffusant la même revendication.

Dans de tels cas, les entreprises de médias sociaux peuvent exploiter l'apprentissage automatique pour collecter, voire vérifier, des vérifications des faits du monde entier et utiliser ces corrections fondées sur des preuves pour signaler les faux contenus.

Il y a cependant un grand débat dans la communauté universitaire sur la question de savoir si l'identification passive d'informations potentiellement fausses pour les utilisateurs de médias sociaux est réellement efficace. Certains chercheurs suggèrent que les efforts de vérification des faits en ligne et hors ligne ne fonctionnent pas très efficacement sous leur forme actuelle. Début 2019, le site Web de vérification des faits Snopes, qui s'était associé à Facebook dans de tels efforts correctifs, rompu la relation . Dans un entrevue avec le Poynter Institute, le vice-président des opérations de Snopes, Vinny Green, a déclaré : « Il ne semble pas que nous nous efforcions de rendre la vérification des faits par des tiers plus pratique pour les éditeurs – il semble que nous nous efforcions de faciliter les choses pour Facebook.

Des organisations comme Facebook continuent de s'appuyer sur de petites organisations, généralement à but non lucratif, pour vérifier le contenu. Des articles ou des vidéos potentiellement faux sont souvent transmis à ces groupes sans aucune information de fond sur comment ou pourquoi ils ont été signalés en premier lieu.

Ces efforts ne visent pas à aider les organes de presse à vérifier les tas de contenus ou de pistes qu'ils reçoivent chaque jour pour aider les journalistes sous-financés à faire un meilleur travail. Au contraire, ils aident une entreprise de plusieurs milliards de dollars à garder sa propre maison propre de manière post hoc. Il est temps que Facebook assume la responsabilité interne de la vérification des faits, plutôt que de confier la tâche de vérifier ou de démystifier les reportages à d'autres groupes. Facebook et les autres entreprises de médias sociaux doivent également cesser de se fier aux vérifications des faits après coup, c'est-à-dire seulement après qu'un faux article est devenu viral. Ces entreprises doivent générer une sorte de système d'alerte précoce pour la propagande informatique.

Facebook, Google et d'autres comme eux emploient des personnes pour trouver et supprimer des contenus contenant de la violence ou des informations provenant de groupes terroristes. Ils sont cependant beaucoup moins zélés dans leurs efforts pour se débarrasser de la désinformation. La pléthore de contextes différents dans lesquels de fausses informations circulent en ligne - d'une élection en Inde à un événement sportif majeur en Afrique du Sud - rend difficile pour l'IA de fonctionner par elle-même, en l'absence de connaissances humaines. Mais dans les mois et les années à venir, il faudra des hordes de personnes à travers le monde pour contrôler efficacement les quantités massives de contenu dans les innombrables circonstances qui se présenteront.

Il n'y a tout simplement pas de solution facile au problème de la propagande informatique sur les réseaux sociaux. Il est cependant de la responsabilité des entreprises de trouver un moyen d'y remédier. Jusqu'à présent, Facebook semble bien plus axé sur les relations publiques que sur la régulation du flux de propagande informatique ou de contenu graphique. D'après The Verge , l'entreprise passe plus de temps à célébrer ses efforts pour se débarrasser de certains morceaux de vitriol ou de violence qu'à réviser systématiquement ses processus de modération.

Au-delà de la vérification des faits

Ce sera une combinaison de travail humain et d'IA qui réussira finalement à combattre la propagande informatique, mais la manière dont cela se produira n'est tout simplement pas claire. La vérification des faits améliorée par l'IA n'est qu'une voie à suivre. L'apprentissage automatique et l'apprentissage en profondeur, de concert avec les travailleurs humains, peuvent combattre la propagande informatique, la désinformation et le harcèlement politique de plusieurs autres manières.

Jigsaw, l'incubateur technologique basé sur Google où j'ai effectué un mandat d'un an en tant que chercheur, a conçu et construit un outil basé sur l'IA appelé Perspective pour lutter contre la pêche à la traîne en ligne et les discours de haine. Cet outil (sur lequel je n'ai pas travaillé moi-même) est une API qui permet aux développeurs de détecter automatiquement le langage toxique.

C'est controversé parce qu'il court non seulement le risque de faux positifs - signaler les messages qui ne contiennent pas réellement de trolling ou d'abus - mais modère également le discours. Selon Filaire , l'outil a été formé à l'aide de l'apprentissage automatique, mais tout outil de ce type est également formé à l'aide d'entrées d'humains, qui ont leurs propres biais. Ainsi, un outil conçu pour détecter un langage raciste ou haineux pourrait-il échouer en raison d'une formation défectueuse ?

En 2016, Facebook a lancé Deeptext, un outil d'IA similaire à Perspective de Google. La société dit il a aidé à supprimer plus de 60 000 messages haineux par semaine. Facebook a cependant admis que l'outil s'appuyait toujours sur un grand nombre de modérateurs humains pour se débarrasser réellement du contenu préjudiciable. Twitter, quant à lui, a finalement pris des mesures à la fin de 2017 pour travailler plus soigneusement afin d'interdire les publications similaires menaçantes ou violentes. Mais alors qu'il a commencé à limiter ce matériel problématique - et supprime également des hordes de comptes de robots politiques - Twitter n'a donné aucune indication claire sur la façon dont il détecte et supprime les comptes. Mes collaborateurs de recherche et moi-même continuons de trouver des botnets manipulateurs massifs sur Twitter presque tous les mois.

Au delà de l'horizon

Il n'est pas surprenant qu'un technologue comme Zuckerberg propose une solution technologique, mais l'IA n'est pas parfaite en soi. La focalisation myope des leaders technologiques sur les solutions informatiques reflète la naïveté et l'arrogance qui ont poussé Facebook et d'autres à rendre les utilisateurs vulnérables en premier lieu.

Il n'y a pas encore d'armées de robots IA intelligents travaillant pour manipuler l'opinion publique lors d'élections contestées. Y aura-t-il dans le futur ? Peut-être. Mais il est important de noter que même les armées de bots politiques intelligents ne fonctionneront pas par elles-mêmes : elles auront toujours besoin d'une surveillance humaine pour les manipuler et les tromper. Nous ne sommes pas confrontés à une version en ligne de The Terminator ici. Des sommités des domaines de l'informatique et de l'intelligence artificielle, dont Ed Feigenbaum, lauréat du prix Turing, et Geoff Hinton, le parrain de l'apprentissage en profondeur, ont fermement argumenté contre les craintes que la singularité - l'ère imparable des machines intelligentes - n'arrive de sitôt. Dans une enquête auprès des boursiers de l'American Association of Artificial Intelligence, plus de 90% ont déclaré que la super-intelligence est au-delà de l'horizon prévisible. La plupart de ces experts ont également convenu que lorsque et si des ordinateurs super intelligents arrivent, ils ne seront pas une menace pour l'humanité.

Des chercheurs de Stanford travaillant pour suivre l'état de l'art de l'IA suggérer que nos seigneurs de la machine, à l'heure actuelle, ne peuvent toujours pas montrer le bon sens ou l'intelligence générale d'un enfant de 5 ans. Alors, comment ces outils renverseront-ils la domination humaine ou, disons, résoudront-ils des problèmes sociaux extrêmement humains comme la polarisation politique et le manque de pensée critique ? Le journal de Wall Street mettez-le succinctement en 2017 : Sans les humains, l'intelligence artificielle est encore assez stupide.

Grady Booch, un expert de premier plan des systèmes d'IA, est également sceptique quant à l'essor des machines malveillantes super intelligentes, mais pour une raison différente. Dans une conférence TED en 2016 , il a déclaré que s'inquiéter maintenant de la montée d'une superintelligence est à bien des égards une distraction dangereuse car la montée de l'informatique elle-même nous amène à un certain nombre de problèmes humains et sociétaux auxquels nous devons maintenant nous intéresser.

Plus important encore, a souligné Booch, les systèmes d'IA actuels peuvent faire toutes sortes de choses étonnantes, de la conversation avec les humains en langage naturel à la reconnaissance des objets, mais ces choses sont décidées par les humains et codées avec des valeurs humaines. Ils ne sont pas programmés, mais on leur apprend à se comporter.

En termes scientifiques, c'est ce que nous appelons la vérité de terrain, dit Booch, et voici le point important : en produisant ces machines, nous leur enseignons donc nos valeurs. Pour cela, je fais confiance à une intelligence artificielle au même titre, sinon plus, qu'à un humain bien entraîné.

Je pousserais l'idée de Booch encore plus loin. Pour résoudre le problème de la propagande informatique, nous devons nous concentrer sur les personnes derrière les outils.

Oui, la technologie en constante évolution peut automatiser la propagation de la désinformation et de la pêche à la traîne. Il peut permettre aux auteurs d'agir de manière anonyme et sans crainte d'être découverts. Mais cette suite d'outils en tant que mode de communication politique est finalement axée sur la réalisation de l'objectif humain de contrôle. La propagande est une invention humaine, et elle est aussi vieille que la société. Comme me l'a dit un jour un expert en robotique, nous ne devrions pas craindre les machines qui sont intelligentes comme les humains, autant que les humains qui ne sont pas intelligents dans la façon dont ils construisent des machines.

Extrait de The Reality Game: How the Next Wave of Technology Will Break the Truth, par Samuel Woolley. Copyright 2020. Disponible auprès de PublicAffairs, une empreinte de Hachette Book Group, Inc.

cacher