Une IA qui écrit une prose convaincante risque de produire en masse de fausses nouvelles

Mme Tech

Voici quelques fausses nouvelles de dernière minute…

La Russie a déclaré la guerre aux États-Unis après que Donald Trump a accidentellement tiré un missile en l'air.

La Russie a déclaré qu'elle avait identifié la trajectoire du missile et qu'elle prendrait les mesures nécessaires pour assurer la sécurité de la population russe et des forces nucléaires stratégiques du pays. La Maison Blanche s'est dite extrêmement préoccupée par la violation par la Russie d'un traité interdisant les missiles balistiques à portée intermédiaire.

Les États-Unis et la Russie entretiennent des relations difficiles depuis 2014, lorsque Moscou a annexé la région ukrainienne de Crimée et soutenu les séparatistes dans l'est de l'Ukraine.

Cette histoire est, en fait, non seulement fausse, mais un exemple troublant de la capacité de l'IA à nous tromper.

C'est parce qu'il n'a pas été écrit par une personne; il a été généré automatiquement par un algorithme alimenté par les mots La Russie a déclaré la guerre aux États-Unis après que Donald Trump ait accidentellement…

Le programme a fait le reste de l'histoire tout seul. Et il peut créer des reportages d'apparence réaliste sur n'importe quel sujet que vous lui donnez. Le programme a été développé par une équipe d'OpenAI, un institut de recherche basé à San Francisco.

Les chercheurs ont entrepris de développer un algorithme de langage à usage général, formé sur une grande quantité de texte provenant du Web, qui serait capable de traduire du texte, de répondre à des questions et d'effectuer d'autres tâches utiles. Mais ils se sont rapidement inquiétés du potentiel d'abus. Nous avons commencé à le tester et avons rapidement découvert qu'il était possible de générer assez facilement du contenu malveillant, déclare Jack Clark, directeur des politiques chez OpenAI.

Clark dit que le programme indique comment l'IA pourrait être utilisée pour automatiser la génération de fausses nouvelles convaincantes, de publications sur les réseaux sociaux ou d'autres contenus textuels. Un tel outil pourrait vomir des reportages niant le climat ou des exposés scandaleux lors d'une élection. Les fausses nouvelles sont déjà un problème, mais si elles étaient automatisées, il serait peut-être plus difficile de s'en déconnecter. Peut-être pourrait-il être optimisé pour des données démographiques particulières, voire des individus.

Clark dit qu'il ne faudra peut-être pas longtemps avant que l'IA puisse produire de manière fiable de fausses histoires, de faux tweets ou des commentaires trompeurs encore plus convaincants. Il est très clair que si cette technologie mûrit - et je lui donnerais un ou deux ans - elle pourrait être utilisée à des fins de désinformation ou de propagande, dit-il. Nous essayons de devancer cela.

Une telle technologie pourrait avoir des utilisations bénéfiques, notamment pour résumer du texte ou améliorer les compétences conversationnelles des chatbots. Clark dit qu'il a même utilisé l'outil pour générer des passages dans de courtes histoires de science-fiction avec un succès surprenant.

OpenAI fait de la recherche fondamentale sur l'IA mais joue également un rôle actif dans la mise en évidence des risques potentiels de l'intelligence artificielle. L'organisation a été impliquée dans un rapport de 2018 sur les risques de l'IA, y compris les opportunités de désinformation (voir Ce sont les scénarios du « miroir noir » qui conduisent certains experts à demander le secret sur l'IA).

L'algorithme OpenAI n'est pas toujours convaincant pour le lecteur averti. La plupart du temps, lorsqu'on lui donne une invite, il produit un charabia ou un texte superficiellement cohérent qui semble clairement avoir été copié à partir de sources d'information en ligne.

Cependant, il est souvent remarquablement efficace pour produire des textes réalistes et reflète les progrès récents dans l'application de l'apprentissage automatique au langage.

OpenAI a mis l'outil de génération de texte à la disposition du MIT Technology Review pour le tester mais, en raison de préoccupations concernant la manière dont la technologie pourrait être utilisée à mauvais escient, ne rendra publiquement disponible qu'une version simplifiée. L'institut publie un document de recherche décrivant les travaux.

Les progrès de l'intelligence artificielle aident progressivement les machines à mieux appréhender le langage. Des travaux récents ont fait des progrès en alimentant des algorithmes d'apprentissage automatique à usage général de très grandes quantités de texte. Le programme OpenAI porte cela à un niveau supérieur : le système a été alimenté par 45 millions de pages du Web, choisies via le site Web Reddit. Et contrairement à la plupart des algorithmes de langage, le programme OpenAI ne nécessite pas de texte étiqueté ou organisé. Il apprend simplement à reconnaître les modèles dans les données qu'il alimente.

Richard Socher , expert en traitement du langage naturel et scientifique en chef de Salesforce, affirme que le travail d'OpenAI est un bon exemple d'un système d'apprentissage des langues à usage plus général. Je pense que ces systèmes d'apprentissage général sont l'avenir, a-t-il écrit dans un e-mail.

D'autre part, Socher est moins préoccupé par le potentiel de tromperie et de désinformation. Vous n'avez pas besoin de l'IA pour créer de fausses nouvelles, dit-il. Les gens peuvent facilement le faire :)

cacher