Même la meilleure IA pour repérer les fausses nouvelles est toujours terrible

Illustration d'un robot confus tenant un journal Mme Tech

Lorsque le directeur général de Facebook, Mark Zuckerberg, a promis au Congrès que l'IA aiderait à résoudre le problème des fausses nouvelles, il a révélé peu de choses sur comment . De nouvelles recherches nous rapprochent un peu plus de cela.

Dans une étude approfondie qui sera présentée lors d'une conférence plus tard ce mois-ci, des chercheurs du MIT, du Qatar Computing Research Institute (QCRI) et de l'Université de Sofia en Bulgarie ont testé plus de 900 variables possibles pour prédire la fiabilité d'un média, probablement le plus grand ensemble jamais proposé. .

Les chercheurs ont ensuite formé un modèle d'apprentissage automatique sur différentes combinaisons de variables pour voir laquelle produirait les résultats les plus précis. Le meilleur modèle a étiqueté avec précision les organes d'information avec une factualité faible, moyenne ou élevée seulement 65 % du temps.

C'est loin d'être un succès retentissant. Mais les expériences révèlent des choses importantes sur ce qu'il faudrait pour sous-traiter notre vérification des faits à une machine. Preslav Nakov, scientifique principal au QCRI et l'un des chercheurs de l'étude, se dit optimiste quant au fait que les sources de fausses nouvelles peuvent être automatiquement repérées de cette façon.

Mais cela ne veut pas dire que ce sera facile.

Méthode à la folie

Dans l'explosion de la recherche sur la détection des fausses nouvelles depuis la campagne présidentielle américaine de 2016, quatre approches principales ont émergé : vérifier les allégations individuelles, détecter les faux articles, traquer les trolls et mesurer la fiabilité des sources d'information. Nakov et le reste de l'équipe ont choisi de se concentrer sur le quatrième car il se rapproche le plus de l'origine de la désinformation. C'est aussi celui qui a été le moins étudié.

Des études antérieures ont tenté de caractériser la fiabilité d'une source d'information en fonction du nombre de ses affirmations qui correspondaient ou étaient en conflit avec des affirmations qui avaient déjà été vérifiées. En d'autres termes, une machine comparerait l'historique des affirmations factuelles d'un média aux conclusions de sites comme Snopes ou PolitiFact. Le mécanisme, cependant, repose sur une vérification humaine des faits et évalue l'historique du point de vente, et non le présent immédiat. Au moment où les dernières affirmations ont été vérifiées manuellement, il est déjà trop tard, dit Nakov.

Pour repérer une fausse source d'information en temps quasi réel, Nakov et ses collaborateurs ont formé leur système à l'aide de variables pouvant être tabulées indépendamment des vérificateurs de faits humains. Celles-ci comprenaient des analyses du contenu, comme la structure des phrases des titres et la diversité des mots dans les articles ; les indicateurs généraux du site, comme la structure de l'URL et le trafic du site ; et des mesures de l'influence du point de vente, comme son engagement sur les réseaux sociaux et sa page Wikipédia, le cas échéant.

Pour sélectionner les variables, les chercheurs se sont appuyés à la fois sur des recherches antérieures - des études antérieures ont montré que les faux articles d'actualité ont tendance à avoir des choix de mots répétitifs, par exemple - et sur de nouvelles hypothèses.

En testant différentes combinaisons de variables, les chercheurs ont pu identifier les meilleurs prédicteurs de la fiabilité d'une source d'information. Qu'un point de vente ait une page Wikipédia, par exemple, avait un pouvoir prédictif démesuré ; le trafic du point de vente, en revanche, n'en avait pas. L'exercice a aidé les chercheurs à déterminer des variables supplémentaires qu'ils pourraient explorer à l'avenir.

Manque de données

Mais il y a un autre obstacle : une pénurie de données de formation, ce que Nakov appelle la vérité terrain.

Pour la plupart des tâches d'apprentissage automatique, il est assez simple d'annoter les données de formation. Si vous souhaitez créer un système qui détecte les articles sur le sport, vous pouvez facilement étiqueter les articles comme liés ou non à ce sujet. Vous insérez ensuite l'ensemble de données dans une machine afin qu'elle puisse apprendre les caractéristiques d'un article de sport.

Mais étiqueter les médias avec une factualité élevée ou faible est beaucoup plus sensible. Cela doit être fait par des journalistes professionnels qui suivent des méthodologies rigoureuses, et c'est un processus qui prend beaucoup de temps. En conséquence, il est difficile de constituer un corpus solide de données d'entraînement, ce qui explique en partie pourquoi la précision du modèle de l'étude est si faible. Le moyen le plus évident d'augmenter la précision est d'obtenir plus de données d'entraînement, déclare Nakov

Actuellement, Media Bias Fact Check, l'organisation choisie pour fournir la vérité de terrain pour la recherche, a évalué 2 500 sources médiatiques, une rareté en termes d'apprentissage automatique. Mais Nakov dit que la base de données de l'organisation se développe rapidement. En plus d'obtenir plus de données de formation, les chercheurs cherchent également à améliorer les performances de leur modèle avec plus de variables, dont certaines décrivent la structure du site Web, s'il contient des informations de contact et ses modèles de publication et de suppression de contenu.

Ils en sont également aux premières étapes de la construction d'une plate-forme d'agrégation de nouvelles qui donne aux lecteurs des indices importants sur la fiabilité de chaque histoire et source partagée.

Malgré le travail qui reste à faire, Nakov pense qu'une telle technologie peut aider à résoudre l'épidémie de fausses nouvelles assez rapidement si des plateformes comme Facebook et Twitter déploient sérieusement leurs efforts. C'est comme lutter contre le spam, a-t-il écrit dans un message Skype. Nous n'arrêterons jamais complètement les fausses nouvelles, mais nous pouvons les contrôler.

cacher