Comment le système d'IA révolutionnaire de Reuters rassemble les actualités mondiales

L'avènement d'Internet et l'explosion de l'information qui en a résulté ont rendu de plus en plus difficile pour les journalistes de produire des informations avec précision et rapidité. Ainsi commence l'équipe de recherche et développement de l'agence de presse mondiale Reuters dans un article sur l'arXiv cette semaine.

Pour Reuters, le problème a été aggravé par l'émergence de fausses nouvelles en tant que facteur important de distorsion de la perception des événements.

Néanmoins, des agences de presse telles que l'Associated Press ont avancé avec des services automatisés de rédaction de nouvelles. Ceux-ci rapportent des annonces standards telles que des nouvelles financières et certains résultats sportifs en collant les données dans des modèles pré-écrits : X a déclaré un bénéfice de Y millions au T3, dans des résultats supérieurs aux prévisions de Wall Street...

Il y a donc une pression importante sur les autres agences de presse pour automatiser la production de nouvelles. Et aujourd'hui, Reuters décrit comment il a presque entièrement automatisé l'identification des dernières nouvelles. Xiaomo Liu et ses amis de Reuters Research and Development et d'Alibaba affirment que le nouveau système fonctionne bien. En effet, il a le potentiel de révolutionner le secteur de l'information. Mais cela soulève également des inquiétudes quant à la façon dont un tel système pourrait être manipulé par des acteurs malveillants.

Le nouveau système s'appelle Reuters Tracer. Il utilise Twitter comme une sorte de capteur global qui enregistre les événements d'actualité au fur et à mesure qu'ils se produisent. Le système utilise ensuite divers types d'exploration de données et d'apprentissage automatique pour sélectionner les événements les plus pertinents, déterminer leur sujet, classer leur priorité et rédiger un titre et un résumé. Les informations sont ensuite diffusées sur le fil d'information mondial de l'entreprise.

La première étape du processus consiste à siphonner le flux de données Twitter. Tracer examine environ 12 millions de tweets par jour, soit 2 % du total. La moitié d'entre eux sont échantillonnés au hasard; l'autre moitié provient d'une liste de comptes Twitter organisée par les journalistes humains de Reuters. Ils incluent les comptes rendus d'autres organes de presse, d'entreprises importantes, de personnes influentes, etc.

L'étape suivante consiste à déterminer quand un événement d'actualité s'est produit. Tracer le fait en supposant qu'un événement s'est produit si plusieurs personnes commencent à en parler en même temps. Il utilise donc un algorithme de clustering pour trouver ces conversations.

Bien sûr, ces clusters incluent le spam, les publicités, les discussions ordinaires, etc. Seuls certains d'entre eux font référence à des événements dignes d'intérêt.

La prochaine étape consiste donc à classer et hiérarchiser les événements. Tracer utilise un certain nombre d'algorithmes pour ce faire. Le premier identifie le sujet de la conversation. Il compare ensuite cela avec une base de données de sujets que l'équipe de Reuters a recueillie à partir de tweets produits par 31 comptes d'actualités officiels, tels que @CNN, @BBCBreaking et @nytimes ainsi que des agrégateurs d'actualités comme @BreakingNews.

À ce stade, l'algorithme détermine également le lieu de l'événement à l'aide d'une base de données de villes et de mots-clés basés sur la localisation.

Une fois qu'une conversation ou une rumeur est potentiellement identifiée comme une nouvelle, une considération importante est sa véracité. Pour le déterminer, Tracer recherche la source en identifiant le premier tweet de la conversation qui mentionne le sujet et les sites vers lesquels il pointe. Il consulte ensuite une base de données répertoriant les producteurs connus de fausses nouvelles, comme le National Report, ou des sites d'information satiriques comme The Onion.

Enfin, le système rédige un titre et un résumé et distribue les nouvelles dans toute l'organisation Reuters.

Lors des essais, selon l'équipe de Reuters, le système a bien fonctionné. Tracer est capable d'atteindre une précision, un rappel, une actualité et une véracité compétitifs en matière de détection et de diffusion des informations, disent-ils.

Et ils ont des statistiques pour étayer cela. Le système traite 12 millions de tweets chaque jour, en rejetant près de 80 % d'entre eux comme du bruit. Les autres appartiennent à environ 6 000 groupes que le système classe comme différents types d'événements d'actualité. Tout cela est fait par 13 serveurs exécutant 10 algorithmes différents.

En comparaison, Reuters emploie quelque 2 500 journalistes dans le monde qui, ensemble, génèrent environ 3 000 alertes d'actualités chaque jour, en utilisant diverses sources, dont Twitter. Parmi ceux-ci, environ 250 sont rédigés sous forme de reportages.

Reuters a comparé les histoires que Tracer identifie avec celles qui apparaissent dans les flux d'actualités d'organisations comme la BBC et CNN. Les résultats indiquent que Tracer peut couvrir environ 70 % des actualités avec 2 % des données Twitter, selon Lui et co.

Et le système fonctionne certainement rapidement. L'équipe cite l'exemple de la fusillade de Las Vegas en octobre 2017, qui a fait 58 morts. Un témoin a signalé l'incident à 1 h 22, ce qui a déclenché un cluster Tracer. Cependant, le cluster n'a pas répondu aux critères du système pour qu'un événement soit inclus dans le fil d'actualité avant 1 h 39. Reuters a signalé l'incident à 1 h 49, disent Lui et co.

C'est un travail intéressant qui soulève un certain nombre de questions, notamment sur la facilité de manipulation du système. Il n'est pas difficile d'imaginer des acteurs malveillants concevant des flux Twitter avec l'intention spécifique de tromper Tracer.

Mais il est difficile de dire si ce système sera plus facile à jouer que le système actuel, dans lequel les humains sont régulièrement trompés.

Ensuite, il y a le rôle des humains dans le secteur de l'information. L'avenir des nouvelles est clairement celui d'une automatisation croissante. La façon dont les humains s'intègrent est encore à déterminer.

Réf : arxiv.org/abs/1711.04068  : Reuters Tracer : vers une production automatisée d'actualités à l'aide de données de médias sociaux à grande échelle

cacher