211service.com
Un supercalculateur digère Twitter en temps réel
Déterminer les utilisateurs les plus influents de Twitter n'est probablement pas ce que les créateurs du Cray XMT supercalculateur avait en tête lorsqu'ils ont conçu leur machine. Mais lorsque vous emballez autant de chaleur de calcul, vous allez là où se trouvent les problèmes difficiles. Twitter, Facebook et le reste du Web social sont devenus l'équivalent moderne du refroidisseur d'eau, bien qu'avec un transcripteur automatique présent. Et le traitement de toutes les données générées par la conversation s'avère être un problème très difficile.
Supercalculateur Cray XMT avec l'aimable autorisation Cray
Par exemple, en février 2010, Facebook comptait 400 millions d'utilisateurs actifs avec une moyenne de 120 connexions d'amis chacun, qui ont tous partagé collectivement 5 milliards d'informations en un seul mois.
Déterminer qui sont les influenceurs dans un réseau social aussi massif nécessite de créer un gigantesque graphe social, où chaque utilisateur est un sommet et les connexions entre eux sont des lignes. Le classement des utilisateurs au sein d'un tel graphique nécessite une détermination de leur centralité. C'est-à-dire combien d'autres personnes y sont connectées, et combien de personnes y sont connectées, et ainsi de suite, jusqu'à ce que vous arriviez au tronc de l'arborescence sous-jacente à la connectivité sur un service comme Twitter.
Il s'avère que ce n'est pas le genre de problème qui est facilement traité, même par les stations de travail habituelles du monde des supercalculateurs scientifiques - les supercalculateurs alimentés par GPGPU qui exploitent les puces graphiques habituellement utilisées pour restituer des environnements 3D luxuriants dans les jeux vidéo. Ces postes de travail GPGPU ne permettent tout simplement pas de contrôler suffisamment le nombre de processus exécutés en parallèle pour parcourir efficacement des graphiques sociaux aussi gros que celui représenté par Twitter ou Facebook.
C'est pourquoi David Ediger de Georgia Tech, avec l'aide d'une longue liste de collaborateurs , s'est tourné vers le Cray XMT à 128 processeurs hébergé au Pacific Northwest National Laboratory. Le XMT est un favori des hot-rodders et des uber-geeks de superinformatique qui apprécient sa capacité de réglage à grain fin et massivement multithread. Cette machine est généralement mise en service pour résoudre des problèmes tels que la modélisation bayésienne hiérarchique pour l'analyse de texte ou analyser la stabilité du réseau électrique américain , mais Ediger l'a fait réfléchir à chaque pensée égarée d'une seule journée de la Lance d'incendie Twitter .
Le Cray n'a fait qu'une bouchée de Twitter, se débarrassant d'une journée entière de connexions en moins d'une heure. Les résultats ne surprendront personne - sur Twitter, une infime fraction des sources sont largement retweetées, principalement le gouvernement et les médias, tandis que le reste du service est soit des personnes qui parlent en petits groupes, soit qui se parlent littéralement à elles-mêmes.
Le fait, cependant, est que lancer un Cray finement réglé exécutant le logiciel personnalisé d'Ediger - GraphCT - sur Twitter a permis aux chercheurs de digérer le service en quelque sorte en temps réel. C'est exactement le genre de capacité que les agences de renseignement, les spécialistes du marketing et peut-être même Twitter lui-même pourraient vouloir avoir.
