Les puces graphiques aident à traiter des ensembles de données volumineuses en quelques millisecondes

Un nouveau logiciel peut utiliser les processeurs graphiques trouvés sur les ordinateurs de tous les jours pour traiter des torrents de données plus rapidement qu'il n'est normalement possible, ouvrant de nouvelles façons d'explorer visuellement tout, des publications Twitter aux dons politiques.

Faiseur de pluie : La nouvelle technologie de visualisation raconte en quelques millisecondes seulement pour transformer des dizaines ou des centaines de millions de points de données en cartes et animations comme cet exemple montrant la fréquence du mot pluie dans les tweets à travers le pays.

Connu comme CarteD , ou base de données massivement parallèle, la nouvelle technologie permet d'obtenir des gains de vitesse importants en stockant les données dans la mémoire embarquée des unités de traitement graphique (GPU) plutôt que dans des unités centrales de traitement (CPU), comme cela est conventionnel. L'utilisation d'une seule carte GPU hautes performances peut accélérer le traitement des données jusqu'à 70 fois.

À l'heure actuelle, la technologie prototype est en cours de démonstration sur des tweets ; il peut montrer comment un mème se propage en temps réel sur des cartes régionales ou mondiales (regardez Visualizing Big Data in Milliseconds on Cheap Computers ). De nombreuses visualisations Twitter à grande échelle, y compris des cartes et des graphiques animés, prennent plusieurs secondes ou plus pour traiter les données avant de pouvoir être affichées. Avec MapD, un utilisateur peut ajuster les termes de recherche et d'autres paramètres, comme la période ou la région géographique, et voir instantanément une nouvelle visualisation, sans avoir à attendre que chaque nouvelle carte et animation soit calculée et chargée.

Cette interface publique peut être utilisé pour visualiser 50 millions de tweets géocodés publiés entre le 28 septembre et le 6 octobre. L'outil permet aux utilisateurs d'explorer différents termes de recherche, d'examiner les grandes tendances géographiques et de zoomer sur chaque tweet. Pour chacune des 30 images par seconde qu'il génère lors de l'animation de Twitter, Map-D analyse tous les tweets qui ont été chargés sur les GPU, en construisant des visualisations telles que des cartes de l'utilisation des mots, qui peuvent inclure des mentions d'un nom de produit ou d'une nouvelle. — se propage dans une région ou dans le monde en temps réel.

Les [visualisations Twitter existantes] que nous connaissons sont « conservées » – basées sur un calcul précédent d'une carte ou d'une image, plutôt que d'être vraiment interactives, dit Samuel Madden , professeur d'informatique au MIT. Nous avons construit un nouveau type de système de base de données. Il répondra et mappera également chaque demande en parcourant chaque tweet de la base de données, ce qui peut être fait en quelques millisecondes. Le système peut suivre le rythme même si la base de données contient des centaines de millions de tweets.

La technologie a été imaginée l'année dernière par Todd Mostak, alors étudiant diplômé de Harvard en études du Moyen-Orient, qui était frustré par la lenteur du traitement qu'il a rencontré alors qu'il tentait d'analyser des ensembles de données de médias sociaux en provenance d'Égypte et d'ailleurs au Moyen-Orient. En créant un outil pour explorer des ensembles de données comme celui-ci de manière vraiment interactive, avec des latences mesurées en millisecondes plutôt qu'en secondes ou minutes, nous espérons supprimer un goulot d'étranglement de calcul du processus de formulation, de test et de raffinement des hypothèses, dit Mostak.

La technologie pourrait permettre de glaner plus facilement des informations à partir de l'énorme corpus d'informations de Twitter. La combinaison des données du recensement avec des tweets, par exemple, pourrait montrer comment la mention du mot McDonald's dans les tweets géolocalisés est liée à des variables telles que le revenu ou les niveaux de chômage.

Un adopteur précoce sera le Fondation Sunlight , qui favorise l'ouverture dans le financement des campagnes. Cette organisation fournit à MapD 22 ans de données de dons de campagnes fédérales et étatiques américaines, ce qui fournira des moyens de varier rapidement les visualisations qui répartissent plus de 20 millions de dons en fonction du donateur, de la région, du responsable élu et d'autres paramètres. Chaque nouveau type de requête générera une nouvelle visualisation en quelques millisecondes seulement.

En utilisant les méthodes existantes, le chargement d'une visualisation peut prendre quelques secondes, car il faut autant de temps pour interroger les informations dans une base de données. Un accès plus rapide permet aux chercheurs de tester des hypothèses et d'affiner les visualisations plus rapidement. Cela pourrait rendre les grands ensembles de données plus utiles. De nombreux ordinateurs portables contiennent même des GPU assez puissants, suffisamment rapides pour accélérer considérablement l'exploration interactive d'ensembles de données de taille modérée, disons, 20 millions de tweets, selon Mostak.

La technologie de MapD promet de rendre possibles de nouveaux types de requêtes en temps réel, déclare Bob Lannon, développeur chez Laboratoires de lumière du soleil , qui développe des outils d'analyse de données pour la Sunlight Foundation. Bientôt, vous pourrez explorer rapidement de grandes quantités de données et les pivoter, les filtrer et les résumer d'une manière qui n'était pas disponible auparavant. Nous sommes ravis de voir ce que cela pourrait signifier pour nos utilisateurs.

Nvidia, l'un des principaux fabricants de GPU, prévoit de démontrer MapD sur plus d'un milliard de tweets en utilisant huit GPU lors d'une prochaine conférence. Les chercheurs prévoient également de faire une démonstration conjointe avec Gnip, le principal revendeur de données de médias sociaux provenant de sources telles que Twitter, Foursquare et Facebook. Elaine Ellis, porte-parole de Gnip, a déclaré que la société n'était pas prête à parler de la collaboration.

Twitter a récemment signalé qu'il comptait 215 millions d'utilisateurs actifs mensuels diffusant plus de 400 millions de tweets par jour. Parmi ceux-ci, environ sept millions de tweets contiennent des balises de géolocalisation GPS, généralement à partir d'appareils mobiles. Être capable de visualiser des flux massifs de données de réseaux sociaux et de téléphones portables géographiquement identifiables en temps réel pourrait avoir des implications puissantes pour l'épidémiologie et la réponse aux catastrophes (voir Big Data from Cheap Phones ).

Au-delà de l'utilisation de puces graphiques, Madden et Mostak travaillent avec des chercheurs d'Intel pour permettre à MapD de tirer parti des nouveaux processeurs massivement parallèles ainsi que les processeurs X86 ordinaires qui alimentent la plupart des ordinateurs.

cacher