Les 70 bases de données en ligne qui définissent notre planète

En avril dernier, nous avons examiné un plan européen ambitieux pour simuler la planète entière . L'idée est d'exploiter les énormes quantités de données générées par les marchés financiers, les dossiers de santé, les médias sociaux et la surveillance du climat pour modéliser le climat, les sociétés et l'économie de la planète. La vision est qu'un système comme celui-ci peut aider à comprendre et à prévoir les crises avant qu'elles ne surviennent afin que les gouvernements puissent prendre les mesures appropriées à l'avance.

Il y a de nombreux défis ici. Personne n'a encore la puissance de calcul nécessaire pour une telle tâche, et il n'y a pas non plus de modèles capables de modéliser avec précision même des systèmes beaucoup plus petits. Mais avant que tout cela ne soit possible, les chercheurs doivent rassembler les données économiques, sociales et technologiques nécessaires pour alimenter cette machine.

Aujourd'hui, Dirk Helbing et Stefano Balietti à l'Ecole polytechnique fédérale de Zurich nous font un grand tour de ce défi. Helbing est le moteur de ce projet et l'homme qui le dirigera s'il obtient le milliard d'euros dont il a besoin de la Commission européenne.

Il s'avère qu'il existe déjà de nombreuses sources de données qui pourraient fournir le carburant nécessaire pour alimenter le Earth Simulator de Helbing. Dans le passé, la collecte de données sur l'activité humaine a été largement entravée par des problèmes financiers, technologiques et éthiques, disent Helbing et Balietti. Ce n'est plus le cas.

Alors que de bonnes données issues d'expériences en sciences sociales étaient difficiles à obtenir dans le passé, les chercheurs en sont actuellement submergés grâce à une nouvelle génération d'expériences en laboratoire, d'expériences Web et de l'étude de jeux en ligne multijoueurs massifs.

Ces activités et d'autres produisent maintenant d'énormes quantités de données, dont beaucoup sont disponibles gratuitement sur le Web.

Bien sûr, l'un des dangers d'une telle approche est que tout problème éthique est susceptible d'être submergé par ce raz-de-marée de chiffres. Cela doit être résolu de toute urgence. Alors que Helbing et ses collègues écrivent de manière convaincante sur les avantages potentiels d'un Earth Simulator, il est difficile de croire qu'ils ont accordé la même attention aux risques potentiels.

Donc, dans l'intérêt de stimuler ce débat, je reproduis ici la liste des sites Web de Helbing qui sont des sources potentielles de données pour un Earth Simulator. Cela rend la lecture fascinante, voire énervante :

Internet et instantanés historiques
Internet Archive / Machine Wayback
L'Internet Archive offre un accès permanent aux chercheurs, historiens, universitaires, personnes handicapées et au grand public aux collections historiques qui existent en format numérique. Fondée en 1996, Internet Archive comprend désormais des textes, du son, des images animées et des logiciels ainsi que des archives

Wikipédia
Wikipédia est la plus célèbre encyclopédie éditée en collaboration. Étant donné que chaque modification est stockée, l'historique des pages Web peut offrir un aperçu détaillé par sujet des références les plus importantes du passé.

Les centres de connaissances
Une collection de liens vers d'autres ressources pour trouver des pages Web telles qu'elles existaient dans le passé.

Quand il y a
Whenago fournit un accès rapide aux informations historiques sur ce qui s'est passé dans le passé un jour donné.

Bibliothèque numérique mondiale
La Bibliothèque numérique mondiale (BDM) met à disposition sur Internet, gratuitement et dans un format multilingue, des documents primaires importants provenant de pays et de cultures du monde entier.

Moteurs de recherche d'informations
Base libre
Freebase est un référentiel ouvert sous licence Creative Commons de données structurées de plus de 12 millions d'entités. Il fournit des outils collaboratifs pour relier les entités entre elles et les tenir à jour.

Moteur de connaissances informatiques Wolfram Alpha
Une tentative de calculer tout ce qui peut être calculé sur n'importe quoi. Il vise à fournir une source unique sur laquelle tout le monde peut compter pour des réponses définitives aux questions factuelles.

Exploration de texte sur le Web
tendances Google
Google Trends affiche des statistiques visuelles sur la fréquence à laquelle les mots clés ont été recherchés sur Google au fil du temps. Google Trends montre également à quelle fréquence les sujets sont apparus dans les articles de Google Actualités et dans quelles régions géographiques les gens les ont le plus recherchés.

Google Tendances de la grippe
Google Flu Trends utilise des données de recherche Google agrégées pour estimer l'activité grippale. Données disponibles en téléchargement également.

L'Observatoire
Le projet Observatorium se concentre sur la dynamique des réseaux complexes dans Internet, en proposant de suivre son évolution en temps réel, avec l'objectif général de mieux comprendre les processus de génération de connaissances et la dynamique d'opinion.

Nous nous sentons bien
Une base de données de plusieurs millions de sentiments humains, récoltés à partir de blogs et de pages sociales du Web. À l'aide d'une série d'interfaces ludiques, les sentiments peuvent être recherchés et triés sur un certain nombre de tranches démographiques. API Web disponible également.

CyberEmotions
Le projet CyberEmotions se concentre sur le rôle des émotions collectives dans la création, la formation et l'éclatement des ecommunautés. Il met à disposition au téléchargement trois ensembles de données contenant des nouvelles et des commentaires du forum BBC News, Digg et MySpace, uniquement pour la recherche universitaire et uniquement après la soumission d'un formulaire de candidature.

Partage de données sociales
Données liées
Les données liées consistent à utiliser le Web pour connecter des données liées qui n'étaient pas liées auparavant, ou à utiliser le Web pour réduire les obstacles à la liaison de données actuellement liées à l'aide d'autres méthodes.

Projet de réseau Dataverse
Le réseau Dataverse est une application pour publier, partager, référencer, extraire et analyser des données de recherche. Il facilite la mise à disposition des données à d'autres et permet de reproduire le travail d'autres personnes. Les chercheurs et les auteurs de données obtiennent un crédit, les éditeurs et les distributeurs obtiennent un crédit, les institutions affiliées obtiennent un crédit.

Data360
Data360 est un site Web open source, collaboratif et gratuit. Le site héberge une base de données commune et partagée, que toute personne ou organisation, engagée dans la neutralité et l'impartialité (c'est-à-dire laisser parler les données), peut utiliser pour des présentations et des visualisations.

Pivot
Swivel est un site Web où les gens partagent des rapports de graphiques et de chiffres. Il est gratuit pour les données publiques et facture un abonnement mensuel aux personnes qui souhaitent l'utiliser en privé.

Beaucoup d'yeux
Une initiative d'IBM qui permet aux utilisateurs de télécharger leurs ensembles de données et d'utiliser une collection d'outils pour en obtenir des visualisations significatives. Chaque visualisation est publiquement stockée sur une page dédiée, où les utilisateurs peuvent la commenter, la noter et la taguer. La réutilisation des données est possible et encouragée.

Données de conflit
Données CSCW sur les conflits armés
Le CSCW et le programme de données sur les conflits d'Uppsala (UCDP) du Département de recherche sur la paix et les conflits de l'Université d'Uppsala ont collaboré à la production d'un ensemble de données sur les conflits armés, tant internes qu'externes, de 1946 à nos jours. Actuellement, probablement le référentiel de données le plus complet disponible, en particulier pour les données historiques.

Vues de guerre
L'objectif du projet WarViews est de créer un front-end facile à utiliser pour l'exploration de données SIG sur les conflits. Il peut être exécuté sur un navigateur Web ou affiché à l'aide de Google Earth.

Les éléments suivants sont des ensembles de données spécifiques à la guerre civile avec des informations empiriques supplémentaires :
Ensemble de données sur l'emplacement des groupes ethniques
Ensemble de données sur les équilibres ethniques des pouvoirs
Collection d'ensembles de données et de livres de codes mis à jour du programme de données sur les conflits d'Uppsala (UCDP) .

ACLED
Partiellement contenu dans l'ensemble de données PRIO, ACLED (Armed Conflict Location and Events Dataset) est conçu pour l'analyse désagrégée des conflits et la cartographie des crises. Cet ensemble de données code l'emplacement de tous les événements de conflit signalés dans 50 pays du monde en développement. Les données sont actuellement codées de 1997 à 2009 et le projet continue d'antidater les informations sur les conflits pour les États africains à l'année de l'indépendance.

CERAC
Le Conflict Analysis Resource Center héberge plusieurs ensembles de données sur les conflits transnationaux et quelques ensembles de données de pays particuliers. Les référentiels contiennent également des ensembles de données sur l'instabilité politique et les conflits.

Les archives de données de séries chronologiques transnationales
Le Cross-National Time-Series Data Archive fournit des données annuelles pour une gamme de pays de 1815 à nos jours. Fréquemment cité, il s'agit de l'un des principaux ensembles de données sur la violence politique, selon Robert Bates de l'Université Harvard. Il s'agit probablement de l'ensemble de données d'événements le plus utilisé selon Henrik Urdal, International Peace Research Institute, Oslo (PRIO).

Référentiels spécifiques au pays : Irak , Afghanistan
Collecte d'ensembles de données d'actes terroristes .

Données en économie et finance
Bloomberg
Fournisseur international de données en temps réel pour les décideurs de la finance, des affaires et du gouvernement.

Données Maddison
Statistiques historiques sur le PIB et les données démographiques.

Statistiques de la CNUCED
Le Manuel de statistique de la CNUCED en ligne fournit des séries chronologiques de données économiques et d'indicateurs de développement, remontant dans certains cas jusqu'à 1950; la base de données en ligne des statistiques des prix des produits de base ; le CNUCED-TRAINS sur Internet (Système d'analyse et d'information sur le commerce) pour les mesures de contrôle du commerce ainsi que les flux d'importation par origine pour plus de 130 pays ; la base de données des investissements directs étrangers (IDE).

Portail des statistiques de l'OCDE
Grande collection d'ensembles de données couvrant l'économie, la démographie. Les extractions sont disponibles gratuitement, l'accès complet nécessite un abonnement.

EUROSTAT
Statistiques détaillées sur l'UE et les pays candidats, et diverses publications statistiques en vente.

Où est Georges ?
Système de suivi spatial pour les dollars américains et canadiens.

Traqueur d'eurobills
Système de suivi spatial des billets en euros.

Données de collaboration scientifique
ISI Web de la connaissance
Source complète d'information dans les sciences, les sciences sociales, les arts et les sciences humaines. Il englobe plusieurs ensembles de données, parmi lesquels les suivants sont peut-être les plus remarquables :
Rapports de citations de revues. Il permet d'évaluer et de comparer des revues à l'aide de données de citation tirées de plus de 7 500 revues savantes et techniques ;
Web de la Science. Il se compose de sept bases de données contenant des informations recueillies à partir de milliers de revues savantes, de livres, de séries de livres, de rapports, de conférences, etc.

Google Scholar
Google Scholar est un moteur de recherche spécialisé dans la littérature savante. Il indexe différentes sources (articles, livres, résumé, thèse, etc.) de plusieurs disciplines et les trie selon le nombre de citations, l'auteur et le facteur d'impact de la revue.

Scholaromètre
Scholarometer est un outil social pour faciliter l'analyse des citations et aider à évaluer l'impact des publications d'un auteur. Il fonctionne comme un plug-in logiciel pour le navigateur Firefox.

Scopus
Scopus est une très grande base de données de résumés et de citations de la littérature de recherche. Il est disponible uniquement pour les utilisateurs enregistrés.

Sciences vivantes
Living Science est un observatoire scientifique mondial en temps réel basé sur les publications soumises à arXiv.org. Il couvre les soumissions en temps réel (quotidiennes) de publications dans des domaines aussi divers que la physique, l'astronomie, l'informatique, les mathématiques et la biologie quantitative. Actuellement, les contenus sont mis à jour dynamiquement chaque jour. Living Science est un outil d'analyse puissant pour identifier l'ampleur et l'impact des travaux scientifiques dans le monde.

Sciences sociales
ICPSR de l'Université du Michigan
L'ICPSR propose plus de 500 000 fichiers numériques contenant des données de recherche en sciences sociales. Les disciplines représentées comprennent les sciences politiques, la sociologie, la démographie, l'économie, l'histoire, la gérontologie, la justice pénale, la santé publique, la politique étrangère, le terrorisme, la santé et les soins médicaux, l'éducation préscolaire, l'éducation, les minorités raciales et ethniques, la psychologie, le droit, la toxicomanie et les troubles mentaux. santé, et plus encore.

Centre de données britannique de l'Université d'Essex
La plus grande collection de données de recherche numérique du Royaume-Uni en sciences sociales et humaines.

Archive de données UC de Berkeley
Les fonds de données d'UC DATA sont principalement dans les domaines des sciences politiques, sociales et de la santé.

Le Service des données économiques et sociales (ESDS)
Le service de données économiques et sociales (ESDS) est un service national de données fournissant un accès et un soutien à une vaste gamme de données économiques et sociales clés, à la fois quantitatives et qualitatives, couvrant de nombreuses disciplines et thèmes. Il contient une carte d'ensembles de données supplémentaires de plusieurs pays européens.

CESSDA
Larges collections de données, notamment des enquêtes sociologiques, des études électorales, des études longitudinales, des sondages d'opinion et des données de recensement. Parmi les matériaux figurent des données internationales et européennes telles que l'Enquête sociale européenne, les Eurobaromètres et le Programme d'enquête sociale internationale.

Données Gapminder
Gapminder est une technologie et une application Web populaires pour la visualisation croisée des tendances dans les séries chronologiques de données. Il ouvre également une archive de plusieurs ensembles de données sur divers indicateurs socio-économiques.

Enquête sur la valeur mondiale
La World Value Survey fournit des données sur les valeurs et les changements culturels dans les sociétés du monde entier.

Données urbaines
Base de données de l'Observatoire urbain mondial
L'Observatoire urbain mondial (GUO) propose des indicateurs urbains axés sur les politiques, des statistiques et d'autres informations urbaines.

Observatoire Urbain
Ensembles de données basés aux États-Unis sur la richesse, l'innovation et la criminalité dans les villes.

Données de trafic
le permis de conduire
Le programme Next Generation Simulation (NGSIM) a été lancé par le Département des transports des États-Unis (US DOT). Le programme a développé un noyau d'algorithmes comportementaux ouverts à l'appui de la simulation du trafic et a collecté des données primaires de traçage et de trajectoire de haute qualité destinées à soutenir la recherche et les tests des nouveaux algorithmes.

Office fédéral des routes OFROU
L'Office fédéral des routes offre un aperçu complet des flux de trafic en Suisse. Les données sont collectées par des stations permanentes de comptage automatique du trafic et complétées par un contrôle manuel régulier depuis 1961.

Données de trafic
L'objectif du projet International Traffic Database (ITDb) est de fournir des données de trafic à divers groupes (chercheurs, praticiens, entités publiques) dans un format adapté à leurs besoins particuliers, allant des données de mesure brutes à l'analyse statistique. ITDb promeut un format de fourniture de données de trafic flexible basé sur les besoins des utilisateurs et les habitudes standard.

Centre d'échange pour les données de transport
Le Centre d'échange de données sur les transports du Centre aérospatial allemand est le premier point de contact pour un aperçu rapide des données disponibles. Il s'adresse à la fois aux organisations qui collectent des données relatives aux transports et à celles qui souhaitent utiliser les résultats de ces recherches. Les informations proposées comprennent la préparation de métadonnées détaillées sur les ensembles de données, ainsi que des notes sur les utilisations et les sources possibles.

De plus, le Regiolab Delft
L'initiative regiolab-delft a débuté juste après 2000 en tant que projet conjoint mené par TU Delft en association avec la municipalité de Delft, l'école de recherche TRAIL, la province de Hollande-Méridionale, le ministère des Transports et plusieurs partenaires industriels. L'ensemble de données archivé se compose de plus de 6 ans de données de vitesse moyenne et de débit agrégé d'une minute provenant de boucles inductives densément espacées sur le réseau autoroutier de la province de Hollande-Méridionale et d'autres données provenant de contrôleurs d'intersection, de caméras de détection de plaques d'immatriculation et bien plus encore.

RITA
La Research and Innovative Technology Administration (RITA) du Département des transports des États-Unis propose plusieurs ensembles de données sur les statistiques de trafic maritime, de fret, de transport aérien, de passagers, etc.

ETH Travel Data Archive (ETHTDA)
L'ETH Travel Data Archive (ETHTDA) est une plate-forme virtuelle permettant aux utilisateurs finaux de parcourir les données de voyage archivées sur le Web et permettant une analyse statistique simple.

Archives de l'enquête sur les déplacements métropolitains
Le Metropolitan Travel Survey Archive pour stocker, préserver et mettre à la disposition du public, via Internet, les enquêtes sur les voyages menées par les zones métropolitaines, les États et les localités.

Infoblu
Infoblu est une société privée fournissant des services de surveillance du trafic en temps réel pour l'Italie. Tous les services sont disponibles moyennant des frais.

Cartes ouvertes
Google Maps
Service de cartes de renommée mondiale. Il propose plusieurs services supplémentaires tels que : Street View, le contenu téléchargé par les utilisateurs (photos, commentaires et notes) et des superpositions personnalisées via des API de service.

OpenStreetMap
OpenStreetMap (par UCL) est une carte modifiable gratuite du monde entier. OpenStreetMap vous permet de visualiser, d'éditer et d'utiliser des données géographiques de manière collaborative depuis n'importe où sur Terre.

Tracksource Brésil
Tracksource est un projet collaboratif visant à créer et distribuer gratuitement des cartes du Brésil.

Données logistiques
Enquête nationale sur les voyages des ménages
L'Enquête nationale sur les déplacements des ménages (NHTS) recueille des données sur les déplacements longue distance et locaux du public américain. L'enquête conjointe recueille des données relatives aux déplacements, telles que le mode de transport, la durée, la distance et le but du déplacement. Il recueille également des données démographiques, géographiques et économiques à des fins d'analyse. Il fait partie de RITA.

Enquête sur les flux de marchandises
La Commodity Flow Survey (CFS) est la principale source de données nationales et étatiques sur les expéditions de fret intérieur par les établissements américains des secteurs minier, manufacturier, de gros, des auxiliaires et de certains secteurs de la vente au détail. Des données sont fournies sur les types, les origines et les destinations, les valeurs, les poids, les modes de transport, la distance expédiée et les tonnes-milles de marchandises expédiées. Elle fait partie du RITA et est réalisée tous les cinq ans (dernier échantillonnage en 2007).

Données climatiques
Julich
Données climatiques du Julich Research Center.

Google.org
Google présente ses projets philanthropiques basés sur les données, parmi lesquels deux observatoires satellitaires environnementaux :
le Earth Engine : pour surveiller les tendances de la déforestation mondiale ;
la Crise Response : pour la surveillance de la marée noire de la plate-forme coulée Deep Horizon.

Mine de réalité
Exploitation de la réalité
Données comportementales collectées sur 100 téléphones mobiles sur 9 mois. Comprend à la fois des statistiques de proximité et d'utilisation du téléphone. Deux jeux de données anonymisés disponibles : mono-utilisateur (MySQL) et global (Matlab).

Autres initiatives de données ouvertes
Data.gov
Large collection d'ensembles de données publics américains disponibles pour la recherche.

Data.gov.uk
Large collection d'ensembles de données publics britanniques disponibles pour la recherche.

Creuser dans les données
Lancé par la National Science Foundation (NSF), il propose une collection de divers référentiels de données.

Blog de données Guardian
Initiative de journalisme de données qui publie des ensembles de données d'intérêt public (principalement pertinents pour le Royaume-Uni) ainsi que leur analyse. Quelques collaborations avec des artistes en visualisation de données sont également présentes.

Données publiques Google
Google propose plusieurs grands ensembles de données sur divers indicateurs socio-économiques mondiaux et fournit des outils pour une visualisation facile.

Réf : arxiv.org/abs/1012.0178 : Du Social Data Mining à la prévision des crises socio-économiques

cacher