Mettre le Web dans un tableur

De grandes quantités de données sont disponibles gratuitement sur le Web et peuvent constituer un trésor potentiel pour de nombreuses entreprises, à condition qu'elles sachent comment les utiliser efficacement.

Trier et filtrer : BigSheets permet aux utilisateurs d'analyser des données non structurées du Web à l'aide d'outils similaires à ceux que l'on trouve dans les tableurs de bureau.

Une entreprise peut, par exemple, passer au peigne fin les données de l'Office américain des brevets et des marques et des dossiers judiciaires avant d'acquérir une autre entreprise pour voir si une partie de sa propriété intellectuelle est liée à une action en justice. Dans la pratique, cependant, passer en revue tant d'informations demande du temps et des efforts pour orchestrer.

IBM espère qu'un nouvel outil, appelé Grandes Feuilles , aidera les utilisateurs à analyser plus facilement les données Web. La société a développé une version test du logiciel pour la British Library.

La capacité de n'importe quel utilisateur à effectuer ses propres types d'analyses intéressantes est en train de devenir majeure, déclare Rod Smith, vice-président des technologies Internet émergentes pour IBM.

BigSheets est construit sur un autre logiciel appelé Hadoop. Il s'agit d'une plate-forme open source permettant de traiter de très grandes quantités de données Web en divisant les tâches et en les transférant à un cluster d'ordinateurs différents. Hadoop est souvent utilisé pour analyser de grandes quantités de données Web non structurées.

BigSheets utilise Hadoop pour parcourir les pages Web, les analysant pour en extraire les termes clés et autres données utiles. BigSheets organise ces informations dans une très grande feuille de calcul, où les utilisateurs peuvent les analyser à l'aide du type d'outils et de macros trouvés dans les tableurs de bureau. Contrairement aux tableurs ordinaires, cependant, il n'y a pas de limite à la taille d'une feuille de calcul créée via BigSheets.

Pour utiliser BigSheets, un utilisateur pointerait l'outil vers un ensemble d'URL ou un référentiel de données. Des listes de termes peuvent être utilisées pour organiser les données en lignes et en tableaux, et celles-ci peuvent être ajustées ultérieurement.

Smith dit qu'IBM a choisi la feuille de calcul comme modèle d'organisation des données car la plupart des utilisateurs sont déjà familiarisés avec ce type de logiciel. Si les utilisateurs souhaitent représenter les données de manière plus complexe, l'outil fonctionnera avec un outil de visualisation IBM appelé Beaucoup d'yeux , ainsi que d'autres logiciels de visualisation.

Equipe tag: Les outils de visualisation peuvent être utilisés avec BigSheets pour trouver des modèles dans les données non structurées.

BigSheets a un niveau d'intégration que je n'ai pas vu, dit je suis Lorica , analyste senior au sein du groupe de recherche de la société d'édition technique O'Reilly Media. Traditionnellement, dit Lorica, les entreprises ont divisé les fonctions exécutées par BigSheets en trois tâches distinctes : l'exploration Web, l'analyse des données et les visualisations. Comme BigSheets est construit sur Hadoop, qui est fondamentalement conçu pour fonctionner sur d'énormes quantités de données, dit Lorica, l'évolutivité n'est pas un problème pour BigSheets.

Il prévient, cependant, que BigSheets est à un stade précoce et doit être testé avec d'autres données. Étant donné que la technologie est développée en collaboration avec des partenaires particuliers d'IBM, on ne sait pas à quel point il serait facile pour une entreprise de commencer à l'utiliser, dit-il. La mise en place d'un cluster Hadoop peut être une tâche exigeante, dit-il, et si BigSheets n'est pas bien emballé, les entreprises peuvent avoir besoin d'une armée de consultants pour préparer la voie à l'outil.

Le premier test pour BigSheets a eu lieu à la British Library, qui travaille depuis 2004 pour créer une archive des quelque huit millions de sites Web britanniques. À intervalles réguliers, la bibliothèque prend des instantanés de pages Web, les convertit en un format de fichier d'archive et les stocke. Mais rechercher et analyser ces données est un autre défi, et c'est là que BigSheets est intervenu.

En moins de huit heures, explique Smith, son équipe a récupéré 4,5 téraoctets de fichiers d'archives et les a traités à l'aide d'un cluster Hadoop de quatre machines. Avec les conseils des chercheurs de la British Library, l'équipe a utilisé BigSheets pour extraire des mots-clés, des informations sur l'auteur et d'autres métadonnées de ces pages Web non structurées. Ils ont expérimenté l'analyse de la fréquence des termes et ont exécuté des nuages ​​de tags et d'autres visualisations.

Les chercheurs de la British Library ont pu ajuster les types de métadonnées qui les intéressaient au cours de la première journée, en se concentrant davantage sur les auteurs des pages qu'ils ne l'avaient prévu à l'origine. Les visualisations ont fourni de nouvelles informations. Par exemple, à l'aide d'un nuage de tags, les chercheurs ont découvert que le nom d'une personnalité politique et écrivain britannique Alastair Campbell était souvent mal orthographié comme Alistair, faisant apparaître un grand nombre de documents pertinents qui auraient facilement pu être négligés.

Eytan Adar , professeur adjoint d'information et d'informatique à l'Université du Michigan, qui étudie les systèmes à l'échelle d'Internet, l'exploration de texte et la visualisation, affirme que l'outil pourrait avoir un impact important. Bien que le contenu de la British Library semble limité à quelques instantanés pour chaque page, cela se traduit toujours par une tonne de données, et le simple vidage des résultats de recherche en réponse à une requête n'est pas utile, dit Adar.

Adar a conçu son propre outil, appelé zootrope , pour analyser l'évolution des pages Web au fil du temps. BigSheets apporte de nouvelles informations, dit-il, en comparant les données de nombreuses pages différentes ainsi qu'au fil du temps. Adar dit que des visualisations efficaces sont cruciales pour permettre aux utilisateurs de comprendre rapidement de grandes collections de données.

Après d'autres tests, IBM espère incorporer BigSheets dans ses services et produits existants.

cacher