211service.com
Se préparer au déluge de données
De Facebook au Department of Motor Vehicles, le monde est catalogué dans des bases de données. Personne ne le sait mieux que le professeur adjoint et entrepreneur du MIT Michael Briseur de pierres , qui a passé les 25 dernières années à développer la technologie qui l'a rendu possible. Il a obtenu sa grande chance en inventant et en commercialisant la technologie qui sous-tend la plupart des bases de données, appelées bases de données relationnelles, qui régissent aujourd'hui. Mais Stonebraker qualifie désormais volontiers ses inventions antérieures de largement obsolètes. Il travaille sur une nouvelle génération de technologie de base de données capable de gérer le flot de données numériques qui commence à submerger les méthodes établies.
Les bases de données relationnelles sont omniprésentes comme solution pour les données d'entreprise. Ils ont été fabuleusement réussis, dit Stonebraker. Mais il dit que les plus grands fournisseurs de bases de données, y compris Oracle, IBM et Microsoft, vendent toujours de tels produits comme étant appropriés pour toute entreprise. Stonebraker a un point de vue différent : que de nouvelles technologies de base de données sont nécessaires pour gérer les augmentations exponentielles des informations que les entreprises doivent gérer. Stonebraker, 67 ans, connaît déjà le succès avec plusieurs de ses nouvelles approches.
L'un est un système de base de données appelé C-Store . Contrairement à la plupart des systèmes utilisés aujourd'hui, il stocke les données sur le disque colonne par colonne, et non ligne par ligne. Ce simple ajustement a nécessité une réécriture complète du fonctionnement des bases de données, mais il correspond parfaitement à la fois au fonctionnement de la mémoire de l'ordinateur et à la manière dont les bases de données sont accessibles. Cela donne des performances beaucoup plus rapides et des données plus compressées.
Cette modification et d'autres apportées par Stonebraker et ses collègues du MIT, de Brown, de Brandeis, de Yale et de l'Université du Massachusetts ont permis le lancement de Vertique , une entreprise qui commercialisait C-Store et aidait les clients à interroger de grandes bases de données presque en temps réel. Vertica a été racheté par Hewlett-Packard en février et compte parmi ses clients Comcast, qui l'utilise pour surveiller les millions d'appareils qui composent ses réseaux TV et Internet, et Groupon, qui l'utilise pour analyser les actions de ses millions d'abonnés.
Un système connexe de Stonebraker et de certains des mêmes collègues universitaires, H-Magasin , s'appuie sur les mêmes idées avec des améliorations supplémentaires telles que l'exécution entièrement dans la mémoire d'un ordinateur, pas sur le disque ; cette méthode est particulièrement utile dans le traitement des transactions en ligne. Le code de H-Store est open source, mais la technologie est commercialisée par venture-backed VoltDB , avec Stonebraker comme CTO. Il soutient que ce type de système de base de données spécifique à l'utilisation et conçu pour la vitesse est ce que la plupart des entreprises devront adopter le plus tôt possible pour faire face au flot de données numériques.
Certaines organisations sont déjà prises dans cette inondation. Pensez à Facebook. Héberge déjà plus de photos numériques que toute autre entreprise, Facebook construit une nouvelle infrastructure de stockage et de traitement aussi rapidement que possible. Pourtant, il pousse la technologie de base de données qu'il utilise à ses limites, divisant son célèbre graphe social en 4 000 bases de données qui doivent toutes fonctionner ensemble, dit Stonebraker. Ils meurent juste sous la charge de la couche de gestion nécessaire pour maintenir ce système en place, dit-il. Ils ont le problème de base de données le plus difficile de la planète et aucun système actuel ne répondra à leurs besoins.
Les solutions que Stonebraker élabore pour un secteur très différent déjà noyé dans les données pourraient éventuellement aider. Il y a quelques années, il a entendu parler des problèmes auxquels Grand télescope d'enquête synoptique en construction au Chili. Il va rassembler 100 pétaoctets de données brutes et de données dérivées, dit Stonebraker, et ils ne savaient pas quoi faire avec autant.
Stonebraker et son collaborateur David DeWitt, affilié à l'Université du Wisconsin-Madison, ont construit un système de base de données unique nommé SciDB . Le projet open source bénéficie désormais d'un soutien à risque et d'une large communauté de volontaires issus de la science. Mais Stonebraker pense que les fonctionnalités de SciDB finiront par trouver la faveur au-delà du monde universitaire.
Toutes les données scientifiques sont incertaines et comportent des barres d'erreur, contrairement aux données d'une base de données sur les salaires, de sorte que SciDB peut prêter attention à l'incertitude. Il ne peut pas non plus écraser, car les scientifiques ne veulent jamais rien jeter, dit-il. Ces fonctionnalités ne sont pas si différentes du besoin d'analyses ou de science des données très puissantes et lourdes de statistiques, de plus en plus au cœur des entreprises prospères et axées sur la technologie. Un exemple est le placement d'annonces en ligne : le ciblage de chaque personne individuellement nécessite une analyse informatique intensive pour regrouper des personnes similaires.
Cependant, Stonebraker ne prétend pas que de nouveaux systèmes de bases de données comme ceux sur lesquels il travaille peuvent être une panacée pour les entreprises qui apprennent soudainement les limites de technologies plus établies. L'importance croissante du stockage et du traitement des données pour les entreprises de toutes sortes les obligera à faire des deux une priorité commerciale. Si vous dirigez une entreprise, vous devez concevoir une échelle dès le début, dit-il, car il ne fait aucun doute que vous en aurez besoin plus tard.