Le système de stockage pour le « Big Data » accélère considérablement l'accès à l'information

Alors que les ordinateurs entrent dans de plus en plus de domaines de notre vie quotidienne, la quantité de données qu'ils produisent a considérablement augmenté.

Mais pour que ces mégadonnées soient utiles, elles doivent d'abord être analysées, ce qui signifie qu'elles doivent être stockées de manière à pouvoir être consultées rapidement en cas de besoin.

Auparavant, toutes les données auxquelles il fallait accéder rapidement étaient stockées dans la mémoire principale d'un ordinateur ou dans la mémoire vive dynamique (DRAM) - mais la taille des ensembles de données actuellement produits rend cela impossible.

Ainsi, au lieu de cela, les informations ont tendance à être stockées sur plusieurs disques durs sur un certain nombre de machines sur un réseau Ethernet. Or, cette architecture de stockage augmente considérablement le temps d'accès à l'information, selon Sang-Woo Jun, étudiant diplômé du Laboratoire d'informatique et d'intelligence artificielle ( CSAIL ) au MIT.

Photo gracieuseté des chercheurs

Le stockage des données sur un réseau est lent car il y a un délai supplémentaire important dans la gestion de l'accès aux données sur plusieurs machines à la fois logicielles et matérielles, explique Jun. Et si les données ne rentrent pas dans la DRAM, vous devez vous rendre sur un stockage secondaire - des disques durs, éventuellement connectés sur un réseau - ce qui est en effet très lent.

Jun, Ming Liu, un autre étudiant diplômé du CSAIL, et Arvind, professeur de génie électrique et d'informatique Charles W. et Jennifer C. Johnson, ont développé un système de stockage pour l'analyse de données volumineuses qui peut considérablement accélérer le temps qu'il faut pour accéder aux informations.

Le système, qui sera présenté en février au Symposium international sur les matrices de portes programmables sur site à Monterey, en Californie, est basé sur un réseau de périphériques de stockage flash.

Les systèmes de stockage Flash fonctionnent mieux dans les tâches qui impliquent la recherche d'informations aléatoires à partir d'un grand ensemble de données que les autres technologies. Ils sont généralement accessibles de manière aléatoire en quelques microsecondes. Cela se compare au temps de recherche de données des disques durs, qui est généralement de quatre à 12 millisecondes lors de l'accès à des données à partir d'emplacements imprévisibles à la demande.

Les systèmes Flash sont également non volatiles, ce qui signifie qu'ils ne perdent aucune des informations qu'ils contiennent si l'ordinateur est éteint.

Dans le système de stockage, connu sous le nom de BlueDBM - ou Blue Database Machine - chaque périphérique flash est connecté à une puce FPGA (field-programmable gate array) pour créer un nœud individuel. Les FPGA sont utilisés non seulement pour contrôler le périphérique flash, mais sont également capables d'effectuer des opérations de traitement sur les données elles-mêmes, explique Jun.

Cela signifie que nous pouvons effectuer certains traitements à proximité de l'endroit où les données sont [stockées], nous n'avons donc pas toujours à déplacer toutes les données vers la machine pour y travailler, dit-il.

De plus, les puces FPGA peuvent être reliées entre elles à l'aide d'un réseau série hautes performances, qui a une très faible latence ou délai, ce qui signifie que les informations de n'importe quel nœud sont accessibles en quelques nanosecondes. Donc, si nous connectons toutes nos machines à l'aide de ce réseau, cela signifie que n'importe quel nœud peut accéder aux données de n'importe quel autre nœud avec très peu de dégradation des performances, [et] il semblera que les données distantes se trouvaient ici localement, dit Jun.

L'utilisation de plusieurs nœuds permet à l'équipe d'obtenir la même bande passante et les mêmes performances de leur réseau de stockage que des machines bien plus chères, ajoute-t-il.

L'équipe a déjà construit un réseau prototype à quatre nœuds. Cependant, celui-ci a été construit à l'aide de pièces vieilles de 5 ans et est donc assez lent.

Ils construisent donc maintenant un réseau prototype à 16 nœuds beaucoup plus rapide, dans lequel chaque nœud fonctionnera à 3 gigaoctets par seconde. Le réseau aura une capacité de 16 à 32 téraoctets.

À l'aide du nouveau matériel, Liu construit également un système de base de données conçu pour être utilisé dans l'analyse des mégadonnées. Le système utilisera les puces FPGA pour effectuer des calculs sur les données telles qu'elles sont accessibles par l'ordinateur hôte, afin d'accélérer le processus d'analyse des informations, a déclaré Liu.

Si nous sommes assez rapides, si nous ajoutons le bon nombre de nœuds pour nous donner suffisamment de bande passante, nous pouvons analyser des données scientifiques volumineuses à environ 30 images par seconde, ce qui nous permet de répondre aux requêtes des utilisateurs avec des latences très faibles, ce qui rend le système semblent en temps réel, dit-il. Cela nous donnerait une base de données interactive.

À titre d'exemple du type d'informations sur lesquelles le système pourrait être utilisé, l'équipe a travaillé avec les données d'une simulation de l'univers générées par des chercheurs de l'Université de Washington. La simulation contient des données sur toutes les particules de l'univers, à différents moments.

Les scientifiques doivent interroger cet ensemble de données plutôt énorme pour savoir quelles particules interagissent avec quelles autres particules, mais l'exécution de ce type de requêtes prend du temps, explique Jun. Nous espérons fournir une interface en temps réel que les scientifiques pourront utiliser pour examiner plus facilement les informations.

Kees Vissers du fabricant de puces programmables Xilinx, basé à San Jose, en Californie, affirme que le stockage flash commence à être considéré comme un remplacement à la fois pour la DRAM et les disques durs. Historiquement, l'architecture informatique devait avoir une hiérarchie de mémoire particulière - cache sur les processeurs, DRAM hors puce, puis disques durs - mais toute cette ligne est maintenant brouillée par les nouveaux mécanismes de la technologie flash.

Le travail au MIT est particulièrement intéressant car l'équipe a optimisé l'ensemble du système pour qu'il fonctionne avec le flash, y compris le développement de nouvelles interfaces matérielles, dit Visser. Cela signifie que vous obtenez un avantage au niveau du système, dit-il.

cacher