211service.com
IBM construit le plus grand lecteur de données jamais créé
Un référentiel de données presque 10 fois plus grand que tout ce qui a été créé auparavant est en train d'être construit par des chercheurs du laboratoire de recherche d'IBM à Almaden, en Californie. Le lecteur de 120 pétaoctets, soit 120 millions de gigaoctets, est composé de 200 000 disques durs conventionnels fonctionnant ensemble. Le conteneur de données géant devrait stocker environ mille milliards de fichiers et devrait fournir l'espace nécessaire pour permettre des simulations plus puissantes de systèmes complexes, comme ceux utilisés pour modéliser la météo et le climat.
Un lecteur de 120 pétaoctets pourrait contenir 24 milliards de fichiers MP3 typiques de cinq mégaoctets ou avaler confortablement 60 copies de la plus grande sauvegarde du Web, les 150 milliards de pages qui composent Internet Archive. Machine de retour .
Le groupe de stockage de données à IBM Almaden développe le système de stockage record pour un client anonyme qui a besoin d'un nouveau superordinateur pour des simulations détaillées de phénomènes du monde réel. Cependant, les nouvelles technologies développées pour construire un si grand référentiel pourraient permettre à des systèmes similaires pour l'informatique commerciale plus conventionnelle, dit Bruce Hillsberg , directeur de la recherche stockage chez IBM et leader du projet.
Ce système de 120 pétaoctets est maintenant en marge de la folie, mais dans quelques années, il se pourrait que tous les systèmes de cloud computing soient comme lui, dit Hillsberg. Le simple fait de garder une trace des noms, des types et d'autres attributs des fichiers stockés dans le système consommera environ deux pétaoctets de sa capacité.
Steve Conway, vice-président de la recherche au sein du cabinet d'analystes IDC spécialisé dans le calcul haute performance (HPC), affirme que le référentiel d'IBM est nettement plus volumineux que les systèmes de stockage précédents. Une baie de stockage de 120 petabye serait facilement la plus grande que j'ai rencontrée, dit-il. Les plus grandes baies disponibles aujourd'hui ont une taille d'environ 15 pétaoctets. Les problèmes de superinformatique qui pourraient bénéficier d'un stockage accru de données incluent les prévisions météorologiques, le traitement sismique dans l'industrie pétrolière et les études moléculaires des génomes ou des protéines, explique Conway.
Les ingénieurs d'IBM ont développé une série de nouvelles techniques matérielles et logicielles pour permettre une augmentation aussi importante de la capacité de stockage de données. Trouver un moyen de combiner efficacement les milliers de disques durs à partir desquels le système est construit était un défi. Comme dans la plupart des centres de données, les disques se trouvent dans des tiroirs horizontaux empilés à l'intérieur de grands racks. Pourtant, les chercheurs d'IBM ont dû les rendre beaucoup plus larges que d'habitude pour insérer plus de disques dans une zone plus petite. Les disques doivent être refroidis avec de l'eau en circulation plutôt qu'avec des ventilateurs standard.
Les défaillances inévitables qui se produisent régulièrement dans une si grande collection de disques présentent un autre défi majeur, explique Hillsberg. IBM utilise la tactique standard consistant à stocker plusieurs copies de données sur différents disques, mais elle utilise de nouveaux raffinements qui permettent à un superordinateur de continuer à fonctionner presque à pleine vitesse même lorsqu'un lecteur tombe en panne.
Lorsqu'un disque seul meurt, le système extrait les données d'autres lecteurs et les écrit lentement sur le disque de remplacement, afin que le superordinateur puisse continuer à fonctionner. Si davantage de pannes se produisent parmi les disques à proximité, le processus de reconstruction s'accélère pour éviter la possibilité qu'une autre panne se produise et efface définitivement certaines données. Hillsberg dit que le résultat est un système qui ne devrait perdre aucune donnée pendant un million d'années sans faire de compromis sur les performances.
Le nouveau système bénéficie également d'un système de fichiers connu sous le nom de GPFS qui a été développé chez IBM Almaden pour permettre aux superordinateurs un accès plus rapide aux données. Il répartit les fichiers individuels sur plusieurs disques afin que de nombreuses parties d'un fichier puissent être lues ou écrites en même temps. GPFS permet également à un grand système de garder une trace de ses nombreux fichiers sans les analyser laborieusement. Le mois dernier, une équipe d'IBM a utilisé GPFS pour indexer 10 milliards de fichiers en 43 minutes, battant sans effort le record précédent d'un milliard de fichiers analysés en trois heures.
Les améliorations logicielles telles que celles développées pour GPFS et la récupération de disque sont cruciales pour permettre de tels lecteurs de données géants, explique Hillsberg, car pour être pratiques, ils doivent devenir non seulement plus gros, mais aussi plus rapides. Les disques durs ne deviennent pas plus rapides ou plus fiables proportionnellement aux demandes de stockage supplémentaire, les logiciels doivent donc combler la différence.
Conway d'IDC convient qu'un accès plus rapide à des systèmes de stockage de données plus volumineux devient crucial pour le supercalcul, même si les supercalculateurs sont le plus souvent comparés publiquement sur la vitesse de leurs processeurs, comme c'est le cas avec la liste mondiale TOP500 utilisée pour déterminer les droits de vantardise internationaux. Les gros disques deviennent importants car les simulations deviennent de plus en plus volumineuses et de nombreux problèmes sont résolus à l'aide de méthodes dites itératives, où une simulation est exécutée des milliers de fois et les résultats comparés, explique Conway. Le point de contrôle, une technique dans laquelle un superordinateur enregistre des instantanés de son travail au cas où le travail ne se terminerait pas avec succès, est également courant. Ces tendances ont produit une explosion de données dans la communauté HPC, explique Conway.