上周,IBM宣布,使用IBM General Parallel File System (简称GPFS,译者注:GPFS是全球领先的并行文件系统,在超级计算机中心被广泛应用。很多全球500强的超级计算机都运行在GPFS上。它具有高可伸缩性,能够高效工作在1个节点到4000多个节点的集群环境中)技术和固态硬盘,在43分钟之内浏览上百亿个文件,这显示了固态硬盘的巨大潜力以及并行文件系统在处理快速增长的数据存储方面的能力。
IBM研究中心的存储系统负责人Bruce Hillsberg表示,IBM在其集群并行文件系统中采用了一种新的运算法则,并且在硬件方面结合了10个八核IBM 1036 M2服务器和4个Violin Memory 3205闪存SSD阵列。这使得该系统可以存储数百亿文件和6.5 TBs元数据。
市场研究公司Pund-IT的负责人兼首席分析师Charles King认为IBM GPFS性能测试是一个有趣的实验,但是并不认为它是一款商业化的产品。它的性能非常强劲,但安装成本也是高的惊人,许多公司根本支付不起或者根本不需要。Charles King表示,也许一款精简版的系统会更加符合如今市场的需求。
Charles King表示:“这简直是一个超级GPFS系统。仅有一小部分应用程序现今的确需要这种高端GPFS性能。但是IBM一直致力于为用户提供非常有效的商业解决方案。IBM相当擅长于将其的研究产业化。他们可以对这个系统进行简化,而性能不会受到影响,来满足市场的需要。这款技术的好处在于它可以根据客户的需求来进行简化或者升级。
Bruce Hillsberg表示,GPFS的性能如此优越在很大程度上跟使用固态硬盘有关。在2007年,IBM使用了大约20个磁盘驱动器在三个小时之内扫描了十亿文件。如果不使用SSDs的话,处理数百亿文件的元数据将会至少需要200个磁盘驱动器。
GPFS在搜索引擎数据库和高性能计算软件方面应用广泛。IBM在其商业产品中使用GPFS,例如其Scale Out Network Attached Storage (SONAS) 和 Information Archive产品。在后续产品中,IBM将会推出GPFS的增强版本。
Hillsberg表示:“凡是使用GPFS的产品和软件都会因此作出相应的GPFS更新。”
根据IBM白皮书,信息生命周期管理(information lifecycle management,简称ILM) 的GPFS功能就像是数据库查询引擎,可以快速识别文件。一旦找到相应文件,GPFS数据管理功能会使用并行接入来移动、备份或者归档用户数据。在文件系统中,GPFS紧密的集成了数据管理功能。该高性能引擎允许GPFS支持数十亿的文件管理。
Hillsberg表示:“数据的爆炸性增长是一个相当重要的原因。客户需要分辨哪些数据需要备份、灾难恢复和复制。通过扫描数据来进行数据管理。”
本次实验是在IBM高级存储实验室进行,该实验室位于美国加利福利亚洲西部圣何塞市的Almaden研究中心。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
相关推荐
-
评估读取密集型与写入密集型应用场景中的SSD用例
IT购买者必须在读取密集型、混合使用型和写入密集型SSD之间进行选择时做出正确判断。 当首次投放市场时,第一批 […]
-
Optane:开启英特尔最新技术的窗口
现在Optane产品已经出现在市面上了,能为存储和处理提供最快的存储器的特性看上去很不错,但是Optane真的像英特尔在市场宣传上说的那样吗?
-
释放数据价值 聚焦软件革新
今天,随着越来越多的新应用需要云交付或部署,云存储需求正在不断增长。这就需要以新的方式,通过在现有存储硬件之上的一层软件去管理数据,从而驱动创新。
-
闪存联盟发布2016智库三百大行动 助推闪存落地的中国力量
随着云计算、大数据、物联网等技术的深入发展,互联网+不断促进各个行业转型,数据作为未来经济社会发展的重要资产,也将持续爆发式增长。数据的爆发式增长让我们不得不考虑如何更好的优化存储技术,这也是当前存储行业需要认真探讨和共同面对的问题。