对于IT主管来说,为大数据构建一个同时具有高可扩展性和成本效益的存储基础架构是非常关键的,也是必要的。日前,Garter对目前市场主流的九大存储供应商所推出的9款横向扩展文件系统产品进行了对比评测分析,并指出了各自的优点和需改进的地方,以供用户在采购时进行对比参考,以下为报告主要内容(注:本译文部分有删减):
海量非结构化数据的存储和分析日趋重要,已经上升到战略高度,这使得在IT基础设施规划中,横向扩展存储架构将成为最突出的问题。横向扩展存储产品往往能够实现接近线性的缩放,并通过并发来提供高性能。大多数横向扩展存储供应商倾向于采用X86标准化硬件,从而降低硬件的采购成本,并在软件层嵌入存储信息。横向扩展存储供应商的主要目标市场一般都是学术机构或特定行业的HPC环境,例如基因组测序、金融建模、三维动画、气象预报和地震分析等。因此,产品的主要关注点在于其可扩展性、原始计算能力和聚合带宽,数据保护、安全和效率则是次要考虑因素。但是,企业对于容量空间、存储效率以及非结构化数据保护方面的需求越来越强烈,迫使供应商提供更好的安全性、可管理性、数据保护以及ISV互操作性来满足客户的需求。虽然大多数产品用作通用存储阵列的情况还很少,但向这方面发展的趋势将会越来越明显。
IT组织必须要制定严格的规划流程来全面评估产品的关键能力以选择合适横向扩展存储供应商。厂商需要针对特定使用情况继续优化其产品,尽管在本研究报告中,这些领先供应商兼顾到了其产品在企业环境中使用可能出现的各种情况。但是,横向扩展存储的意识和全局命名空间在企业IT环境中并不常见,所以培训支出应该是预算分配的重要组成部分。
本研究的目的在于比较三种常见的用例——商业HPC、大的主目录以及备份和归档,并在9个关键能力方面进行考量。
非结构化数据的增长趋势明显已经超过了结构化数据。企业和服务提供商所要求的高可扩展性和弹性存储基础设施必须在合理的成本之内,才能解决大数据的挑战,并构建云计算基础。横向扩展存储正迅速成为一种可行的替代方案,以满足各种企业使用情况,因为其允许企业在现有存储之上按需增加容量和性能。 Garter认为,在不久的将来,无情的成本压力——由于非结构化数据的爆炸增长,需要提供差异话的服务以提供更好的功能和更专业的支持——将推动市场对横向扩展文件系统存储的需求。
本报告对目前领先的横向扩展文件系统存储产品进行了研究,在企业可能的使用情况下评估其效益。
产品类别定义
横向扩展磁盘存储系统都通过模块或节点连接在一起并组成一个系统。“横向扩展”在严格意义上并不是指一个集群文件系统,它可以横跨多个节点而组成一个单一命名空间。并且,这还包括一个松散集群聚集而成的一个全局命名空间。根据系统设计,系统中可能有一种或多种节点类型,例如访问节点和存储节点。这种模块化设计可使用户有一个较低的初始成本,其系统也能够随时间不断扩展,另一方面,也可以不再将关注重点放在系统生命周期之上。
横向扩展存储架构具备以下特点:
容量、性能、吞吐量和端口数与系统中节点数成正比。
可扩展性往往受存储硬件和网络体系架构的束缚,而不是由软件设计决定。
关键功能定义
横向扩展文件系统存储需要多方面的能力。其必须是可扩展的,但也必须着眼于成本、聚合带宽、每秒的输入/输出操作(IOPS)、存储效率、数据保护、兼容性、易管理性和耐用性,尤其是大规模情况下。本研究探讨了企业在部署大规模文件存储架构时应当考虑的9个关键能力,企业可以通过这些实现目标来评估横向扩展文件系统存储平台的所有功能领域:
Capacity(容量):这是指平台支持容量以近线性方式增长的能力。检查文件系统在理论上和实际情况下扩容能力的限制,如最大容量、文件数量以及每文件系统、卷或命名空间所支持的节点数量和磁盘驱动器数量。
Efficiency(效率):这是指该平台支持的存储技术方面的能力,如压缩、重复数据删除、自动精简配置、自动分层存储以降低总体拥有成本等方面的技术。
Interoperability(互操作性):这是指该平台支持第三方ISV应用程序、公共云计算API和多厂商虚机管理程序方面的能力。
Manageability(可管理性):这是指该平台所支持的自动化、管理、监测和报告工具以及应用程序方面的能力。
Performance(性能):这是指集群所能提供的最大聚合IOPS和带宽,并观察实际配置所取得的数值。
Resiliency(弹性):这是指该平台配置一个高层级高可用系统正常运行所提供的选项和功能。提供的选项可能包括磁盘同时发生故障和/或节点发生故障后的高耐受性、故障隔离技术、内置的防止数据损坏的保护技术以及其他技术(如快照和复制),以满足客户的恢复点目标(RPO)和恢复时间目标(RTO)。
Applicability for Infrequently Accessed Data(不经常访问数据的适用性):这是基于重要的长期归档和备份功能,或者产品往往用于备份和归档。这有助于突出文件系统存储在不同使用情况下的设计差异。
Applicability for Production Data(生产数据适用性):这是基于频繁访问的生产数据,或者产品广泛用于存储生产数据。这有助于突出文件系统存储在不同使用情况下的设计差异。
实际使用案例
本报告评估横向扩展文件系统存储供应商在三种不同使用情况下的性能表现(见表1):
Commercial HPC(商业化HPC):用最大规模的横向扩展文件系统存储产品来解决最苛刻的使用环境。商业HPC环境的特点是需要高吞吐量和并行读写来访问大量的数据。在产品选择方面,性能、容量、生产数据适用性、灵活性和可管理性是最重要的考虑因素,并需要高权重。
Large Home Directories(大型主目录):这是典型的网络附加存储(NAS)使用案例,但规模更大。IT专业人士如果渴望整合文件服务器或NAS文件服务器的扩张,应考虑使用横向扩展文件系统存储产品,其可以提供财政简便性和近乎线性的可扩展性。在文件服务器蔓延的坏境中,可通过消除物理间隔、通过全局命名空间使客户机映射到服务器等手段使其成为一个理想的工作负载平台,例如自动分层存储和用户透明的数据迁移等。弹性、存储效率、生产数据适用性和可管理学是重要考虑因素,必须加大权重。
Backup and Archiving(备份和归档):文件系统存储已经被用来作为以年为目标的备份/归档;横向扩展文件系统为大的备份和归档数据集提供额外的基于磁盘备份和归档的可扩展性,以满足不断增长的需求。为备份目标内置存储效率技术是尤为重要的,这些功能包括集成的存储分层和一写多读(WORM,见注1)等,这可提高将横向扩展文件系统作为归档的吸引力,并提高归档的简易性、可负担性和数据一致性。不经常访问数据的适用性、容量、存储效率和弹性是重要考量因素,需要提高权重。
表1 在实际使用中各种关键能力的比重
入选标准
本次研究报告中所涉及的产品为目前市场上较为主流的可扩展文件系统存储产品,Panasas 和Intel (Lustre)的产品并不在此列,因为这两家厂商只专注于HPC环境。
在存储系统中,文件系统的可扩展性定义为:
每文件系统最小为100TB
每命名空间最小为1PB,可跨越两个或以上的节点
其他产品纳入标准:
至少10个客户的生产系统是基于该平台部署而成,存储容量在300TB以上
在集群模式下,必须支持驱动器容量和吞吐量的水平扩展,或在一个全局命名空间内增加独立节点
产品必须在这三种情况下都有成功案例
供应商必须提供一个或多个用户参考
该产品必须安装在至少全球两大地区
请继续阅读9款横向扩展文件系统存储产品对比评测分析(下)。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
Micron开始向部分客户发售更密集的QLC SSD
Micron Technology公司开始向部分客户发售采用新型高密度QLC 3D NAND闪存技术的企业固态 […]
-
阿里巴巴发布面向下一代数据中心的双模SSD存储架构
阿里巴巴今日发布了面向下一代数据中心的双模SSD(Dual-Mode SSD)存储架构,以及全球首个双模SSD […]
-
大数据隐私保护措施有哪些?
每年频发的数据泄露事件总会带来一些教训,其中一条就是,无论何时开始采取数据保护措施永远不会太晚。幸运的是,企业表现出更加关注数据隐私方面的工作。
-
大数据给数据中心带来哪些改变?
大数据时代的来临首先对数据中心行业产生巨大影响。企业需要的是可扩展的存储解决方案,并且与业务一起发展,另外,安全问题已提上日程。