设大容量多级别存储数据中心

日期: 2007-12-26 作者:王劲松 来源:TechTarget中国

  随着数据量的大幅增加和应用的不断完善,以往单一的存储设备已经不能支持未来合理的资源分配和数据的优先处理,为了提升整个数据中心的使用效率保证数据的高可用性,优化存储的整体架构,搭建大容量多级别的存储数据中心,已经成为目前非常迫切的事情。

  1  合理的调配数据资源,使工作效率最大化
   
  以我校图书馆为例,根据数据增长的幅度、数据的使用频率和效果、管理的方便易行等现状与要求,利用现有的设备力求做到以下几点:(1)资源数据的总存储容量将达到18TB。(2)在原有数据结构的基础上,利用分级存储技术,合理的调配数据资源,高速有效的完成各种数据提调指令使工作效率最大化。(3)数据中心使用迁移技术,在原有数据非高密度使用时能够迁移到二级存储池内,保证一级存储的有效容量和速度要求。(4)整个数据中心应该具有良好的可维护性,最大程度减少管理难度和使用成本。在数据存储系统中我们常常会面临这样一个问题:系统数据无限增长,对存储容量的要求一再突破极限。我们将不再是面对一个个单一的存储设备,而是日渐庞大和复杂的数据存储池(数据中心)。随之而来的是管理人员迫切需要简化存储设备的应用和管理,更充分有效的利用现有类型的存储设备。因此,采用数据分级存储技术将是十分必要。

  2  数据分级存储,提高整体系统性能
   
  所谓分级存储,就是根据数据的重要性、访问频次等指标分别存储在不同性能的存储设备上,采取不同的存储方式。这样一方面可大大减少非重要性数据在一级本地磁盘所占用的空间,还可加快整个系统的存储性能。

  2.1  减少总体存储成本  在传统的在线存储中,所有数据都存储在一线磁盘存储空间上,而由于绝大多数数据的访问率并不高,占住了大量宝贵的磁盘空间,在一定程度上是一种浪费。如果把这些数据转移到存储性价比较高的存储设备上,存储成本可得以大幅降低。

  2.2  提高整体系统性能  由于绝大部分数据转移到下级存储空间上,那需要时刻保持在线的数据就少了,系统资源的占用也就少了许多,整体系统性能自然也就提高了。

  2.3  改善数据可用性  把很少使用的历史数据迁移到次级存储空间中,或归档到离线存储池中,这样就无需反复保存,减少了存储的时间;同时提高了在线数据的可用性,使磁盘的可用空间维持在系统要求的水平上,并且提高了数据读取的性能。

  2.4  数据迁移对应用透明  进行分级存储后,数据移动到另外的存储空间时,应用程序不需要改变,用户和应用程序并不需要知道其数据重新分配的存储地点,使数据迁移对应用透明。

  2.5  便捷的管理  分级存储一般采用相同类型,而性价比有所差异的多个存储设备构建存储池(数据中心),一级存储空间用于存储和维护企业中最高级别和最常使用的数据,将访问频度较少的数据迁移到低成本的二级存储设备上,由于设备类型相同,管理界面和方式比较统一,在分级迁移数据时,系统可以提供无缝的调用(完全透明的自动衔接),有效的降低管理难度和成本。

  3  具体实施方案
   
  我们对原有和新增的存贮设备作以下的规划与调整。(1)将整个18TB的数据中心存储池,按照分级存储的技术要求和实际应用,划分为两部分。(2)在数据的高可用性和存储的性能提升方面,可以分析不同应用程序的特点和时间顺序,将经常访问使用的数据存储在一级存储中,将大量访问频率不高的数据存储在二级存储中。(3)在实际应用中,根据数据容量大、应用内容繁多的特点,采用多次的数据逐步分批迁移,在既提高了存储性能的前提下,又保证了数据的连续可用性和安全性,做到真正的平滑升级。(4)在数据和设备的管理方面,根据分级存储的技术特性和要求,在相同的存储设备之间进行数据迁移,可以做到无缝的平滑升级,随着数据的细分和分布式存储,既提高了存储性能,又保证了数据的可用性和安全性,毕竟数据的安全是第一位的。而数据安全的另一有力保障就是更加有效的技术维护和服务,存储中心统一的管理平台和方式,可以更好的融合数据的分级存储管理,同时大幅降低管理及维护难度和成本,做到效益的最大化。见图1。
   
  图1  分级存储管理结构图(略)

  图书馆中存储有大量的不同方面的历史文献的电子档案,根据时间顺序,其中与本校专业科目相关的比较新的数据访问是最频繁的,容量只占总体数据的一小部分,可以将这部分数据移入一级存储中,类似的还有比较热门的图文影视资料等等,这样可以提高所谓的“命中率”因而提升了数据访问的速度性能。另外还可以根据不同时期的数据访问情况,对一级和二级存储空间中的数据进行调整。每到临近毕业,大量的毕业论文和相关资料会被频繁的访问,而不同学期的,不同年级科目的媒体教学课件访问量也会发生变化,做出相应调整后,也会大大的提高存储数据的整体可用性和性能。

 

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐

  • 十步装配机架式NAS

    存储硬件向来有着不好配置的名声,但NAS设备却给我们一个惊喜。本篇技巧聚焦于机架式NAS设备,其他的NAS号包括塔式、小塔、桌面级等等。

  • NAS or DAS 不再是个问题

    当只能二选一时,是选用网络附加存储(NAS)还是直连存储(DAS)更适合您的环境?尽管不是在任何情况下都能得到真正的答案——因为每个组织都有自己独特的要求——但这里还是能够列出五个原因,证明组织可能选择NAS,而非DAS。

  • 准备迁移到全闪存?请考虑好你的存储架构

    随着存储成本的降低以及密集程度的增大,数据中心从旋转式盘片向“更快、更好、更省”的方向转移的趋势似乎不可避免,这使得非易失性内存自然而然地成为了长期的赢家。

  • Jeff Boles:存储管理仍然难以捉摸

    管理存储的意义远远不止于确保性能和可伸缩性得到解决。这历来都是一件耗资巨大的事情,在我们的企业中,存储被管理的方式是否会成为一种广泛的变革,将最终由每个管理员来决定。