怎样利用数据分级提高存储准确率?

日期: 2010-08-15 作者:胡超明 来源:TechTarget中国 英文

  众所周知,当数据量达到一定的级别之后,通过提高设备性能或者增加设备,效果往往不会很明显。这就好像鱼塘大了、鱼多了,要捞一条鱼容易。但是要抓一条特定的、有标记的鱼,就困难多了。但是如果我们将一个大的鱼塘分成一个个小鱼塘,然后在不同的鱼塘中放养不同的鱼。即将鲤鱼、鲫鱼、草鱼等等放养在各自的鱼塘中。此时想抓什么鱼就在什么鱼塘抓就行了。

  数据分级存储其实跟这个鱼塘放养的道理类似。一方面存储设备的性能有优劣之分,如磁带的性能就比不上硬盘的性能。另一方面,用户数据使用的频率也是不同的。如订单等信息可能需要经常用到,而视频监控信息可能一年都不会访问一次。在这种情况下,如果能够将用户经常需要用到的数据放到硬盘上,而将使用频率低的数据放到性能欠佳的磁带设备上。那么就可以提高数据查询的命中率,从而提高数据查询与处理的效率。

  一、 利用离线存储来提高设备的使用寿命。

  如上图所示,存储在磁带设备上的数据一般可能很少用到。如企业需要对数据库等应用软件的数据进行备份。此时可以将数据备份到磁带设备上。根据惯例,一般一天24个小时这个磁带设备可能就只需要半个小时。在这种情况下,如果磁带设备仍然一天24个小时运行着,那么是相当浪费的。不仅会浪费电源,而且还会影响磁带设备的使用寿命。

  而如果在分级存储中采用离线存储的话,那么就可以解决这个问题。离线存储简单的说,就是平时磁带设备是处于休眠状态。当需要用到的时候,可以将磁带设备唤醒。然后往磁带设备上读取或者写入数据。等到操作完成之后,磁带系统就会自动再转为休闲状态。设计的好的话,可以将磁带设备的运行时间控制在最短时间之内,如一个小时之内。从而可以提高设备的使用寿命。

  通常情况下,离线存储主要是用在对在线存储的数据进行备份,以防范可能发生的数据灾难。为此在分级存储中,也将离线存储叫做备份级别的存储。这里需要注意的是,离线存储介质上的数据在读写时是按顺序进行的。当需要数据读取时,需要将带子卷到头,然后再进行定位。当需要对已写入的数据进行修改时,所有的数据都需要全部进行改写。所以离线海量存储的效率是比较低的。但是其最大的优点就是可以以比较低的成本实现海量存储。

  为此离线存储并不适合所有的情况。通常情况下,离线存储主要用来存储那些不经常使用的数据,如数据备份等等。而且一般在分级存储中结合使用离线存储,用来提高设备的使用效率。

  二、 考虑如何有效的对数据进行分级?

  为什么有时候采用数据分级存储策略能够提高比较好的效果,而有时候效果又不明显呢?笔者认为,这其中有一个很重要的原因是数据分级策略的指标不合适。也就是说,将什么鱼放养在哪个鱼塘中,是由存储系统根据一定规则来决定的。如果这个规则设置不当,如只根据鱼的大小来决定,那么同一个鱼塘中就可能会有各种各样的鱼。此时就不利于数据的查询与管理。可见,这个分级的规则相当的关键。

  笔者建议,在使用数据分级存储产品的时候,最好能够选择那些基于多指标的数据分级策略。也就是说,根据基于数据的生命周期、上次访问的时间、大小、访问频率等等多个参数对数据的价值进行分级。具体的来说,在数据分级时需要考虑到如下内容。

  一是最好在数据创建的时候就能够确定数据的级别。因为如果数据一创建就能够预测其访问特性而进行适当的分级,就能够减少不必要的数据转移而带来的麻烦。这也就是说,在日常管理中我们可以对于一些数据进行手工的分级,而不需要让系统来进行分级。如根据以前的经验,可以预测用户对于近1个月的邮件数据需要经常访问。那么就可以指定,对于最近一个月的数据指定为级别高的数据。而其他时间的邮件数据则根据一定的规则让系统自动进行判断。手工指定与系统自动判断结合,往往可以起到不错的效果。

  二是根据数据的静态特征和动态特征来进行分级也能够起到不错的效果。如可以通过以下方式来判断文件是静态的还是动态的。一是根据文件系统的静态特征(如文件大小的分布),二是根据文件系统的宏观访问规律(如大小文件的访问次数分布),三是根据根据文件之间的访问关联特征(如同一作业中的一个文件被访问,则可能会带动其他文件也被访问),四是文件个性的访问模式(如是否具有访问的局限性)。在实际工作中,可以根据这些特征对文件进行手工的归类。也可以在选购的时候,判断系统中是否有对应的分级策略。

  三、 如何有效降低迁移过程中的冲突?

  分级存储另一个特点,就是会根据数据的访问级别,在不同设备之间进行数据的迁移。如刚开始一些数据是存储在硬盘或者磁盘阵列中的。后来分级存储系统发现其已经有近半年没有被访问了,此时就会将数据从硬盘或者磁盘阵列中迁移到磁带中。这种迁移也叫做降级迁移(将数据从性能高的设备中迁移到性能低的设备中)。相反,当用户在一段时间内突然频繁访问存放在磁带中的数据,此时分级存储系统就会将数据从磁带中迁移到硬盘或者磁盘阵列中,这就叫做升级迁移(数据有慢速存储设备和低一级存储设备往快速存储设备或者高一级存储设备迁移)。

  这里需要注意,在迁移的过程中可能会发生冲突。根据笔者的经验,一般来说在降级迁移中设备的输入输出冲突并不是很严重。但是在升级迁移中,则必须要考虑数据迁移带来的I/Q冲突。因为根据测试发现,数据迁移发生的时候,基本上是对应设备I/Q最密集的时候。为此在分级系统设计的时候,必须要考虑到,如何才能够最大程度的降低数据迁移过程中的I/Q冲突,降低对其他用户数居访问的不利影响。现在常用的一种手段是尽量保证只在磁带与磁盘阵列之间进行数据的升级迁移。因为相对来说,可以通过增加硬盘的数量来增加数据输入输出的吞吐量,从而降低I/Q冲突。而减少在磁带与单块硬盘之间的数据迁移操作。根据笔者的测试发现,及时性能最高的硬盘,在发生数据升级迁移的过程中,不可避免的会遇到I/O冲突的情况。

  在数据迁移的过程中,除了要考虑数据冲突之外,还需要注意数据的一致性。根据现在的技术,最常用的手段是通过读写锁来确保数据的一致性。系统的迁移进程会为当前的数据块申请读写锁,以保证迁移进程与写操作进程之间的数据一致性。通常情况下,则也是选择分级存储产品中必须要考虑一个指标。

  以上提到的这三个内容,不仅仅是大家在部署的时候需要注意的问题,而且在选购产品的时候,也可以以这些标准来进行评估。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐

  • 众志和达提升山西大医院医疗数据高可靠性

    众志和达(SOUL)为陕西大医院提供了高效便捷的医疗数据分级存储、归档管理与持续数据保护解决方案,帮助用户更加高效地存储、管理和访问医疗数据。

  • 2010热门技术分析:海量存储

    随着数据的高速增长,对存储系统的要求也越来越高。容量作为存储系统最为关键的要素之一,越来越受到人们的重视。因此,我们可以看到海量存储器的日益火爆。

  • 名词解释:分级存储技术

    概念 分级存储是根据数据的重要性、访问频率、保留时间、容量、性能等指标,将数据采取不同的存储方式分别存储在不同 […]

  • IBM智慧存储之道助力中国企业弯道超越

    IBM日前于上海举办“IBM智慧信息架构高峰论坛”,与数百位客户共同探讨如何利用智能分级存储、新一代高可用容灾整合方案及“云”信息架构等创新科技构建智慧信息架构。