如何评估基于硬件的重复数据删除产品

日期: 2008-03-19 作者:Stephen J. Bigelow翻译:陈晶 来源:TechTarget中国 英文

基于硬件的重复数据删除产品能够减轻与基于软件的重复数据删除产品相关的处理负担。重复数据删除的特性也可以嵌入到其他的数据保护硬件中,例如备份平台,虚拟磁带库(VTL)系统,甚至是诸如网络附加存储(NAS)的一般目的的存储系统。这种方法一般并不侧重于缩短备份窗口或恢复目标的时间,但用户通常可以达到更高的压缩水平,使可用存储空间尽量最大化。   in-band(带内)重复删除和out-of-band(带外)重复删除的对比   重复数据删除既可以通过in-band方式处理也可以通过out-band处理。

in-band的重复数据删除是在数据被写入存储时进行的。in-band重复删除一般很有效率,因为它只……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

基于硬件的重复数据删除产品能够减轻与基于软件的重复数据删除产品相关的处理负担。重复数据删除的特性也可以嵌入到其他的数据保护硬件中,例如备份平台,虚拟磁带库(VTL)系统,甚至是诸如网络附加存储(NAS)的一般目的的存储系统。这种方法一般并不侧重于缩短备份窗口或恢复目标的时间,但用户通常可以达到更高的压缩水平,使可用存储空间尽量最大化。

  in-band(带内)重复删除和out-of-band(带外)重复删除的对比

  重复数据删除既可以通过in-band方式处理也可以通过out-band处理。in-band的重复数据删除是在数据被写入存储时进行的。in-band重复删除一般很有效率,因为它只运行一次,虽然运行这个过程所需的额外能耗可能会延长备份窗口。

  out-of-band重复数据删除是在数据被存储以后才开始进行的。这种方式不会影响备份窗口,并且可以减少对CPU运行导致备份服务器和存储之间出现瓶颈的担心。但是,out-of-band重复数据删除在重复数据删除处理过程中需要稍多一些的磁盘空间。而且,out-of-band重复删除也许需要比实际备份窗口更长的时间。磁盘的争用则是另一个问题,当用户在重复删除处理时访问存储,就会降低磁盘的性能。

  硬件重复删除的优缺点

  基于软件的重复删除侧重于在源上完成对冗余数据的删除,而基于硬件的重复删除则强调存储系统自己完成的数据的删减。基于硬件的重复删除不会带来带宽的节省,这种节省可能通过在源上进行重复删除来获得,但是它的压缩比更好,而且基于硬件的重复数据删除产品只需要较少的维护。

  硬件重复数据删除设备的优点是高性能、可扩展性和相对无中断部署。备份软件通常将专用的设备看作一类“磁盘系统”,完全不知道在表面下正在进行的重复删除处理。小型企业或远程办公室往往会避免这种设备,因为他们的成本高于基于软件的重复删除,但是它们对于企业级部署来说是理想的。

  基于硬件的重复删除也可以嵌入到其他的存储(目标)平台中。例如,重复数据删除经常是虚拟磁带库的一大特点。通过利用磁盘而不是磁带进行存储,VTL可以加速备份任务,增加重复数据删除后,可以使VTL将磁盘使用最大化。在许多情况下,VTL重复数据删除使用的是out-of-band方式。这是它的一个优势,因为所有VTL中的内容可以进行重复数据删除,达到很好的压缩比。不利的一面是重复数据删除的作用并不是立竿见影的。不过,当从备份服务器获得数据时,一些VTL产品嵌入了对备份数据完成in-band方式的重复数据删除的处理能力。

  基于硬件的重复数据删除的产品

  Data Domain公司是针对VTL和NAS系统推出多元化产品线的公司之一,包括从用于分支机构的DD410系列到企业级DDX系列。所有重复删除产品都采用in-band方式,使用SHA-1算法和另一种专有算法,以防止散列冲撞。比较索引被储存在高速非易失性RAM中。 相对而言,Data Domain公司的产品速度较慢,其传输速率只能达到110MBps,但是该公司宣称他们正致力于通过集群来提高其产品的数据传输率。

  来自Diligent Technologies公司的企业级产品ProtecTier VTL也是采用in-band方式,使用一种专有算法。索引保存在光线通道磁盘中,可以潜在地提高检索性能。结果通过Diligent的性能数字显示,可以达到400MBps。与此相似,来自昆腾公司的DXi3500和DXi5500产品使用in-band检索方式,重复数据删除使用已经纳入昆腾公司StorNext文件系统的专利算法。相比之下,飞康软件公司单一实例存储库(SIR)的VTL产品则采用out-of-band检索方式,使用SHA-1和MD5算法。

  在备份产品方面,ExaGrid Systems公司在它的NAS备份产品包括了以out-of-band方式进行重复删除的特性。ExaGrid公司对字节进行比较而不按位比较,所以可以简化索引,达到更快的搜索性能。ExaGrid还在备份软件产品中检查共同的数据模式,以提高搜索和检索性能。来自美国NEC公司的HydraStor网格备份产品使用一种专有的处理过程,在子文件级进行重复数据删除。NEC公司称,在性能不受影响的前提下,可以减少高达75%的存储使用量。

  Network Appliance公司(NetApp)在其 NearStore R200和FAS存储系统中采用了基于块的重复数据删除。其重复删除是基于NetApp公司的先进单实例存储(ASIS)特性,使用已保存在每个数据块的一个16位校验值来查找冗余候选。然后将这些块在位级上进行比较,相同的块将被放弃。NetApp的存储系统将对主存储进行重复数据删除。

作者

Stephen J. Bigelow
Stephen J. Bigelow

数据中心和虚拟化网站的高级技术编辑,拥有20年的PC和技术写作经验。

翻译

陈晶
陈晶

相关推荐

  • 简单可靠的平面备份技术

    在过去,很少有人认为平面数据备份可以成为传统备份方式的靠谱的替代者。而到了现在,随着快照技术的不断增强,趋势正在改变。

  • 专家答疑:重复数据删除在云中是如何工作的?

    重复数据删除过程减少了存储系统中的数据量,但云中的重复数据删除可能比客户对云提供者更有价值。

  • 全闪数据中心的数据缩减攻略

    全闪存数据中心的概念之所以很吸引人,是因为它可以消除耗时的系统调优。它使数据中心得以支持最大的虚拟机密度,它的存储响应时间让大多数应用程序提供者都感到满意。

  • 存储采购并非易事

    硬盘市场的下滑并没有带来相应的固态存储市场的蓬勃发展,但固态存储将最终取代机械硬盘,在这一路上也会不断有惊喜。