重复数据删除对备份技术的影响

今日，IT 经理及管理员们不仅要面对日益爆炸的数据增长难题，还要担负由此引发的不断上升的备份及容灾所需的主存储的成本压力。然而，每完成一次全备份，都会备份大量与之前的全备份相同的文件和数据，相同数据的多个备份，占据了大量昂贵的磁盘空间。随着时间的推移，一次备份中的重复数据会充斥于所有服务器、所有备份工作(全备份及增量备份)。
重复数据删除是一种非常高级的数据缩减方式，可以极大的减少备份数据的数量。这种技术通过减少存储的数据量，改变数据保护方式，卓越的提升了磁盘备份方式的经济性。重复数据删除被业界公认为备份技术的下一代发展步骤，是今日数据中心的“必备”技术。
重复数据删除应运而生
重复数据删除是一项非常新的技术，专门用于在减少需要备份的数据量、最大化存储利用率的同时，使更多的备份数据在线保留更长时间。通常来讲，重复数据删除技术会将最新的备份数据与已有的之前的备份数据进行比对，从而消除冗余数据。这项技术的优势在于数据的减少不仅使存储的效率更高、成本更节约，带宽的利用也降到最低，使更经济、更快速的实现备份数据的远程复制成为可能。然而，目前市场中的重复数据删除解决方案还有很大差异，有些解决方案会使备份处理的速度变的很慢，甚至引发无法预计且不可恢复的数据丢失。
块级重复数据删除
多年以前的重复数据删除技术，可以看作是文件级的技术，当时称之为“单一实例存储(Single Instance Store，SIS)”，通过SIS技术，整个文件系统或电子邮件系统的重复文件可以被减少为单一的拷贝，当再出现这一文件时，会被指向到这一单一拷贝，从而减少容量需求。这一技术通常被用于电子邮件管理及归档系统。
今天的重复数据删除技术利用了与SIS类似的数据缩减概念，但却使之向前迈进了一大步 – 实现了块级(子文件)重复数据删除。当读取数据时，系统利用Hash算法识别唯一的数据块，系统将保留Hash索引，每个Hash编码指向一个不同的数据块。当新的备份发生时，会自动的与现有的块进行比对，如果索引中已经有相同的块，数据将会被删除或被指向块的指针所代替;反之，则会被保存并在索引中为其创建一个新的Hash编码。这里提到的唯一数据块的大小，会根据用户选择的不同的重复数据删除解决方案而不同，平均大小在4KB-24KB之间。
与文件级SIS技术相比，块级的重复数据删除技术可以说更具优势。它可以在不同的文件或应用中消除冗余数据块。比如，如果一个文件只做了想当小的一点修改并保存，块级重复数据删除技术则将只保存发生变化的数据块。按这种方式，块级重复数据删除可以提供更好的压缩比率，特别是应用于巨大数据量的情况下，如数据库或全备份之后。
下面的例子进一步说明了SIS和块级两种重复数据删除技术的结果比较。
一个企业向1000个邮件地址发出一封带有注册内容的活动邀请函，传统的备份应用将会把文件备份1000次。SIS解决方案可以识别出文件是相同的，将只会保留一份备份，然后生成999个指针指向那个唯一的备份，因此，大概节省了99.9%的空间。但是，之后这1000个参会人可能会将注册内容填好后回复给发件人，由于他们的名字不同，SIS解决方案就会备份1000份回执。
块级解决方案在发出邀请函的时候执行了相同的重复数据删除处理，也实现了99.9%的存储空间节省。但是，当收到1000份参会人的回执时，块级解决方案会发现每个回执的大部分内容与第一封收到的是相同的并已经备份过，因此，它只会对其它999封回执的相异数据块(块级)进行备份。这种方法与SIS技术相比，则还可以节省额外的99.9%的存储空间。
绿色存储与重复数据删除
由于块级重复数据删除技术只保存发生变化的数据，极大的减少了所需的备份容量，使用户不用再像从前一样购置大量磁盘，从而将用户备份系统的总成本降到最低。更少的磁盘致使存储系统更少，电力及制冷需求更小，同时还降低了整体系统的复杂性。
与传统的磁带备份解决方案相比，重复数据删除技术完全改变了磁盘备份的经济性。通过这一技术，更多的用户可以负担得起用磁盘备份取代整个或是部分磁带备份的解决方案。磁盘备份相对于磁带备份来说，提供了更好的备份及恢复性能。通过利用磁盘备份的方式，用户可以进一步改善他们的服务品质协议(Service-Level Agreements，SLAs)。
当通过数据复制实现灾备时，重复数据删除技术也可以带来卓越利益。由于减少了备份数据量，重复数据删除技术将主站点与远程数据中心之间的带宽需求、数据传输成本、复制时间都降到最低。企业利用相对经济的WAN网络即可在任意地理空间范围内执行复制，实现了额外的成本节约。
重复数据删除最适用于哪里?
理论上讲，重复数据删除技术可以用于任意地点存在的数据。它可以与在线或是离线的数据一起工作，可以在文件系统或是数据库，也可以在其它应用。总的来说，哪里有大量的重复数据，它就能在哪呈现出最大的利益回报。
而最好的应用示例是在企业级备份。企业大都是每天做一次全备份，两日的全备份中通常只有很小部分—不会超过5%—的数据是不同的，大部分备份扇区都是相似的。这种情况下，重复删除为备份系统带来了最佳的利益回报。因此，大多数重复数据删除解决方案都是专为备份系统而设计的。
重复数据删除比率不是唯一评估标准
重复数据删除比率是如今企业最为关心的问题，可说直接触及到了用户的底线。不同的厂商向外界声称的比率不同，从20：1到50：1，甚至高达300：1或400：1。由于重复数据删除与详细的备份数据和备份策略直接相关，从一种环境到另一种环境所产生的重复数据删除比率也会有很大的变化，即使它们是基于同一种重复数据删除运算法则。因此，厂商公布的重复数据删除比率不能作为选择这一产品的唯一标准。
重复数据删除比率与所用处理的颗粒精细程度相关。理论上讲，更细致

来世音  发表于: 2009-12-12