重复数据删除对数据存储专业人员来说是2009年最热门的话题。它不再是高精尖的技术，而其成本节省对预算有限而数据又在迅速增长的企业来说非常诱人。作为回应，存储厂商正在推出更多的重复数据删除产品和方案来降低数据存储点的大小。

结果是，重复数据删除遵循了IT业界常有的模式：产生一个新技术来满足由来已久的需求，但是当其应用逐渐拓展的时候，又提出了怎样才能更好地利用这一技术以及它将如何影响周遭环境的问题。幸运的是，有足够多经验丰富的存储专业人士正在使用重复数据删除来检验所有这些方式的优缺点。

“很多厂商都将重复数据删除作为一个功能推向市场，更多的厂商将要推出”ESG分析师Lauren Whitehouse说“客户面临着一片未知的丛林，但是也存在很多新的困惑。”

重复数据删除的不同方法

独立备份专家W. Curtis Preston说，重复数据删除方法可以分为两大类：和硬件捆绑的及纯软件的。硬件产品包括IP连接的NAS和光纤连接的虚拟带库。软件方面，可以粗略分为在服务器级处理重复数据删除的“源”产品，和在NAS或者虚拟带库上处理的“目标”产品。

Preston在评估产品时的首要原则是，只有少数的用例必须使用特殊的方案。其它的则可依据个人喜好。90%的用户可以使用任何（市场上的产品）而将工作完成的很好。

基于硬件的方案（见下表）不需要对正在使用的备份软件做改变。硬件可以被优化来提升性能，但是重复数据删除的计算是由软件进行的。

基于硬件的重复数据删除产品

通常来说，基于IP的NAS和虚拟带库方式在性能和扩展性方面是最好的。美国某医院和卫生所组织MultiCare Health System在试用过Data Domain之后，选择了Sepaton Inc.'s S2100-ES2虚拟带库来备份他们的Windows数据，因为它的扩展性较好。

MultiCare的资深SAN、Unix系统管理员Eric Zuspan在1月份告诉SearchStorage.com说Data Domain的DD460 DD560重复数据删除磁盘阵列 “性能十分有限”。一个典型的Data Domain用掉4.5小时的Windows备份，在Sepaton系统上只用了1小时20分钟。Zuspan说他们公司的Windows小组仍在使用Data Domain，但是可能会在未来将其淘汰掉。

在线和后处理重复数据删除

在具有足够的容量的情况下，有些在线厂家争辩说后处理可能会导致备份超出时间窗口。美国某治安局的备份和E-mail管理员Douglas Blackburn，一个Data Domain用户，说他喜欢在线重复数据删除，“因为（备份）结束的时候就一切都结束了。”不过，后处理的好处是，不用担心耗费CPU的重复数据删除进程会在备份服务器和次级存储目标之间造成一个瓶颈。

Sepaton和FalconStor最近开始提供他们所谓的“同时处理”。这种方式仍先把数据存储到一个磁盘的缓冲区中，但是不等待备份完成就会进行重复数据删除。

遍布全球：全局重复数据删除

当客户将更多的数据进行去重复之后，厂家能否跨越多个控制器来进行数据去重复就变得重要起来了。这就是所说的全局去重复。截至目前，只有FalconStor, IBM, NEC和Sepaton的产品能提供这一功能。

作为代价，客户必须在多个设备之间分裂备份流，并平衡他们的负载。治安局已经碰到了Data Domain的扩展性问题，该到为主用的DD560增加一个扩展机柜的时候了，这是那个设备的局限。如果橙郡增加一个新的设备，那套系统将不能看到网络里的另一套系统。Blackburn说他想加入一套Data Domain的DD690网关，以便他选择自己的存储以及后端上的扩展策略。

“我想使用我们自己的EMC存储。”Blackburn说。

不过，Data Domain的网关不支持EMC的存储，──这是现在这个市场上很常见的兼容性症结的一个例子。Data Domain的CEO Frank Slootman将这个指责完全归咎于EMC。

“我认为EMC在和我们合作的时候没有把客户放在第一位，”他说。一个EMC发言人拒绝就此发表评论。

有些客户根据他们是否需要整合磁带来选择硬件目标设备。“两种设备（Data Domain和Quantum）在定价方面都十分具有侵略性。”加拿大Ontario AIC有限公司IT基础架构经理Ben Barnes说“但是最后，当我们查看Quantum的报价的时候，所有东西都包括了──系统，磁带，软件授权和支持，所有都在一个价格内，而Data Domain则不是一次购齐的。”

这不足为奇，尽管Quantum的基于磁盘的业务正在更快速地成长，它的传统还是一个磁带供应商。Data Domain则是作为一个磁带的替代方案而兴起的。Barnes大约9个月前安装了一套Quantum的带有重复数据删除的DXi 5500 光纤虚拟带库。

尽管很多和Barnes的公司容量规模差不多的公司都在努力彻底摆脱磁带，Barnes说为了法规遵从磁带还是必须要有的。他们公司每个月通过Symantec的Backup Exec和Quantum的Scalar 50磁带库进行一次全备份，作为归档用途。这个过程耗时接近24小时，他说，但是因为运营恢复现在是通过磁带进行的，“这不会对流程有什么影响──我们就让它在那运行着了。”

安装光纤虚拟带库系统的时候也考虑到了未来的增长。“如果业务产生变化，我们不希望有需要做出巨大的变化的情形出现。”

Symantec的OpenStorage API ：一个混合方案

自基于磁盘备份出现的早期，用户就对磁盘设备和针对磁带备份写成的软件之间的配合如何有所顾虑。最大的担忧是当集成的虚拟带库创建里远程副本之后备份软件内维护的目录能否保持一致。

Symantec对此的回应是，2007年在他们的NetBackup软件6.5版本中发布的，叫做OpenStorage API (OST) 的可选功能。OpenStorage API的合作伙伴包括EMC, FalconStor软件, IBM/Diligent技术公司, Quantum, Sepaton和Sun微系统公司。不过应用最广泛的OST合作伙伴是Data Domain。

Symantec和Data Domain声称Data Domain的OST版本的基于目标的重复数据删除应用运行速度比应用本身的速度快一倍。Symantec的信息管理集团资深副总裁Deepak Mohan说这是由于OST使得备份软件和去重复设备都能够看到另一侧的运作。

“这意味着NetBackup数据流被以更加高效的方式路由到去重复设备，块大小、目录传送和握手都经过优化，──恢复过程也经过了优化，”Mohan说。

Regency Centers的网络管理员Rich VanLare说和NetBackup的OST集成功能是和Data Domain一起卖给他的。“我有大约8个管理员来备份差不多140个服务器，我希望整个过程都非常简单，”他说，“通过OST，不需要处理虚拟带库层，如果你有一个新的服务器，你可以将它加入现有的策略中，然后就行了。”

VanLare还说他对OST的性能很满意。“Data Domain卖给我的时候承诺可以同时处理45个流，但是我已经接近90个了，”他说，VanLare还说他的去重复率也好于宣称值。“他们告诉我我们能够得到30%到60%的降低，但是我们实际得到了94.1%，”他说。

业界流传EMC也想在他们的NetWorker备份软件商增加类似OST的功能。一个公司发言人拒绝评论。

OST方法的缺点是它需要厂家之间的协作，而在激烈竞争的环境中不是每个厂家都愿意这样做。CommVault和Data Domain有很多共同客户，而且合作很紧密，但是他们的伙伴关系在CommVault想他们的备份软件中增加了亚文件级重复数据删除之后就告吹了。

VanLare说NetBackup的图形界面有时候会抵消使用OST带来的简单性。

“NetBackup还有很多工作要做，”VanLare说。“作为这个领域的首席产品，他们的界面有很多缺点。它很难用──就好像你能看到里面所有的机关一样，就像电影《骇客帝国》，看着各种数字飞来飞去，但是没有太多的可以简单点击的按钮可以用。”

基于软件的重复数据删除（如下表）通常为客户提供更多的灵活性，而且相对于基于硬件的方案，它能被用来向IT环境中的更多部门进行扩展。

请继续阅读盘点当今的备份中的重复数据删除方法（下）