“对于用户来说，用重复数据删除技术来应对数据快速增长的问题，是一个极具吸引力的解决方案。但是，您是否想过，自己的IT环境真的适合采用重复数据删除吗？”——Stephen J. Bigelow

重复数据删除功能可以集成在软件或者专用的硬件装置里，每一种存在形式都有它的优点和不足，本文将对各种去重方案做逐一的点评，同时简要阐述实施重复数据删除时需要注意的问题。

基于软件的重复数据删除技术

重复数据删除功能一般集成在某些存储管理软件（此类软件大多安装在专用的服务器上）、备份软件或归档软件产品中。基于软件的去重技术在部署成本方面通常比使用专用的硬件要低一些，而且在物理网络方面也不需要做很多调整。但是，软件产品的安装部署和使用维护方面相对复杂，试想，如果用一套全新的备份软件完全替代旧的版本，需要对系统设置、任务计划和报警阀值等配置都重做一遍，该是多么麻烦的事情。此外，在服务器端打开备份软件的去重功能，会增加系统的处理负担，而服务器也必须有更高的硬件配置才可以满足这些开销的需要。

EMC的Avamar是基于软件去重的代表。Avamar是一个部署在生产服务器（备份源端）上，使用SHA – 1哈希算法的in-band（带内）去重产品。Avamar采用了中央管理的体系结构，在中心节点检查整个部署环境中的数据变化，但实际去重处理则分散在每个客户端（服务器上）执行，数据经过去重之后，再通过网络传送到备份存储设备中。现在Avamar还是一个独立的产品，EMC计划在不久的未来将Avamar技术纳入其备份软件和虚拟磁带库（VTL）产品体系中。

赛门铁克也有自己的软件去重方案，在其高端备份产品Veritas NetBackup中有一个叫做PureDisk的模块，利用私有的哈希算法在主机端实现inline（带内）模式的数据去重。其最新的NetBackup PureDisk 6.2支持将磁带介质做为存储目标，也支持Backup Reporter备份监测报告工具。NetBackup 6.5备份软件是一个非常灵活的产品，除了自身提供重复数据删除支持以外，也有很好的集成能力，支持VTL和第三方的数据去重设备。

另一个采用软件去重技术的重要厂商是Sepaton，Sepaton S2100-ES2虚拟磁带库产品的核心软件是DeltaSotr，其中有一个支持重复数据删除的选项。DeltaSotr像PureDisk一样，采用私有的哈希算法，但不同的是Sepaton的方案在目标端 — 即S2100 VTL上做去重处理，因此该方案并不会减少网络上的流量。与其他厂商比较，Sepaton的特色在于：通常的设计中数据只有第一次是完全写，如果出现重复，会以指针形式指向第一个完全写入的版本；而DeltaSotr的做法是完整写入最新的数据，以前写入的重复版本则替换成指针指向最新的写入位置。