多环节数据去重

我们可以在从数据生产到目标存放之间的多个环节来进行数据去重的工作。在应用服务器或文件服务器上执行重复数据删除（即备份数据发送到网络上之前）叫做客户端去重。如果用户对降低带宽比较敏感，那么这个环节是非常重要的。另外一种称为代理网关去重，是针对备份服务器上的数据流。如果是在目标存储设备端实现去重，则叫做基于存储设备的去重。

基于存储设备的去重有两种模式，既可以在数据写入到硬盘之前进行（联机处理模式）也可以等数据写入到硬盘之后再开始（后处理模式）。

后处理模式的执行步骤是先以全备份的方式写入数据，在开始重复数据删除之前，备份数据的映像会写入到一个磁盘缓存区。所以一个与备份数据大小相匹配的磁盘缓冲空间对后处理模式来说是必要的，而这个空间的用途与去重后数据存放的空间是不一样的。这个缓冲区的大小取决于是备份数据完全写入之后开始去重，还是去重与数据的写入同时进行。其主要的差异在于，去重后所释放存储空间可以用于数据的写入。

联机处理模式是在数据从主机发送到目标存储设备这个环节进行数据检查和去重的。执行联机去重处理对备份性能会造成一定的负面影响，因为备份软件需要维护一个指纹数据库，而且这个库还会随着时间而不断增长。备份性能降低多少取决于以下几个因素--包括指纹识别的算法、重复数据删除的粒度、去重处理的位置、网络性能、以及如何分配去重的工作负载等等。

硬件去重与软件去重的对比

当今最流行的基于硬件去重的方案可以帮助用户在D2D备份环境中消减存储容量，但有些问题被掩盖了，而这些问题将随着应用环境的扩展和演变而不断出现。

软件方案与硬件方案的问题

在硬件方面，专用的硬件设备部署起来会更快，而且直接与现有的备份软件集成，用户能够体验到即插即用的好处。但是，使用硬件的代价是应用的灵活性和系统的可扩展性都会受到限制。如果需要增加容量，那么由此而产生的设备数量的“扩张”则不可避免，结果是不但提高了管理复杂度和管理费用，而且限制了每个设备只能独立的去重。

而用软件方案，磁盘空间的规划则可以更加灵活。分散的存储空间经过虚拟化管理之后，会无缝地集合成为一个大的虚拟存储池便于统一规划使用。软件方案在管理方面的开销会比较小，而且，因为数据是集中在一起做处理，所以去重的效果可能更好。而使用硬件的方式，去重操作则是分散到多个独立的设备。

像基于客户端去重和代理网关去重这样的软件方案，通过将去重的处理分散到更多的客户端或介质管理服务器上执行，同样可以做到性能的优化。而基于存储设备的去重则需要专用的硬件设备，并且需要处理完整的全备份负载。由于实施软件方案能够更有效的分配工作负载，因此软件去重方案在经过优化之后，性能有可能超过硬件方案。

软件或硬件之间选择，还取决于用户目前使用的备份软件的情况。如果正在使用的备份软件中没有提供重复数据删除功能或选项，那么更换软件对用户来说也是一个挑战。

作者Lauren Whitehouse是ESG（Enterprise Strategy Group）的分析师，擅长数据保护技术。Lauren在软件行业有超过20年的从业经验，过去主要从事市场和开发工作。

重复数据删除技术在磁盘备份中的应用（上）