由于存储经理们急需降低备份数据量，重复数据删除(data de-duplicantion)技术从而成为近来十分热门的技术。但是大家对于重复数据删除的基本概念却知之甚少，经常把重复数据删除、压缩算法技术和单一实例存储混为一谈。尤其是重复数据删除与单一实例存储，本身在表现形式和功能上有较多的相似之处，在概念上更加容易混淆，本文将深入分析二者的异同之处，并指出何种条件下，客户应该如何选择。

　　在本篇文章中，我们将会从多方面探讨重复数据删除，并澄清以下问题：

    　1. 什么是重复数据删除？ 为什么该技术适合备份应用？
    　2. 重复数据删除的重大意义及其客户价值
    　3. 影响重复数据删除效率因素
    　4. 对比单一实例存储，它的优势又在哪里？

　　什么是重复数据删除？
    　按照ESG(Enterprise Strategy Group)的定义，重复数据删除是一个减少或消除冗余文件、字节或数据块的过程，从而确保只有“独一无二”的数据被存储到磁盘。重复数据删除又被业界称为容量优化保护技术（简称为COP技术）。COP技术被用来降低数据保护时对容量的需求。

    　由于我们存储的数据具有很高的共性——用户之间、服务器之间甚至同一文件（如Office文档）的内容是通用的。重复数据删除按自然边界把数据拆分为非常细粒度的子块单元，用指针代替相同的子块单元，从而达到显著降低存储空间的目的。利用重复数据删除，1TB的备份数据可根据备份数据的共性，存储为300-700GB不等。

    　重复数据删除的真正价值在于处理已存储过的数据，特别是以下情况：

    　• 从不同的服务器备份相同的数据（公用操作系统文件、应用程序文件甚至电子邮件和附件）
    　• 大部分内容为“静止”的“活跃”数据，例如数据库、文档、电子表格和演示文稿
    　• 已备份过一次的数据

    　最值得注意的是最后一种类别。由于备份操作具有高重复性的特征，日备份和周备份的数据大致相同，变化率至多只有5-10%。因此，可以利用数据重复删除技术进行高效的后续备份。特别是针对完全备份的应用场景，如果每天都做完全备份，在这种情形下，每月实现10:1到50:1的备份比率是完全可能的。