重复数据删除技术（De-Duplication）的早期雏形是文件级的Single Instance Stor技术，曾经广泛应用在文件归档和邮件管理中。基本原理就是把新增的文件与原有文件作比对，如果是相同的文件，就只在磁盘上保留一份，其他的通过一个指针指向这个索引，从而明显提升文件系统的存储效率。
　
    　重复数据删除技术所比对的对象为数据块而不再是文件。通过一个hash table将硬盘上的数据作比对，如果是新的数据就在hash table里建立一个索引，如果与从前的一个数据块相同，就用一个指针指向这个索引。这样，不但相同的文件只保留一份，一些大致相同的文件也可以得到很好的压缩。

    　传统的备份软件通过增量备份和差分备份的概念来节省存储空间，但这种方式往往会增大恢复数据时的复杂性，使用并不方便。基于重复数据删除技术的全备份方案所需要的容量甚至低于传统的增量备份。更重要的是此类技术的应用与数据格式无关，文本、多媒体、数据库甚至是用户自己编写软件均适用。重复数据删除技术应用实际的压缩比例同备份策略以及数据类型有关，一般情况下都可以达到10：1以上的压缩比，数据相似度极高的应用下500:1也并非不可能。

    　重复数据删除技术所带来的好处显而易见。首先它能指数级地提高磁盘的空间利用率，大幅度提升读写性能。由于数据量大幅度降低，通过广域网跨地域的集中数据备份成为可能。该技术还能提升磁盘备份的性价比，更多的磁带用户会因此被吸引而来。

    　重复数据删除的产品最早在2005年推出，到了2006年底和2007年初几乎所有的备份系统上都开始广泛引用。其中比较突出的有EMC Avamar Axion的重复数据删除和FalconStor的虚拟磁带库。

    　EMC Avamar提供了一系列的支持重复数据删除技术的数据备份软件，利用这种方式实现重复数据删除的意义在于可以利用传统的存储设备，而且可以边备份边处理，不需要专门的空间进行数据删除处理。而且在需要远程传输时，只传送处理过的数据。

    　FalconStor以虚拟带库可选件方式提供了对重复数据删除技术的支持，并不需要对原有的备份系统做出任何改变。它采用备份后再处理的工作模式，以保证备份效率。虽然FalconStor并不是第一个将重复数据删除技术应用于虚拟磁带库的厂商，但是由于它的广泛OEM合作伙伴和本身市场份额，特别是在中国致力推广此项技术，使得这项技术得以广泛的应用。