重复数据删除与数据压缩

重复数据删除和压缩已经存在了很长一段时间，最早由微软在PC上引入，而NetApp将其引入存储阵列，现在几乎所有磁盘阵列供应商都会提供此类功能。目前对磁盘阵列的重复数据删除和压缩主要有三大挑战：

1. 重复数据删除和压缩会改变写入数据的大小。最后的数据量可能相差很大，有可能比原始数据更大或更小。这会导致盘上数据的分片存储，加上一些复杂的数据碎片和元数据，这些在低速磁盘都很难管理；

2. 磁盘驱动器对进行了数据缩减后的数据很难支持大量的访问（例如5倍的访问量），除非是一些数据访问率很低的应用（如深度存档应用）。磁盘驱动器的访问密度很低，这意味着，重复数据删除和压缩后的数据性能表现更差；

3. 存储控制器进行数据缩减处理和管理的开销很高，传统的双控制器存储架构本身可能会导致显著的性能影响，特别是与其它存储阵列软件共同作用时，例如数据复制。

Permabit公司为传统的存储阵列推出了高级数据缩减技术，并于最近宣布与EMC、NetApp和其他公司的合作伙伴关系。 Wikibon的研究表明，在混合阵列的闪存部件上使用压缩和重复数据删除功能，是有令人信服的场景和用例的，但在基于磁盘的阵列中却少有应用程序可以做到。

闪存可以支持重复数据删除和压缩的原因是，闪存的访问密度要高得多，比机械硬盘高100倍以上。但存储和阵列控制器的开销仍然很高，因此闪存阵列需要针对性设计以尽可能地减少开销。

关键点：闪存可以将诸如重复数据删除和压缩等功能作为其标准配置，在通往电子数据中心的道路上增加了一个沉甸甸的砝码。