主存储数据缩减方法，如重复数据删除和压缩，在2010年中期，当戴尔和IBM公司在数据缩减领域收购很多公司的时候，得到了业内的鼓励和提倡。但这两家公司在这个领域并不是唯一的开发者，还有很多主要的存储厂商也正在主存储领域方面开发新的产品，这些产品将对未来有更大的影响。

　　“一年前如果你问我，我会说主存储优化的前景还不明确。现在，情况有了很大的不同。我们周围的重复数据删除，内容优化和压缩技术都有了明显的不同，”马萨诸塞州的Taneja Group高级分析师Jeff Boles说，“主存储优化在文件空间领域已成为了一个复选框(checkbox)项目。当它走到了block存储的时候，基本就达到了我们的预期。”

　　重复数据删除，蔓延到主存储

　　虽然主存储数据缩减方法变得很有趣，但它仍然是依靠早期的重复数据删除和数据压缩技术，而且也没说多长时间可以完全解决。

　　NetApp公司2007年在其FAS和NearStore中加入的重复数据删除技术, 如今已经是备份领域中的一种成熟技术。 NetApp推出的是基于容量的，后处理重复数据删除(post-process deduplication)，能够有效的消除在VMware虚拟环境的虚拟机操作系统中的冗余数据。 NetApp公司还计划加入压缩，并为重复数据删除增加16TB的容量限制。

　　它的竞争对手EMC公司两年前在主存储上使用文件级重复数据删除和压缩，是基于一个文件系统的基础上，在它的EMC Celerra NS系列系统上作为一种操作系统的免费特性。八月份的时候，EMC公司在它的Clariion CX4和Celerra NS线上把数据缩减扩展到基于block的数据上，同时引入了LUN压缩。

　　除了NetApp和EMC，厂商在主存储数据缩减领域的探索大多都是刚开始，直到七月，戴尔购买了Ocarina Networks公司。Ocarina公司的主存储数据缩减设备结合了重复数据删除和复杂的内容识别压缩算法，一直应用在嵌入式重复数据删除产品内，并计划通过OEM来销售给存储供应商。

　　在Dell-Ocarina发表声明的十天后，IBM也宣布了购买Storwize公司的计划，Storwize公司也出售实时数据压缩设备，并且也主要通过OEM形式交易。

　　在数据缩减领域的其他厂商还包括Compellent的存储技术公司(该公司计划明年增加重复数据删除)，GreenBytes公司， Nexenta系统公司 和甲骨文(以Sun的ZFS文件系统为基础的重复数据删除)。

　　位于康涅狄格州斯坦福的Gartner公司研究副总裁David Russell表示，重复数据删除大约需要五年时间才赶上备份空间，但预计主存储重复数据删除和压缩的时间会比较短。 无论是重复数据删除和/或数据压缩在任何情况下都会很有意义。

　　“虽然公平的说，这是一个不断发展的，新生的市场，但针对主存储的数据肯定是越来越少的”Russell说。

　　戴尔和IBM公司在主存储数据缩减领域的探索可以在未来几年看到一个深入的路线图。但技术如何有效的帮助IT部门解决爆炸性的数据增长仍然是一个悬而未决的问题。

　　然而，The INI Group LLC的创始人和集团有限责任公司的高级分析师Tony Asaro预测， 主存储重复数据删除是“在未来几年必然发展的”，并且“客户已经开始要求它，”的一项技术,不过他同时也指出,目前客户在做重要存储决定时，主存储重复数据删除还不是优先考虑的项目。

　　“如果性能对你来说是非常重要的，你很可能会想把它作为一个后处理程序(post-process);如果实时管理能力对你是最重要的事，那么你很可能会希望它是联机的，” 他补充说：“摩尔定律使得近年来服务器CPU性能大幅提升,这确实使重复数据删除更可行。因为[重复数据删除]是CPU密集型的计算，特别是联机应用时。因此，你需要更快的处理器，让他们的速度越来越快。”

　　戴尔的主存储数据缩减前景

　　或许，最全面的数据缩减领域的远景声明主要来自戴尔公司。 Ocarina公司前产品副总裁乔治卡特，现任戴尔的策略和业务发展总监，他表示供应商计划“在每一件产品中都有一致和兼容的重复数据删除”，包括存储，服务器和某些类型的应用。

　　乔治表示,在系统之间移动数据，压缩和重复数据删除的形式不仅能为磁盘节省空间，而且对存储管理任务的速度也有效果，如复制，备份，归档和分层，同时也能节省网络带宽和程序的电能。

　　他预测，供应商提供主存储数据缩减方法将分为两种方式：一种是从技术上更好，更快速删除重复或压缩他们的数据，另一种是通过端到端的IT基础设施的能力,来消除系统中的冗余数据。 如HP(惠普)公司和IBM公司，他们也销售服务器和存储，在端到端的方案中，他们将成为潜在的竞争对手。

　　但是，由于重复数据删除和压缩的专利技术，来源于客户从同一个供应商那里购买使用相同技术的多种产品，或选择产品。 如果不这样，系统就必须把数据备扩大回以前的规模，在它进入支持其他厂商的重复数据删除和/或压缩技术的产品之前。

　　为了实现其终端到终端的愿景，戴尔公司不得不面对由不同的备份模式带来的挑战。来自于CommVault系统公司，EMC / Data Domain和赛门铁克公司。这些用户将在戴尔/Ocarina的主存储和其他厂商的备份中使用重复数据删除。

　　“长远战略是看我们能否在所有主存储上获得备份方面的某些兼容性，”乔治说，“在不久的将来，戴尔/ Ocarina的目标是与主存储的东西结合起来，也许我们将来也可以和备份的厂商合作。”

　　在主存储领域，戴尔公司计划把重点放在用技术把NAS和基于块的存储产品的技术相整合，，让用户察觉不出来底层的技术。乔治表示。

　　“我们深信，嵌入到文件系统的重复数据删除非常有意义，”他说，“到戴尔产品有文件系统时，你会看到我们的重复数据删除嵌入到文件系统就像现在重复数据删除在ZFS上一样简单。”

　　乔治表示用户可能会看到两个层次的产品：一种是“Ocarina Basic”，顾名思义就是用简单的重复数据删除和作为内置存储系统的一种内置特性，很可能是免费的。第二种叫做“Ocarina Advanced”，就是内容感知压缩机和更复杂重复数据删除方案，可能需要额外收费。

　　据乔治表示，戴尔很可能出售的NAS设备，就像Ocarina Network在收购前做的，他们对Ocarina的计划很有兴趣，即继续为NAS供应商提供一个嵌入式版本，也就是直连存储(DAS)选项和Windows服务器的嵌入端口。

　　IBM与HP的主存储数据缩减战略

　　IBM公司近来对Storwize收购声明和戴尔的路线图非常相似，除了对服务器的讨论。IBM的官员表示，该公司将在整个IBM的存储产品中嵌入Storwize压缩。 IBM还改名Storwize作为IBM的实时压缩的NAS设备，并讨论计划使用新的存储虚拟磁盘阵列，这还不包括数据还原能力的Storwize品牌的主要产品。

　　“客户不希望看到一个复杂的存储环境,例如一个博科交换机，IBM的光纤通道压缩设备和EMC阵列这种多品牌产品混用的情况,” Storwize的技术战略前副总裁，现任IBM的全球存储效率传播者Steve Kenniston说， “未来是所有技术都将是嵌入的。”

　　戴尔的乔治回应，Kenniston声称该文件系统的方法，如甲骨文的ZFS体现，是主存储数据缩减方法正确的模式。“如果我能在文件系统中做到这些，为什么不做呢?” 他说。

　　据IBM的市场部经理Victor Nemechek表示， IBM公司计划在明年年初在它的ProtecTier在线块级重复数据删除备份产品增加一个文件系统接口， Nemechek表示这可能促使客户在主存储上使用ProtectTier。

　　“这几乎全部用于现在的备份，但我们看到用户表示他们想把它用在主存储上”Nemechek说。

　　IBM并非唯一一家调整其备份重复数据删除的厂家。 惠普计划把其StoreOnce备份重复数据删除用在主存储上。 公司高管表示，他们最终将把惠普StoreOnce技术扩展到X9000的NAS产品上。 但惠普 StorageWorks产品营销总监李约翰并没有把主存储作为惠普的重复数据删除技术路线图的优先选择。

　　“我用怀疑的目光看惠普是否可以实际在主存储上使用StoreOnce，因为它开发时就是作为备份重复数据删除开发的” INI集团Asaro说， “这些是不同的技术和不同的算法。”

　　标准化是白日梦吗?

　　戴尔和惠普最终设想的这种端到端的能力，在系统之间传递或删除重复数据，压缩，将被限制在他们的专利环境，除非有一个互操作性标准。

　　不同厂商的重复数据删除和压缩技术像雪花一样，没有两个是一模一样的。 一些操作内嵌或实时，其他是后处理(post-process.)。 一些运行在固定大小的数据块内，其他运行在可以快换大小的块内，有些比其他获得更多的颗粒。 一些使用复杂的哈希算法来找出相同的数据，有些则用简单的算法。 有些让用户定义的重复数据删除的范围;有些把重复数据删除限制在一个特定的存储卷或文件系统。

　　“如果我是一个用户，我会问，’既然他们做的都是同样的事，为什么我必须处理无穷的重复数据删除和压缩算法?” NetApp存储效率解决方案一个高级营销经理Larry Freeman说， “问题是，现在，你已经有了一个非常有竞争力的环境，没有人愿意分享，因为这样他们将放弃他们的专利和知识产权。”

　　Freeman表示，存储网络工业协会(SNIA)会议上的一个话题是重复数据删除的标准化。但“当我们意识到在这点上不会发生时，我们很快就停止讨论了。 ”

　　“没有人会坐下来讨论，因为没有人愿意把他们的重复数据删除和别人的做比较，”Freeman继续说到， “没有人愿意说谁的重复数据删除是最好的，谁的是不好的。”