选择真正适合企业重复数据删除技术

重复数据删除（Data deduplication）无疑是存储行业近年来最热闹的技术，甚至有分析师认为重复数据删除是“10年来最重要的存储技术创新”。重复数据删除之所以在短时间内窜红，主要原因在于其诉求点非常简单—消除传统备份技术衍生出的重复存储数据问题，进而为企业节省成本，而这些诉求又恰巧符合了现今IT行业大力提倡的节能环保理念。
　　然而，今日的企业面临的数据保护问题相当复杂，备份数据重复储存的问题仅仅是冰山一角，但是，重复数据删除在某些厂商的华丽包装下，成了解决所有数据保护问题的“万能药”，导致用户对重复数据删除产品过多的期望，在对技术本身了解不够、欠缺全盘考虑的情况下便贸然部署了重复数据删除方案，结果却往往不如预期，甚至付出比省下的磁盘还要高的成本，因小失大、得不偿失。
　　用户在选择具备重复数据删除技术的产品时，如何针对真正需求理性做出判断，而不被销售广告和专业术语所迷惑呢？不妨参考以下几项建议：
　　不要掉入重复删除比率的迷局
　　几乎所有重复数据删除产品厂商都会强调自己可以达到多高的重复数据删除比率，有些甚至宣称可以达到500：1这样不可思议的数据。事实上，重复数据删除比率完全取决于数据的类型和备份策略，跟技术本身的关联并不大。举例来说，如果数据的类型为Office文件、电子邮件，由于数据结构本身的重复性高，能被删除的部分自然就比较多，如果是已经压缩过的影音、图片等文件，重复数据删除的效果就相当有限；采用全备份的重复数据删除比率，也远大于增量或差量备份，因此，比较不同产品之间的重复数据删除比率其实是没有意义的，更不能借些来判别产品的优劣。
　　重复数据删除不能影响服务器性能
　　某些采用资源端重复数据删除技术的解决方案，必须在生产服务器上安装代理程序来执行重复数据删除，无可避免的给生产服务器造成了相当大的性能负担。任何改变传统的数据保护方式，都必须建立在不影响系统运行的前提下才能被接受，换句话说，服务器的性能绝不能受到数据保护方案的牵制（无论是应用服务器还是，因此在这个前提下，目标端重复数据删除技术才是最理想的选择。以飞康最新推出的FDS为例，只对备份到FDS内的数据进行分析比对，然后再删除重复数据，前端服务器不需要安装代理程序，所有运行负载也都集中在FDS上，重复数据删除工作对生产服务器的性能毫无影响。
　　在线处理不见得比后处理好
　　重复数据删除技术依据数据处理方式的不同，分成备份与重复数据删除同时执行的在线处理（Inline），以及备份完成后执行重复数据删除的后处理（Post processing）两种，有些厂商宣称在线处理才是最先进的技术，这其实是错误的观念。
　　事实上无论采用哪种数据处理方式，绝大多数重复数据删除技术都是基于业界标准的哈希算法（Hash），仅有少数采用自主开发的专利技术，其运行方式也都大同小异：追踪核对数据区块，当新数据写入硬盘前先经由系统的扫描与核对，判定硬盘上是否存有相同的副本，如果有的话，这部分数据将只存入一个指向该副本地址的指针，不会重复储存，进而达到节省磁盘空间的目的。两者的差异在于，在线处理运用了大量的内存作为数据写入硬盘前的缓存空间，后处理则是先将备份数据写入硬盘后，再进行分析比对，然后删除重复数据。
　　乍看之下，在线处理似乎是效率比较高，但是，有两个问题不可忽视：
　　1.数据处理速度慢：在线处理在备份资料写入前，必须先暂时存在内存中执行内容比对与删除演算等工作，这些动作会消耗大量CPU资源，亦会不可避免的拖慢备份速度，某些产品的备份性能甚至比磁带机还差，这样很容易导致备份窗口不足，能在要求时限内完成备份的数据量也相对变少。
　　2.可靠性令人担心：在线处理方式由于是在数据写入磁盘的同时进行比对、删除重复数据、保留文件指针，没有校验、核对的机制，也就是说，没有厂商敢保证文件经过重复数据删除后，恢复时的数据是100%正确无误的，万一数据处理的某个环节出现错误，系统内储存的备份数据就只是一堆无法识别的代码，不得不令人担心其可靠性问题。
　　相比之下，后处理方式的重复数据删除技术就不用担心性能和可靠性的问题了。还是以飞康FDS为例，由于备份数据传输过程不受重复数据删除运行程序的干扰，能充分发挥高速磁盘的I/O处理能力，如果搭配备份服务器的Hosted backup主机式备份功能，还能运用服务器内部的高速链路取代速度较慢的以太网，消除备份服务器到存储系统间的传输瓶颈，进一步提升备份的性能。在可靠性方面，FDS即将推出的一致性校验功能（Self integrity check），可在备份数据写入磁盘并执行重复数据删除后，进行文件指针与单一存储区块比对的工作，如果发现有任何错误便会自动修复，确保所有处理过的备份资料都能正确恢复，系统可靠性与数据安全性更有保障。

漫客  发表于: 2009-12-16