专家对重复数据删除如何选择的问答(1)

随着企业业务的逐渐增多，数据量越来越大。面对这种情况，越来越多的企业寻求支持重复数据删除的产品。重复数据删除通过有效地减少数据，消除备份成为降低数据存储成本的重要技术，成为大家关注的焦点。在国外这种技术已经比较成熟，那么在国内的情况如何呢？我们针对重复数据删除在国内的应用情况对SEPATON技术支持中心高级工程师杨涛进行了采访。
请问国内客户对重复数据删除技术的接受程度如何？在您的客户中采购支持重复数据删除技术设备的比率为多少？
杨涛：SEPATON作为最早在国内市场上推广重复数据删除技术厂商之一，最初确实遇到了用户对这种技术存在着种种疑虑的状况，比如曾经有金融业用户担心重复数据删除是不是修改了用户原始数据，是否违背了诸如萨班斯法案等相关法律法规的要求。但近年来随着重复数据删除技术的成熟以及各大厂商的宣传推广，用户对相关重复数据删除技术的实现已经非常了解，疑虑也已经基本消除。目前在咨询SEPATON相关产品的用户中，近80%的用户希望购买或者了解重复数据删除技术。
您认为国内客户对重复数据删除的支持程度如何？
杨涛：近年来国内信息产业的发展非常迅速，在很多单位，信息系统已经从原来意义上的支持部门演变成支撑部门，一字之差其重要程度的变化不言而喻。但与此同时，业务数据的指数增长也带来非常严重的问题。在SEPATON的客户群中，很多用户为有限的机房面积和迅速增加的阵列、磁带库等设备而头疼；并且，我们已经不止一次遇到用户在购置存储备份设备时提出电力消耗方面的限制条件。而事实上，几乎每一个数据中心的管理人员都清楚，其所购置的设备、电力、人力等资源其实有很大一部分浪费在重复的数据上——这一点在备份领域尤其突出。所以，目前，对于在备份系统中采用重复数据删除技术，国内用户的支持认可度是非常高的；而在线存储系统中，由于对实时访问性能的要求以及其它诸多因素的影响，用户的认可程度较低。
Sepaton的DelatStore是如何帮助客户简化数据管理的？是如何运作的？
杨涛：大体上，DeltaStore删除重复数据的基本步骤包括五个阶段：数据收集、数据识别/比较、数据重组、完整性检查和空间回收。
在数据收集阶段，DeltaStore通过比较新备份数据和先前的备份缩小分析数据的范围，使用“内容已知”数据库辨别它们之间可能的重复和相似数据。
第二阶段的数据识别比较过程中，DeltaStore以字节为单位分析数据收集阶段标志出的相似数据对象。如果数据收集阶段创建的工作表表明需要进行数据识别，那么软件就会用delta差分算法确定备份组中哪些数据是唯一的、哪些数据是重复的。该算法可以有效地以字节为单位映射发生变化的数据，并且对数据对象内的变化或者位置改变不敏感，所以，即使相关的对象之间发生明显的结构改变，该算法仍可以定位冗余的数据。如果数据收集阶段从元数据级别认定备份组中的数据和前一个备份相同，那么在数据识别阶段将以字节为单位对数据进行比较。
第三个阶段中，数据被重新组装，放入临时的“保留磁带”中，新数据被保存，前一阶段被标出的重复数据被已存数据的指针替代。对备份软件而言，保留磁带和真正的磁带完全相同，只是存储在新磁带中的数据远少于真正的磁带上存储的数据。该过程的最终结果是产生一份经过副本删除的备份组视图。
第四个阶段是可选的，会在实际删除所有的重复数据前，软件执行一次检查，以保证数据100％的完整。
最后DeltaStore从存储空间中删除冗余的数据，释放先前被占用的磁盘空间以备他用。

军军  发表于: 2009-07-17