Toigo:使用纠删编码应对位衰减

日期: 2013-05-14 作者:Jon Toigo翻译:Chris Zhou 来源:TechTarget中国 英文

随着数据存储容量的增长,由位衰减(数据中的单比特错误)导致的问题越来越让存储管理员感到头疼。在这次的Storage Decisions视频中,Toigo Partners International公司的创始人、灾难恢复专家Jon Toigo讨论了一种可以帮助降低数据错误风险的方法——纠删编码(erasure coding)。

Toigo指出,尽管数据中发生位衰减(也称静默损坏)的频率很低,但是随着存储容量的增长,发生位衰减的几率会随之增加。

“位衰减有过很多名字,它表示数据在被写入时被损坏,或是在它所在的位置被损坏,”Toigo说。“其实,这点你不用担心,因为它发生的几率只有1016之一(这个数字是一块SAS或光纤通道硬盘发生位衰减的几率)”。而90块SATA硬盘会有一块发生静默损坏,相当于每67TB的数据会有一个错误。所以根据你拥有的数据量的大小或存储的大小,你可能会有多块硬盘出现问题。

Toigo引用的一个研究表明,5%至10%的无法自动恢复的存储系统故障都与位衰减有关。许多现有的数据保护方法也有它们自己的缺点,如数据完整性区域(DIF)标准并没有被大部分阵列控制器支持。其它方法(如文件系统级校验和)又会影响存储阵列的性能。

Toigo认为,纠删编码可以作为一个数据保护的方法,它将数据分解成对象级碎片并存储到多个位置,而数据在需要恢复的时候还能重建。

Toigo说:“纠删编码会处理你正在写入的应用数据,将它们发送到解析引擎并创建对象。这是纠删编码对数据处理的算法。它将这些对象分解成碎片并将它们存储到其他位置,这样你可以在任何硬盘上将其中的一个、两个或三个对象加入到数据重建算法中,然后你就可以重建这个对象的数据了。和使用RAID不同,你是将对象分解成多个部分并将它们存储在整个存储阵列中。这种数据保护的方法就像一个骗局游戏(shell game)一样”。

Amplidata公司的云存储产品目前正在使用类似的技术,他们称之为BitSpread。“它能通过有效的比特位重建数据,无论数据在云端的哪个位置。”Toigo说。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐

  • 2016热门数据存储技术

    我们的2016年热门科技名单又一次跟读者见面了!在过去13年里,我们一次次地跟读者分享了新的一年里最好的、前景最光明的技术。和以往一样,对于我们介绍的这批技术将会带来的深远影响,我们充满自信。

  • 位衰减对RAID的危害

    尽管RAID的地位根深蒂固,并且在数据保护的工作上做的很好,但一些简单的数学和一个更开放的思想可能会带领你找到一个更好的选择。

  • RAID技术与宽条带化、纠删编码技术的同步

    通过本篇您可以了解到:今天的RAID系统,同时还会了解为什么诸如宽条带化、存储虚拟化技术和纠删编码会逐渐改变RAID的最初设定。