高性能计算需要特殊备份方法

日期: 2009-05-19 作者:Alan R. Earls翻译:涂凡才 来源:TechTarget中国 英文

据IDC分析,高性能计算(HPC)服务器市场总额到2012年将达到156亿美元。然而,对于存储管理员来说,这却意味着他们将面临前所未有的备份挑战,这些挑战来自于HPC提出的一些特殊要求。 在备份和灾难恢复方面,高性能计算将带来两大难题:数据卷和文件卷。 HPC应用在处理大型文件时会带来非常大的工作量或数据卷。

Gartner分析师David Russell说道:“传统的备份方法可能不再适用或者需要的时间太长。比如,有些HPC文件可能达到PB级。” 有些HPC应用还会生成大量的文件——据Russell称有几百万个。通过操作系统和文件系统来看哪些文件发生了数据变更是个非常艰巨的任务。

要将这些数据传输……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

据IDC分析,高性能计算(HPC)服务器市场总额到2012年将达到156亿美元。然而,对于存储管理员来说,这却意味着他们将面临前所未有的备份挑战,这些挑战来自于HPC提出的一些特殊要求。

在备份和灾难恢复方面,高性能计算将带来两大难题:数据卷和文件卷。

HPC应用在处理大型文件时会带来非常大的工作量或数据卷。Gartner分析师David Russell说道:“传统的备份方法可能不再适用或者需要的时间太长。比如,有些HPC文件可能达到PB级。”

有些HPC应用还会生成大量的文件——据Russell称有几百万个。通过操作系统和文件系统来看哪些文件发生了数据变更是个非常艰巨的任务。要将这些数据传输到磁盘,或者说这些数据要穿过服务器和交换机可能需要的时间太长。总之,在HPC任务中直接应用传统备份方法无异于给自己带来灾难。

Russell还说到,要想替代传统的备份工具,HPC管理员可以利用基于阵列的快照技术和重复数据删除等远程拷贝技术。然而,并不是所有工作量都可以受益于重复数据删除。例如,已经被压缩的镜像文件通常无法被去重。

此外,有些提供数据压缩技术的厂商(如Ocarina Networks)已经找到了处理巨型文件和查找重复数据的办法,而且可能还有办法进一步改善这个过程。

但是,HPC环境下文件数量大的问题仍然是备份管理员的一大难题。“如果你有100万个文件,要读取这些文件会需要很长的时间。”Russell说,“有些HPC应用做一次全备份要花30个小时的时间,其中28个小时用于扫描文件、看哪些文件发生了变更。”

在没有资源限制的情况下,存储管理员至少还必须有必要的磁盘、电能和地面空间来处理所有这些备份任务。由于HPC环境通常是向外扩展的,有大量的服务器在处理数据,这让备份工作更加艰难。这意味着备份工作必须高度协调统一,因为你会希望不同服务器有不同的时间点。备份的协同可以通过一些强制性措施来实现,比如刷新缓存和设置自动校验服务器。

HPC允许短时间的停机

Mesabi集团分析师David Hill指出,很多HPC应用中少量的停机时间对于用户来说根本察觉不到。因为,很多计算密集型任务实际上是批处理任务。也就是说,只有整个任务完成用户才能看到结果,一个多小时才能完成的任务中间耽误几分钟很难觉察出来。

据Hill表示,这些类型的任务真正需要的是校验点/重启功能,也就是将计算环境的内存状态周期性地写入磁盘以便重启。

Hill还说到,根据时效性和数据价值的不同,执行高性能计算的公司可以考虑active-active故障转移策略,或者本地持续数据保护(CDP)以及虚拟磁带库(VTL)和标准备份-恢复软件包。

作者

Alan R. Earls
Alan R. Earls

TechTarget资深作者

相关推荐

  • 数据中心灾难恢复规划模板与指南

    阅读本篇有关数据中心灾难恢复规划指南,然后免费下载我们提供的模板,评估数据中心设施及其基础架构在灾难期间的表现。

  • 揭开灾备真相——行业现状及趋势

    笔者在上一篇文章《揭开灾备真相——那些年我们见过的灾备术语》里介绍了灾备领域常见的一些专业术语,本文将站在行业角度,介绍灾备市场的现状及未来趋势。

  • 揭开灾备真相——那些年我们见过的灾备术语

    作为数据保护的最后一道屏障,灾备系统的重要性不言而喻。IT圈好像一夜之间都在说灾备,那么到底什么是灾备?为什么灾备如此重要?未来发展趋势如何?本系列文章带你认清灾备真相。

  • 存储经理人2017年11月刊:如何选择正确的DRaaS供应商

    《存储经理人》2017年11月刊重点介绍如何选择正确的DRaaS提供商:DRaaS供应商应当具备四项关键技能,以能够全方位应对所有潜在灾害。本期杂志还介绍了下一代线性磁带开放标准LTO-8,云中数据存储的注意事项以及驱动企业采用云存储的主要因素,同时阐述了冷存储需求不断高涨以及二级存储的现代化转型等现状,提醒大家在文件同步和共享时应确保数据安全,以及如何为未来的闪存做好准备。