案例学习：NFS替代品满足高性能计算需求

[size=2]　　位于新墨西哥州的洛斯阿拉莫斯国家实验室里的高性能计算（HPC）小组正在寻找NFS协议的替代品来改善它在超级运算处理方面所遇到的问题。
　　洛斯阿拉莫斯国家实验室是联邦政府的武器研究机构所在地，他们采用Panasas公司的网络附加存储（NAS）设备存放研究相关的数据。
　　然而，高性能计算部门的负责人，Gary Grider说道，实验室不能使用NFS协议用作武器研究因为它的规模还不够大。因此，实验室里使用了Panasas专有的DirectFlow并行客户端技术，此外还采用了IBM公司的通用并行文件系统以及Oracle公司的Lustre并行文件系统。
　　Grider表示，他十分有兴趣看到并行网络文件系统（pNFS）的问世是否能带来传统网络文件系统所缺乏的可扩展性，同时，他也承认并不指望通过使用这项技术来解决实验室中所有有关并行处理方面的需求。他希望实验室能在可行的时候将并行网络文件系统部署在数千台节点上试试。他说，“我认为如果一下扩展到数十万或者百万个处理器上可能会遇到问题，没有什么技术可以一下适应这么多节点的。”
　　对于Grider来说，几千个节点其实是个很小的规模。位于洛斯阿拉莫斯国家实验室的超级计算机们有几十万个处理器以及数万个计算节点。引述Grider的话，用于存放这些计算机的建筑大约占用了十万平方英尺的面积，里面的设备每年大约需要三千万瓦特的电力供应，这样下来，每年所消耗的成本就大约在三千万美金左右。
　　对于超级计算机使用的处理器的平均宕机指标（MTTF）大约为八小时到二十四小时之间，实际上其中的处理器每天都会有数次宕机，如果要求的计算周期为18个月，那么处理器宕机则会成为一个严重的问题。
　　实验室使用的是Panasas公司的ActiveStor系列7和8的产品，另外还有采用DirectFlow技术的HPC系列产品用于执行还原点的创建以及恢复点重启应用的运行。通过使用Panasas技术，能够将还原点数据导出到后端的存储设备里，写往磁盘的多路并行数据流的速率能够达到每十分钟有四十到一百TB的数据。实验室里面同样也采用了GPFS文件系统以及Lustre文件系统来执行类似的操作。
　　[hide]洛斯阿拉莫斯国家实验室于2004已经在武器研究上使用了Panasas的并行NAS，因为它可以支持一台100 teraflop计算机。值得提出的是，一台teraflop计算机能够每秒执行十亿次浮点计算。
　　Grider说，“如果没有Panasas的DirectFlow，Lustre文件系统或者GPFS文件系统，我们不可能做到那些。NFS不能帮助我们实现那些我们想实现的目标，因此我们需要采用像DirectFlow这样的技术和产品，它也在我们的工作中帮了大忙。”
　　即使现在实验室里采用了许多的DirectFlow产品，Grider的团队必需采取一些预防工作来保证它们的超级计算机实时在线。
　　Grider说，“超级计算机每八小时左右就会遇到一些部件宕机或者任务失败的情况，因此我们需要经常在机器真正宕机前进行一种名为还原点重启的操作。在那个时间点上，我们检查应用和数据所存放的位置，然后将它们存放在磁盘上。”
　　当任务被重启的时候，Grider的团队会参照存放在磁盘上的最近一次的还原点，将数据从磁盘上读取出来，然后加载到内存里，之后再将它们释放出来。Grider说，通过18个月计算，系统会告诉我们核武器爆炸的时候里面究竟发生了什么。
　　创建多个还原点所面临的挑战在于要求还原点应用能在一定时间内导出多个TB数据文件到后端存储。Grider说，“我们购买了这些超级计算机用于计算，而不是用于处理I/O。但是，由于需要创建多个还原点，我们也的确需要它们来处理I/O。我们希望把长时间花在计算上而不是在还原点的创建上。如果我们能越快的创建还原点，那么我们就能赢得更多用于计算的时间。”[/size][/hide]

同类  发表于: 2010-08-11