依托英特尔架构 为渲染行业“定制”云存储

日期: 2014-06-16 作者:吴迪 来源:TechTarget中国

在IT产业中,“定制化”是最近一个比较显眼的字眼。在IT硬件设备趋于同质化的同时,如何让IT设备更适合行业应用是很多企业正在思考的问题。在江苏常州创意产业基地笔者采访到了一家专门从事三维图形云渲染服务的公司——赞奇科技。赞奇科技总经理杨昕吉与笔者分享了在渲染这个细分行业中,企业需要什么样的IT支持。

了解应用什么样的解决方案之前,我们不妨先了解渲染行业的需求。渲染在动画制作中指的是用三维软件CG的原始模型设置物理的光影和材质的信息生成各种连续帧的图像的过程,是影视动画作品制作的最后一步,也是极为消耗资源与时间的步骤。在电影工业蓬勃发展的今天,渲染所需时间也呈现爆炸式的增长。赞奇科技的业务内容就是把图形高密度计算通过云计算手段面向CG行业(电脑图形/数码图形行业)提供在线实时渲染服务。杨昕吉为我们举了一个实际例子,2013年的《疯狂原始人》的渲染消耗是8000万核小时,2014年年初上映的《冰雪奇缘》渲染时间更长。


赞奇科技总经理杨昕吉

赞奇科技总经理杨昕吉

渲染行业对IT的需求有它自身的独特之处,杨昕吉总结道,“集群渲云平台是典型的I/O密集型高性能计算应用,任务提交到集群调度系统后,Head Node为任务指派空闲的Computing Nodes或进行队列编制,Computing Nodes接到调度指令后立即到存储路径下读取待处理的数据,该过程是多节点并发的,存储系统并发I/O吞吐压力与集群规模成正比,在渲染任务处理过程中,所有渲染节点仍然会有和存储节点的频繁数据交互过程,直到每个节点分别完成各自分配的渲染任务并将结果回存至存储目录下。存储系统的I/O吞吐压力在渲染作业执行过程中持续存在且在任务分发阶段最为明显,存储系统的性能偏低会导致Compute Nodes迟迟不能从存储节点拷贝到数据,进而影响渲染作业的启动。

如何给出合理的框架和有效的设计方法,来建立高性能、高可伸缩、高可用的文件存储服务,是摆在系统设计者面前极富挑战性的任务。”

根据杨昕吉的介绍,赞奇科技在云计算数据中心第一期搭建时采用的是传统的磁盘阵列方案,存储读取设备的性能一直成为数据中心的瓶颈。在第二期数据中心建设时,赞奇科技选择了扩展性很强的分布式存储系统——云存储模式。在这期项目中,赞奇科技与江苏集云信息科技有限公司开展了合作,采用了集云的云存储一体机产品。有效解决了集群的效率和瓶颈问题。在项目上线的后期测试中,服务器CPU的占用率和存储的占用率均下降了30%,占原有系统的三分之一。存储的访问速率提升了三倍多,整个项目已经突破了500台机器,通过英特尔至强服务器,系统能够实现自动负载均衡,大大降低了CTO。

江苏集云信息科技有限公司CEO陈宝辉介绍说,集云云存储一体机是以英特尔参考架构为基础设计的产品,不但借助了英特尔的品牌优势,最主要的是享受了英特尔的技术和服务优势。云存储的重要特征就是横向扩展,用低成本的存储服务器进行横向扩展达到高性能需求是赞奇科技选用集云云存储的一个关键。


江苏集云信息科技有限公司CEO陈宝辉

江苏集云信息科技有限公司CEO陈宝辉

陈宝辉表示,云渲染需要两大能力,计算能力和存储读写能力。二者是并行的,当500个节点同时工作时,对性能要求极高,单节点预算缓慢都会拖后腿。通常而言,这些问题出现在存储部分而非运算部分。集云科技根据英特尔的参考架构打造了云存储一体机,在面向赞奇的产品中采用了英特尔E5芯片,在一体机中装配了存储、服务器和全部系统,并根据渲染的峰值需要进行设备调优。

在云存储的硬件方面,集云与赞奇一起将投资做到最低。在硬盘的选择上,选用了最廉价的SATA盘,而非光纤盘,将数据并行写到多个SATA盘上,也能够达到光纤盘的效果。英特尔帮助集云和赞奇进行了调优,根据不同的存储对象,不同的文件大小等进行相应的调整。

在管理特性方面,集云云存储一体机也借助了英特尔架构中的诸多特性,如防锁死等,这些参考设计很多也是基于开源程序的。

采访之后我们参观了赞奇科技的数据中心,这个数据中心是全定制化的,采用玻璃空间隔离,水冷散热,据介绍POE值可以达到1.3左右,远低于行业平均值2.0。最值得一提的是,数据中心采用的了托盘式机架,除了成本方面的节约外,性能和散热效果也非常不错。我们知道,Facebook的数据中心中普遍应用的是托盘式服务器,但这在国内还不多见。赞奇数据中心的这些服务器都是集云科技与英特尔合作定制的,根据渲染需要做了很多简化,如去掉了USB接口,不但节约接口成本,还免除了日后维护时检查端口的麻烦。


赞奇科技的数据中心

赞奇科技的数据中心

赞奇科技与集云合作的500台机器的项目已经上线投入使用,已经先后服务了一千多家三维制作工作室,并成功了完成几部即将上映电影的后期渲染工作。目前,赞奇科技的客户还主要集中在江苏、浙江等省市。杨昕吉表示,在赞奇承接的项目中,动画电影的后期渲染量是最大的,赞奇已经与米粒影业合作成功地渲染了《龙之谷》这部动画片,最终目标是希望赞奇的平台可以承接好莱坞电影的后期渲染。

对于未来的IT规划,杨昕吉表示,他将与集云继续探讨下一期项目的合作,力争打造2000到5000台机器的规模。随着机器规模的扩大,尤其是达到5000台以上,存储出错率会随之升高,未来,赞奇将与集云和英特尔进一步探讨怎样解决这些问题,满足大规模渲染的需要。

随着行业的细分,企业级IT定制化是一种必然。赞奇科技的案例仅仅是一个缩影。无论是行业企业自身、集成商还是基础架构厂商都将不断思考,IT有标准,但有些方面也可以说没有标准,所谓最终标准只有一个,那就是客户的需要。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

吴迪
吴迪

2008年入职TechTarget,负责旗下存储网站、网络网站和安全网站的内容建设,长期关注企业级IT技术发展。发表大量原创作品,同时带领编辑团队推出电子杂志《存储经理人》。

相关推荐