Alluxio存储平台,切入大数据市场
刚刚兴起的软件供应商Alluxi公司正试图在大数据存储市场搞个大新闻。
Alluxio是由麻省理工学院和加利福尼亚大学伯克利分校的研究人员开发的分布式虚拟存储层。其销售商(前身是Tachyon)声称他们的开放源码的平台允许任何计算框架跨越不同的存储系统以内存级别的速度访问应用程序数据。
Alluxio将空闲服务器内存转换为存储容量,用于处理Apache Spark和其他大数据负载。企业可以利用Alluxio从基于分布式计算框架的高性能应用程序平台中榨取更多价值。
Alluxio的设计目标是使用基于磁盘的批处理方法替代大数据体系结构中的存储。Alluxio软件被安装在计算层与底层存储之间,从而实现虚拟化的文件和对象存储。内存被划分成为柱状数据格式,替代传统的批处理方式。
不同的存储系统都被虚拟化到同一个统一命名空间下。读取和写入首先在内存中完成,同时热文件在内存中缓存,不活跃的数据分层迁移到后端存储。
软件提供两个版本:收费的Alluxio企业版和免费的Alluxio社区版。企业版的定价基于节点的数目,提供Kerberos身份验证和数据复制功能来确保高可用性。
Alluxio并不会直接跨集群复制文件存储。相反,数据(和元数据)的变更都是日志式的,并在所有节点的内存中保存记录。这种模式可以确保空闲节点在主服务器节点无法运作时能根据内存中的未完成日志记录立即接管后续任务。
Alluxio软件包括支持Amazon Simple Storage Service(S3)和Swift的对象存储接口。除了支持Apache数据库,文件存储功能还支持Hadoop分布式文件系统/MapReduce和Redhat GFS横向扩展NAS。
为获得最佳性能,原厂推荐在处理大数据作业的计算节点本机安装Alluxio软件。该系统只需在已有计算群集中增添硬件节点即可完成扩展。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
Dell EMC ECS更新侧重于安全性、管理和搜索
近日Dell EMC公司增强了其ECS对象存储的安全性、管理和搜索功能,ECS主要针对企业级客户,这些客户面对 […]
-
Pure Storage推出ObjectEngine备份设备
闪存存储先驱Pure Storage公司开始进入云备份领域,让客户可对亚马逊云计算服务(AWS)上的数据进行重 […]
-
Microsoft Azure存储团队想要更简单的闪存设备
通过参与开放计算项目(Open Compute Project),这个云计算巨头正在联手其他供应商打造“定制S […]
-
NetApp闪存产品深入云、边缘和物联网
新的NetApp闪存存储开始瞄准Docker环境和对象存储,而原本这些技术主要依靠旋转磁盘。 在NetApp […]