据IDC报告显示，2011年全球数据量达到了1.8ZB，相当于全世界的人每人手里有约5部Iphone手机的全部容量，而且全球数据量大约2年翻一番,到2020年将达到40ZB,非结构化数据约占90%。这些浩瀚如宇宙的数据信息需要可靠存储的同时，还需要被大量的使用者快速访问，高效的检索、分析与挖掘。因此，继物联网、云计算之后,”大数据”已迅速成为信息化技术发展的热点，各行业对于大数据技术的应用也渐呈白热化状态。如何更方便管理大数据，如何更快速地将大数据技术应用到企业业务中，如何更有效实现企业大数据的价值成为了各大企业争相竞逐的热点。

赛思信安公司凭借在海量数据存储、优化、安全与管理等领域的多年研发积累，推出了赛思大数据一体化解决方案，即Scistor BDMS赛思大数据管理系统。该系统以其精简、智能、高效、开放及本土化设计的五大创新理念，展现了先进的设计思路和独特的技术魅力，攻破了多项国内数据存储和计算领域的关键技术，如：分布式存储、多源异构数据整合、重复数据删除、并行计算等等，受到行业内厂商与专家的高度关注，赛思信安也一跃成为国内在大数据核心技术领域里具有自主创新能力的领先厂商。

下面，我们简单介绍一下Scistor BDMS 赛思大数据管理系统软件架构的几个层次及主要技术特点。

 
Scistor BDMS软件架构

上图可见，Scistor BDMS 赛思大数据管理系统架构分为四层。最底层为数据管理平台，负责完成数据存储与计算。其中ddfs采用的是赛思自主创新的高效数据消冗引擎，即赛思消冗技术。赛思消冗技术结合了定长分块技术和变长分块技术的优点，形成了文件感知消冗技术，一方面占用少量系统资源，另一方面达到很好的消冗效果；检索引擎主要负责完成实时查询与全文检索，赛思检索引擎支持多种检索模式，一份数据既支持实时查询，也支持离线分析，还支持全文检索和MR并行计算；分析引擎主要负责数据离线分析；分布式计算引擎采用share-nothing架构，负责系统并行计算，实现并行计算编程模型和运行时框架，从而为数据分析层提供强大的计算能力。

第二层为数据分析层，主要基于数据管理平台提供的数据进行存储与计算，在此基础上完成数据的分析挖掘。第三层为数据展示层，该层主要为用户提供经过检索、分析后数据的在线展示，包括报表、趋势等多形态效果展示。最上层为应用结合层，Scistor? BDMS提供多种二次开发接口，可以针对客户不同业务应用定制不同的模板，形成具有各行业特色的大数据应用整体解决方案，满足各行业用户应用的不同需求。

Scistor BDMS赛思大数据管理系统与市场上几款主流国外厂商的大数据产品相比，还具有以下特点：

· 较原有Hadoop系统，Scistor? BDMS与Oracle数据库很方便的结合。原有Hadoop支持简单的sql语句查询，基本为K-V查询。BDMS查询语义更为丰富，支持绝大多数标准SQL语句，支持组合查询，支持模糊检索，支持聚合查询等；

· Scistor BDMS可支持MapReduce分布式计算框架；

· 原有Hadoop系统中不同组件，存放数据格式不一致，而Scistor BDMS存储格式统一，在一份数据上Scistor BDMS同时可支持实时查询，离线分析，全文检索及MapReduce计算等；

· 支持的检索模式丰富，除了Hadoop的KV型检索，还支持多维检索、模糊检索、正则表达式检索；

· 原有Hadoop组件Hive支持SQL语义稍微丰富点，但性能极低，Scistor BDMS支持SQL语义丰富，而且查询性能极高；

· 融合了赛思的消冗技术，对数据存储空间利用率及数据处理效率有比较明显的提高；

· Scistor BDMS对小文件存储进行了优化，可以支持亿级海量小文件高效的存放与读取。

Scistor BDMS赛思大数据管理系统可广泛应用于政府、商业智能、金融、能源、互联网/物联网、教育科研、医疗卫生、智能交通、智慧城市等诸多领域。在这些应用中该系统首当其冲的可以解决其激增的多源异构数据的统一存储与管理；其次是与行业应用相结合实现对其数据的快速检索、分析与挖掘；再者是根据数据分析结果为用户提供报表、趋势等多形态效果展示，实现人与数据智能沟通，去除一个个的信息孤岛，助力企业在大数据时代创造更高的商业和社会价值。