信息的记录伴随着人类的整个发展历程:从最初的结绳记事到仓颉造字,每一种信息记录方式的变革往往都会推动文明的进步。今天,信息数据的重要性毋庸累述。无所不在的传感、定位、识别技术产生了前所未见的元数据量;廉价而可靠的存储系统与虚拟化技术可以轻松加以储存;基于高速传输所实现的并行计算与处理能力的提升亦使得信息处理不再困难。所有这一切,便如我在《大数据产业革命》所提到的,我们已经进入一个由数据统御的时代,各行各业、任何位置、任意时刻都在产生、传输、储存、消费数据,形成社会向前的驱动力量,犹如发动机通过石油的燃烧产生源源不断的动力。
石油,一百年前的人们对待它的态度就与今天我们看待数据时颇为类似。知道它……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
石油,一百年前的人们对待它的态度就与今天我们看待数据时颇为类似。知道它们背后都孕育着巨大的力量,不断追求、占据、加工、并加以利用。在百年之前,石油的利用率不到20%,在上世纪五十年代美国的Hubbert甚至提出过石油枯竭的论断,但随着石油使用效率的不断提升(今天约为90%),这一切始终没有来到。数据同样如此,建立在累积起的庞大数据上我们在经营分析、产品开发、市场营销、统筹管理等各种领域实现更为智慧,甚至自动化的决策。当然,今天大数据的利用尚处雏形,我们仍在不断探索新的建模与模型,验证数据有效性的方式,解决数据隐私与安全性的问题之中。
那么,对即将拥抱大数据的我们,该如何做好准备?
格局决定视野。如果将数据看作拨云睹日的视野基础,如何架构储存数据的存储系统,便视作企业的格局所在。自动识别、无线传感与定位等AIDC技术(Automatic Identification & Data Capture)可以轻松帮助我们找到、捕获的数据;磁盘、计算、网络技术仍遵循着摩尔定律使我们已可承受的价格负担数据的储存处理。面对大数据时,我们的挑战并不在于缺乏存储与计算资源,更不会是缺少元数据基础,而是如何建立起一种适应企业融入大数据时代的存储架构模式。
格局决定了以信息为基础的智慧决策是否能被长期有效地执行,即在大数据时代,存储系统的架构模式至关重要。这种存储架构应当是稳定可靠的,并有足够的灵活性应对未来的需要,职业生涯中见到过太多次客户为了适应新的业务要求而不得不彻底抛弃原有架构,进行大规模的数据迁移,如同古代的印度文明为一波又一波征服者所擦拭、重构;再擦除、新建,不断颠覆。
很多时候判断、选择存储架构是从某个时刻的具体需求而来的。某些地区发生灾害会使我们缺乏对数据安全性的信心,于是倾向于选择更高的安全级别;当新的业务产生、数据吞吐量大幅增长时我们感受到业务端的压力,所以采用更灵活、性能更好的磁盘系统。存储系统供应商也经常适时地向我们抛出各种理念“两地三中心”、“统一存储”、“对象存储”……于是不少企业级客户的存储演变成了各家厂商不同时期的方案展览中心。
我并不是说这些存储理念存在什么问题,而是在进入储存量高速增长的今天——想象下你所在的企业会和滴滴一样每天会产出50TB的额外数据。假如缺乏完善综合的存储架构规划,你很难在大数据时代奠定高瞻远瞩的视野格局。
如何考虑大数据时代的存储格局?
从最初存储只作为计算设备外设到独立外部存储购置,从磁盘阵列的购置与扩容到整体存储架构设计,今天的企业级客户在规划数据储存时的所思所想,正在改变。存储不只是磁盘、磁带等介质;而是一种实现数据储存的方式,兼顾安全、灵活与高效,或者用时兴的话说,软件(服务)定义存储。
所有一线存储厂商在两年前便开始这一举措,通过完整的存储方案为用户规划在实时数据分析、云存储、虚拟资源池、数据安全与一致性保护等大数据应用领域的存储架构。如果用户在今天仍然只是购买这些厂商的磁盘而忽略了其它部分,无疑是非常遗憾的。
这里举Spectrum Storage的例子,Spectrum Storage是IBM官方命名,中文是光谱存储,意在突出其中的各个元素的整体性。个人却认为其本质上是存储架构所需考虑的六个方面,即扩、展、安、保、统、管。
“扩”是指实现大数据存储环境中所必须的智能基础架构分层,包括在短时间内扩增存储容量,而不需过度的额外调整设置。在传统的架构中这种子存储的安装、设置往往会花费很长时间。同时便捷的存储扩展也从另一个角度保障了业务连续性,即便捷快速的数据迁移服务可以确保主数据灾害发生后,快速从备份站点重启业务。这对那些由数据驱动的行业,例如金融、医疗、电信等至关重要,这些行业中的客户通常拥有着复杂的传统系统架构,良好的扩展性能够帮助他们在混合云或廉价的通用性硬件上以较高的成本效益管理数据。
相对于“扩”,“展”代表着文件系统以上的数据融合,从而实现信息的单点管理。除了磁盘空间的池化整合,大数据环境中各种文件类型、文件与对象用例亦需要整合到数据中心单个横向扩展的存储层级,使得数据对应用表现为全局可访问,并应该能够根据数据文件的访问热点状况进行分层。市场上有不少全局性文件系统的产品,例如红帽、微软等。
对传统环境中存在大量异构存储架构的用户而言,“统一化”的存储管控显得尤为重要,特别是当传统磁盘阵列缺乏某些功能时,例如存储分层、数据加密等。市场上的存储融合解决方案可以充分保障用户原有投资,实现自动化的数据分层,从而让固态磁盘、高速光纤、SAS、近线磁盘、乃至磁带共同作用于同一个存储环境中,并在未来保持充分的可扩展性。统一化的方案还可以给传统设备带来更多特性,比如加密,不同磁盘阵列级的加密模式各不相同,早期的设备本身并没有系统级别的数据加密,通过统一管控可以在所连接的存储媒介上部署一致的加密方式,更进一步确保数据的安全性。
在整合存储媒介之后,用户需要能够辨识存储设备中使用与闲置的资源,并在各不同厂商的设备间调整、管理、监控。在计划外故障发生时,用户需要快速定位,找到问题出在哪一层,哪一台具体的设备上,从而透过全面的管控,自动化与分析。将不透明的物理架构封装为直接明了的逻辑架构,实现高效管理,便是“管”所要做到的。
第五项“安”是指经由数据保护平台进行备份与恢复操作。这样做的目的在于实现所有规模范围的虚拟、物理和云环境进行可靠且经济有效的备份和快速恢复,从而降低数据保护成本、保护数据并实现灵活的方案部署。
最后,“保护”代表着数据的长期存放。通过磁带、离线磁盘或廉价的公有云形式将数据长期有效地储存起来。在金融、医疗、法律等需要满足数据合规性的企业,用户经常需要存取管理这些离线数据资料,因此保护方案需要将资料方便地呈现出来而无须对底层媒介作出调整。
上述这些方面仅代表着目前能够预见到的大数据发展方向。在预测未来或许每天都要面对PB级非结构数据的大数据时代,在基础架构与数据前置处理方面都会需要更多基础性技术的变革,但在当前即作出富有洞见的架构规划,尤其在存储方面,则直接决定了企业在可以预见的将来,所处的高度。
相关推荐
-
是时候重新思考软件定义存储了
软件定义的存储市场似乎为用户带来了价值,但为什么还没有广泛采用呢?这其中一个原因是自建SDS的部署模式还没有被广泛接受。
-
存储经理人2017年9月刊:容器化你的存储
《存储经理人》2017年9月刊重点关注容器领域的企业级持久数据存储技术,未来我们将看到使用服务器闪存和新兴的持续性闪存的容器认知缓存,并且和持续存储层相结合。同时,NVMe over Fabrics对存储网络环境的革新有目共睹。另外,复制数据管理(CDM)专注于保护生产数据和改进生产数据副本的管理,正在走向主流。
-
软件定义存储市场迎新品 曙光与NetApp共推HyperStor
作为软件定义存储的两种重要形态,ServerSAN和HCI可在传统硬件平台上轻松实现计算和存储资源的灵活供给。中科曙光与NetApp共同发布曙光HyperStor软件定义存储产品家族。
-
准备好迎接超融合基础架构设备了么?
HCI(超融合基础架构)市场中鱼龙混杂。在评估使用各项方案时,你应该了解这些对你至关重要的功能。