数据湖架构面向多数据源的信息存储,包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。但数据湖架构可不仅仅是一个巨大的磁盘而已。
尽管IT部门起初更多担忧的是数据湖的成本,但数据持久性和安全却是需要优先考虑的因素。很多选择都能交付一个合理的成本,但并非所有都能满足数据湖的长期存储需求。挑战就在于数据湖中很多数据永远不会删除。这种数据的价值在于它要那来分析以及和年复一年的数据进行比对,这将抵消其容量成本。
这就是所谓的数据持久性——对于那种一经存储未来5-10年都有价值的数据,它必须是可读的。所有形式的介质都将随时间推移降级。数据湖存储系统必须通过持续的检查避免这种降级。如果发现有损坏或降级的数据集,系统就会利用复制或纠删码制造副本。
在数据湖架构中,信息安全作为另一项挑战往往被人忽视。相比于其它,这种类型的存储安全要更加重要。数据湖架构从定义上看是将所有的鸡蛋放在一个篮子中。而如果其中一个存储库的安全被破坏,那么未知方将可能访问所有数据。很多数据都以已于读取的格式存储,像是JPEG、PDF文件——如果你的数据湖架构不够安全,那么信息损失很容易。
因此建议实现多个级别的安全控制,例如:
加密数据湖中所有数据。由数据类别和单独的键值生成的加密将有效的限制数据泄漏,并不影响应用访问。
数据湖中所有数据副本应离线存储于另一位置。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
2018年关于IT领域的一些预测
2017将尽,在挥手告别昨日之际,更多的是对未来充满的希望。让我们来看看2018年的一些预测。在专家看来,2018年的IT将悄然发生如下变化,如数据湖将超越Hadoop等等。
-
远离勒索软件 维护业务连续性
勒索软件已经成为今天信息安全方面最大的担忧。从业务连续性的角度来看,勒索软件是各个组织面临的重大风险。本文将从信息安全和业务连续性方面入手介绍各项技巧,帮助您的组织严密保护数据,远离勒索软件的威胁。
-
紫光西部数据合资公司南京正式成立
9月初,紫光集团旗下紫光股份与美国存储公司西部数据于中国南京正式成立合资公司紫光西部数据(UWD)。合资公司的控股组成为紫光股份持股51%,西部数据持股49%。
-
面向大数据分析 NetApp推入门闪存阵列E2800
当前,客户可订购NetApp E2800存储产品的混合阵列和全闪存阵列了。而最新的SANtricity OS升级包含了在NetApp阵列上定义逻辑数据湖的工具。