物联网（IoT）被认为是企业需要部署和利用的下一个挑战。但究竟什么是IoT以及它将如何影响存储以及我们管理数据的方式呢？

物联网是指广泛的物理设备网络，这些设备会创建和共享数据，包括传感器、车辆、移动设备甚至是家用电器等。

对于企业而言，这可能意味着监控摄像头、运行工厂机器的服务器、从远程/分支机构或业务运营的任何位置收集的数据。

物联网的广泛性意味着数据中心以外的几乎所有生成有用信息的设备都可能成为物联网解决方案的一部分。

通常情况下，我们会认为，物联网设备是独立的受远程管理的嵌入式设备，例如摄像头，但情况并非总是如此。许多企业拥有分布式环境，他们在分支机构位置运行一个或多个服务器，以监控建筑物进出人员、环境控制或与企业本身直接相关的其他任务。

因此，物联网是指可在许多物理位置创建、存储和处理内容的设备网络。

分布式数据和物联网

这里最明显的陈述可能是创建的信息在数据中心外。

我们越来越多地将术语“边缘”用于描述在核心数据中心外执行的计算和数据管理任务。尽管边缘计算已存在多年，但物联网和边缘计算的最新发展其实是围绕在非核心数据中心位置创建的大量数据。

这给IT部门带来独特的挑战，他们必须确保这些数据得到充分保护、整理和处理。

大多数IT企业习惯准确了解其数据所在位置。而对于物联网，在保护所有内容方面，企业面临着更大的挑战，主要来自用户隐私和法规的影响，例如，通用数据保护法规（GDPR）。

分布式处理

由于可能在边缘创建非常多的信息，因此无法将数据移动到数据中心进行及时处理。

首先，这里涉及各种各样的设备，企业不可能将数据移动到数据中心，除非他们大量投资于外部网络。

其次，在很多情况下，存储全部内容可能无法最好地体现数据的价值。例如，对通过交通路口的汽车进行计数的摄像机不需要存储整个视频，只需报告特定时间段的汽车数量即可。这些视频数据可在将来某个时间传回或者简单删除。

第三个考虑因素是及时处理数据。IoT设备可能需要快速做出本地处理决策，而不是读取和写入数据到核心数据中心等待处理。

这种分布式数据和处理要求意味着企业需要将计算和应用推到边缘的功能，以及在很多情况下，在将数据上传到核心数据中心进行长期处理前预先处理数据的功能。

IoT信息生命周期

这将我们带到信息生命周期管理（ILM）的主题。

30多年来，ILM一直是IT企业的愿景。最初，这意味着随着内容老化且变得没什么价值时，可在存储层之间移动数据。最终，数据将被归档或存档。

在现代企业，ILM比以前更加细微。

正如我们所讨论的那样，数据在边缘创建，并可能由原位边缘计算设备预先处理。随着时间推移，数据可整合到核心位置进行进一步处理。

企业越来越多地开始关注通过人工智能（AI）和机器学习（ML）技术从所有数据中获取额外价值。AI/ML系统需要大量数据来训练模型以及开发算法，这些算法又可作为数据预处理的部分被推回到边缘。

在这个意义上讲，ILM并不是着眼于直接优化存储数据的成本，而是确保数据放在正确的位置以按需得到处理。我们开始看到信息从边缘到核心位置的流动，在数据最初创建后会持续获得价值。

IoT和公共云

IoT数据基本都是非结构化，因此可轻松存储在公共云基础架构中。

所有主流云提供商都提供基于对象存储技术的低端可扩展存储系统。公共云是存储企业生成的大量IoT数据的绝佳场所，因为它不仅提供高速网络，而且不收取数据入站费用。

公共云还有更多可供选择。云服务提供商已经扩展其产品，其中涵盖大数据分析工具，可提取和处理大量非结构化内容。这允许企业创建高度可扩展的ML/AL应用程序来处理数据，这可能比在私有数据中心更高效。

IoT供应商解决方案

在这个领域，我们看到供应商提供的各种产品和解决方案。下面我们来看看这些产品如何解决物联网和存储要求。

有些初创公司正在开发原位处理存储设备，可允许数据在边缘进行分析。

例如，NGD Systems公司提供一系列“计算存储”产品，这些产品看起来像传统的NVMe SSD，但可允许应用程序代码在该驱动器内运行。

同时，ScaleFlux提供类似的技术，可将常见任务（例如擦除编码、数据库加速）转移到存储设备。

亚马逊云计算服务（AWS）提供功能可将边缘数据导入AWS S3。Snowball设备是技术是坚固耐用的存储服务器，它可物理地将数据从非现场位置传输数据。AWS推出Snowball Edge，进一步扩展了Snowball的功能，它允许本地数据处理，无论是通过EC2实例或者Lambda功能。

Pure Storage、NetApp和DDN都开发了融合基础设施或硬件参考架构以使用存储来支持内部部署ML/AI系统。在他们的产品中，存储硬件可以极低的延迟性并行处理大量数据。

微软正在致力于Brainwave项目，可定制硬件来实时处理数据。这正在推动实时AI处理。

谷歌也已经在谷歌云平台（GCP）提供服务来处理大型数据集，并正在试图将该技术应用到行业垂直领域。仍然处于早期访问开发阶段，谷歌正在致力于定制ASIC硬件，可在边缘部署以进行初始ML/AI数据处理。

WekaIO、E8 Storage和Excelero等存储软件初创公司已经开发出产品可提供可扩展文件和块存储，以满足低延迟分析要求。对于WekaIO，其软件还可安装在亚马逊公共云（AWS）以创建使用NVMe存储的高度可扩展存储平台。

英国公司StorMagic提供使用SvSAN在边缘部署可扩展弹性存储的功能。该公司在风电场和零售店等边缘位置拥有数千个在标准虚拟机管理程序运行的SvSAN部署。

Hitachi Vantara的HCP可用作物联网数据的集中对象存储和存档。Hitachi的Pentaho平台等工具可以直观地显示这些数据，从而可以更轻松地构建数据管道，以供企业从不同内容商店中创造价值。

IoT挑战

在选择存储解决方案时，我们可明显看到，目前市场缺乏标准化。

现在没有明确的最佳做法或行业标准来确保分布式数据得到安全访问和传输到核心数据中心。数据通常以异步方式移动，这可能会使其与数据中心中的副本不一致。

随着时间的推移，数据存储和数据管理公司面临的挑战是开发标准和工具，以相同的安全性和一致性要求来处理数据中心外的数据和公共云及私有云的数据。