用NVMe取代磁盘时代的SCSI协议，从而可以充分释放闪存的力量。但到目前为止，各家设备供应商在就如何构建NVMe产品生态这点上，远远未能达成共识。

30多年来，存储行业一直依靠小型计算机系统接口（SCSI）协议保持服务器与存储、以及磁盘阵列内部的通讯。尽管物理连接技术不断演进，该通讯协议一直以来保持相对稳定。

然而，伴随着Nand闪存存储的问世，问题随之凸显。闪存的性能较机械磁盘快出了几个数量级，能够并行处理多项请求。伴随着供应商在可扩展性方面将驱动器容量提升至数十个TB，SCSI日益成为闪存利用率的瓶颈所在。

而今，非易失性存储器（NVMe）作为一种全新的协议，被认为将取代SCSI，充分发挥出Nand存储的优势。

NVMe与闪存的潜在力量

NVMe是一种协议，而非某种封装形式或媒介类型。支持NVMe的物理设备有多种形式，例如AIC（接插卡或是传统上的PCIe卡）、U.2（类似传统的硬盘驱动器）以及M.2（一种记忆棒）。这些全部使用PCIe作为接口总线。

NVMe降低闪存通信过程中所涉及到的软件延迟，改善了硬件的中断时间（即处理器到设备的性能），并且相较于SCSI增加了并发处理请求的能力，同时支持更深层的输入/输出（I / O）队列（65,535个队列深度）。最终实现了更高的吞吐量（IOPS和数据量）和更低的I / O延迟。

已经有供应商开始应用NVMe，并在他们最新的高速磁盘阵列产品中使用该技术。这带来了一种全新的体系架构，NVMe over fabric（NVMf），能够同时充分利用到光纤通道和以太网网络。

我们来看下各家供应商的解决方案，探讨他们如何在现有和今后的产品线中使用NVMe。

存储产品中的NVMe

X-IO以其ISE系列磁盘模式封装而闻名。其最近通过全新的Axellio平台扭转了财务困境，该平台采取2U机架高度的双控制器架构，最多支持4颗Intel Xeon E5-2699v4处理器（共计88内核），高达2TB的DRAM，以及1至6个FlashPac，每个FlashPac最多可容纳12个双端口NVMe固态硬盘（SSD）。假如配置6.4TB的驱动器，那么系统的整体容量目前可达460TB。

系统的核心是一款被称为FabricXpress的PCIe架构，将两个控制器分别与每个双端口驱动器相联。这使得X-IO能够以35μs的延迟获得高达1200万IOPS（4KB），以及60Gbps的持续吞吐量。Axellio的设计核心是双控制器架构，但其具备的88颗内核可用作传统存储设备或横向扩展平台的基础。支持额外插件模块的功能实现了运行分析或支撑其它流程密集型工作负载的能力，这就是NVMe架构真正具有价值的地方，使得计算尽可能贴近存储。

Pure Storage在2017年4月发布了FlashArray//X架构，升级现有的FlashArray架构。事实上，FlashArray产品早已通过引入全新的//X70控制器，以及DirectFlash NVMe驱动器模块支持NVMe功能。与FlashArray//M相比，这款产品降低了一半的延迟，性能吞吐量提高了两倍，Pure称之为四倍的性能密度。虽说FlashArray // X在性能改进方面看来并非是突破性的——注意客户仍然必须在前端使用标准的光纤通道与iSCSI协议——但其性能密度的改进精简了占地空间。 Pure在单个机箱的3U机架空间内，可以实现近乎PB级的存储容量（大约比原先节省了80% 的占地空间），同时比上一代FlashArray // M具备更高的性能。

更有趣的是，Pure在未来会面向NVMe-over-Fabrics发展，从而提高前端性能，同时可以单个控制器内解决更多的闪存容量问题。DirectFlash机架尚未上市，但Pure已经承诺在系统扩容时支持512TB的附加闪存，并且通过融合以太网（RoCE）技术支持50Gbps的以太网速率，以及远程直接内存访问（RDMA）技术。

在面向NVMe-over-Fabrics方面，Excelero是一家初创型公司，正努力借助NVMf来开发一个名为NVMesh的横向扩展节点架构。 NVMesh系统具有多个通过融合以太网和RoCE，使用被称为远程直接驱动访问（RDDA）的专有技术实现多组控制器互联。这种方式实现了任何节点均可以访问系统中驻留的驱动器，而最小化，甚至消除处理器性能的损耗。与Axellio一样，NVMesh可以以超融合形式部署，由每个节点提供计算和存储资源，或者作为专用的存储平台，计算节点的形式运行客户端数据块驱动应用。

不过，NVMesh作为软件解决方案的模式进行销售，客户可以使用自己现有的硬件，或是从合作伙伴那里购置，例如Micron将NVMesh合并到其SolidScale产品当中。 Excelero声称，NVMesh可以近乎100％发挥出主机NVMe的性能，这种松耦合式的架构自然是很有意义的。但这远非完美。目前，数据保护仅限于RAID-0、RAID-1和RAID-10，不支持存储空间的压缩——除非在客户端额外单独实施。但是这些都已罗列在日后的路线图上。

E8 Storage是另一家使用光纤结构连接客户端与存储的初创企业。 E8-S24和E8-D24系列设备将I/O路径和控制平面分为单独的硬件。 E8磁盘架上分别可安装24块NVMe SSD驱动器，提供四到八个100GbE网络连接。一个单独的机架可以使用RDMA NIC连接多达96台客户机服务器。数据服务（可用性和管理服务）则经由一对不位于数据通道上的E8控制器负责处理。

和Excelero一样，E8 Storage通过系统管理分散NVMe容量，并将控制器从I / O路径上移除。这样提供了更大的系统扩展性，而无需在每个控制器中部署大量的Xeon处理器。但是，使用额外的驱动程序确实引入了客户端的复杂性。E8声称能够实现100μs（读取）、40μs（写入）的低延迟，确保1,000万次的读取IOPS，100万次的写入IOPS以及40Gbps和20Gbps的读写吞吐量。

另一家初创企业，Apeiron Data Systems使用基于网络的NVMe，同样在数据通道上避开控制器。这种情况下，Apeiron的ADS1000平台使用被称为NVMe-over-Ethernet的协议，其要求在每个客户端中部署定制化的主机总线适配器（HBA）。该HBA使用Intel Altera FPGA来封装NVMe请求，并通过以太网的第2层协议发送，从而实现低至100μs延迟的横向扩展架构，每个机箱最多可实现384TB的存储容量（24块16TB驱动器） 。有趣的是，Apeiron还引用了英特尔Optane的性能数据，声称可实现12微秒的读/写延迟。这代表着，去除控制器瓶颈的体系结构在性能方面处于绝对领先的地位。

最后，我们还要提及到Kaminario，该公司最近发布了它的K2.N平台。这是一个可实现模块化组合的存储基础架构，允许独立地扩展磁盘架和控制器。在后端，Kaminario控制器（c.nodes）使用NVMe over Fabrics访问存储容量（m.nodes）。在前端，除了光纤通道和iSCSI之外，系统还支持NVMf，扩展了支持的主机接口类型。

NVMe闪存架构未来之路在何方？

我们会看到三种不同的模式出现。

在主机连接上使用NVMe-over-fabric来代替光纤通道或iSCSI。这不需要新的硬件，因为现有的HBA完全可以支持NVMf。

将控制器从数据路径中移除的松耦合架构。其中大多数需要定制或（可能）更昂贵的HBA和主机驱动器。

在系统后端使用NVMe-over-fabric的趋势。

我想，在不远的将来，可以期待NVMe在所有要求高性能的解决方案中全面取代SAS和SATA。客户面临的挑战可能则是如何实现用全新的共享存储取代传统的共享阵列。这意味着要以更为宏观的角度思考整体架构——或将沿着超融合基础架构的发展路线。