接上《2013年I/O技术境况分析（一）》

那么，为什么要采用PCIe接口呢？为什么不用以太网？支持存储及网络I/O服务的接口协议有多种。比如，以太网及Infiniband接口都可以支持采用iSCSI协议来实现存储业务，因此，它们也成为了服务器应用中高带宽TCP/IP网络业务的缺省选择。iSCSI已经成为了连接服务器节点与外部块存储设备的成熟选择。因此作为I/O扇出架构的候选，我们需要对这些传统的协议及接口进行研究。

图2 PCIe与其他总线协议对比

总之，鉴于在成本、系统集成、SSD应用的功耗等方面的显著优势，以及在CPU（服务器级的CPU均在芯片上带有大量的原生PCIe通道）及SSD两端均是原生接口，PCIe已经成为了I/O扇出式存储协议的首选。

为了更全面的考量，依据Chelsio （一家最先进的iSCSI加速NIC供应商）于2013年四月公布的数据，利用Chelsio T5 NIC (http://www.chelsio.com/wp-content/uploads/2011/05/T5_iSCSI_Brief_Multiple_Initiators-040313.pdf)我们将采用PCIe来连接单个高性能NVMe SSD和服务器级CPU与采用以太网连接的开销做了比较。由于PCIe是服务器CPU及NVMe SSD上的原生接口，将SSD与CPU相连只需要一个无源PCIe x4 Gen3 线缆即可；而用以太网连接则需要在CPU节点上加入一个iSCSI加速40GE NIC以iSCSI发起人模式运行，而且在目标iSCSI桥上需要另一个40GE NIC来提供以太网I/F，同时，还需要一个目标CPU来运行iSCSI目标堆栈以及在连接到SSD的以太网与NVMe端口之间适配I/O与数据流量。

图3 与单个NVMe SSD 的性能相当的40G 系统设计之上的高级iSCSI的状态

上图中展示了Chelsio报告中描述的测试系统，提供了2013年4月发布的带有全面加速能力的用于40G 以太网NIC 的T5 ASIC的性能指标。该报告显示，Chelsio T5 ASIC （以及 基于T5的网络转接卡）可以提供约40Gbps的顺序访问的吞吐量，与单个PMC NVMe SSD的 吞吐量能力相当，然而，NVMe设备的IOPS能力（大约780K IOPS）远远超出了Chelsio在试验测量中提供的IOPS数据（64KB的块大小实现约66K的顺序读IOPS）。即便将iSCSI的性能缺点忽略不计，此图中的注释也标注出了采用以太网之上iSCSI来处理存储数据所需的成本及功耗（系统成本>$6000， 系统功耗>1000W）。相比之下，若采用原生PCIe 接口，则SSD连接无需额外成本，而主机及目标设备上PCIe接口也只需要2W功耗。

量化分析得出的结论非常有说服力，基本上排除了在CPU与SSD之间的I/O网格上采用以太网的任何可能。而针对除原生PCIe及原生SAS/SATA接口的其他接口协议作出的分析都会得出类似的成本/功耗上的损失。因此，我们的结论是下一代I/O架构必须是基于PCIe、SAS/SATA，或是基于某种融合型的能提供支持PCIe、SATA（如果应用需要SAS HDD/SSD支持的话也许还包括SAS）原生接口的架构。

此外，在过去十余年间，SAS I/O网格已经承继了许多对于实现高可靠性/可用性/易于管理的系统至关重要的概念/能力，并对此进行了持续的演进。服务器/存储阵列/数据中心的系统架构自然而然会期望，在未来的I/O架构中，这些能力都会继续存在，主要包括：

· 热插拔/动态拓扑支持——系统允许主机、存储及网格设备动态地彼此相连或者断开连接（动态拓扑改变），与此同时，还能维持硬件部件、主机物理机、操作系统、虚拟机、客户操作系统以及应用级和所有可用系统资源的正常运作。

· 故障隔离——局部出错、动作失当、硬件/固件及软件层面的故障能够得到控制及隔离，从而缩小其影响范围，确保系统层次的稳健。

· 设备功耗管理——监控各项活动并控制及管理系统部件的能耗状态，在软件控制下实现节能

· 机壳管理（SES及/或BMC）——监控物理操作状态及物理包装边沿（可能是机壳、机架、板、托盘、滑板或驱动器槽等等）、控制风扇、电源并提供指示以辅助人工干预（比如，使用闪烁的LED来帮助修理工找到需要替换的故障单元）。

· 网格可扩展性——多主机共存与设备共享

请继续阅读《2013年I/O技术境况分析（三）》