搭建一个生产环境下的数据存储系统，需要一个由一系列不同部件精良打造的架构。服务器（服务器集群）、CPU、内存、内部总线、主机总线适配器（HBA卡）、连接器产品、存储区域网络（SAN）组件，内部和外部的磁盘或磁带存储，都对搭建一个良好平衡的数据存储系统起到了重要的作用。如果不能提供足够的带宽以及备用的数据传输路径将对系统性能产生极大影响，同时可能随时导致灾难性故障。没有良好的存储架构规划的话，你甚至可能正将与之相关联的业务放在一个危险的位置。

　　在这篇文章中，我们将一起了解数据存储系统中的不同组件，包括服务器架构、SAN的各个组成部分、外部磁盘以及磁盘控制器。

　　服务器架构

　　不管是什么样的厂商，标准的服务器都会配备有一个连接到内存的CPU全套设备，以及一个或者多个用于提供对外围设备以及外部设备访问用的总线。

　　总线可以被看做是一条信息通道；上面有不同的“线路”，根据服务器的新旧，线路的数量或者线路上传输的速度也受着不同的限制。如果你机器的总线上有许多的通路，比如总线和接口的标准（PCIe）是x8，如果每条通路上的速度都已经达到了最大化，就可以让CPU高速地处理输入和输出的数据，同时也为CPU处理其他工作剩下了时间，而不会出现CPU在一旁等待工作到来的情况。在购买这些设备前，你需要从厂商那里充分了解服务器的价格以及其中每个部分是如何在一起工作的。

　　同时你还需要从厂商那里获知PCI总线和CPU连接的传输速度限制是多少。比如，内部互联的设计可能成为一个瓶颈，这个瓶颈会降低所有信息通道上数据传输的速度。

　　事实上，这样的情况在许多不同的服务器的总线桥接以及内部互联组件上已经出现。因此避免同样的问题再次发生，你需要向厂商们了解每个组件不同的规格说明。图片A展示了服务器架构上的CPU模块和总线。（点击图像看到大图）

图A 服务器架构上的CPU模块和总线

　　最后，服务器架构的目标是在总线上实现全双工。许多厂商都能提供读或者写方面的性能参数，但从不包含同时读写的情况。在一个磁带归档系统里，假定你要把数据由旧磁带迁移到新磁带上去。同时，你的应用将会对磁盘进行读写操作，而你的备份操作是通过从磁盘上读取数据，可能还会经过压缩，最后写到磁带里的。不要担心、害怕和厂商讨论有关这方面的问题或者I/O活动的问题。

　　主机/通道适配器

　　主机总线适配器或者主机通道适配器（HCAs）用于将外部设备同服务器连接起来。当然，也有可能通过使用网络适配器将数据传输到NAS设备上。不管是哪种情况，这些设备上的配置都是厂商默认设置好的，而这些设置在真正的生产环境中并不一定合适。你需要做的是了解这些参数的含义并且能够按照环境中特定的I/O需求来选择适合自己环境的参数。在购买产品后，厂商也一定会提供与最佳实践相关的文档帮助你了解这些参数，并在你调优数据存储环境的过程中为你提供帮助。

　　存储区域网络架构以及带宽

　　在生产环境中能够提供足够的访问磁盘或磁带存储的路径是非常重要的。假定你期望的传输速率是每秒800MB，而传输的通道限制是每秒400MB，那么这个期望就没有办法实现。需要注意的是，通过简单的操作是无法测量出传输通道的带宽的。我曾经听到一些客户说，他们通过将一个单独文件从内部磁盘拷贝到外部磁盘来测试传输通道的带宽。事实上，这样的测试没什么意义，因为内部磁盘的带宽受到单个内部磁盘速度的限制，而外部设备通常是一组做过RAID的磁盘组合。换句话说，单个磁盘的操作可能不能提供出一个期望中的测试结果。有一些基准测试的工具，用于测试当前环境下的数据流以及带宽情况。在这些工具的帮助下，你会为自己的系统可以提供如此好的性能而感到惊喜。

　　备用通路

　　备用通路在存储区域网络（SAN）设计中同样非常重要。如果你已经配置好了服务器，提供了充足的带宽以及备用通路，那么你的存储区域网络（SAN）将会发挥出良好的性能。备用通路的意义在于，一旦由于某些原因主要通路对数据的访问被中断，备用通路就会提供一条迂回的线路。访问中断的原因有很多，可能是线缆本身就有问题，或者是HBA卡被重置了，或者那条通路上的组件已经损坏了。在没有备用通路的情况下，发生任何小的问题，都会造成整个运营的中断。

　　存储区域网络交换机

　　了解存储区域网络交换机架构是非常重要的。厂商们通常在他们的交换机上使用多端口刀片或子卡。需要了解的是单点失败的平均等待时间以及如何降低这样情况发生的概率。比方说，你准备将带库里几个磁带的数据迁移到另一个带库里的几个磁带中去，如果将两个磁带连接到同一个刀片/子卡上，就会将降低平均等待时间。同一个刀片上不同端口之间的数据传输所耗费的时间将比同等数据在不同刀片间传输的时间要短。和磁带一样，你也需要将服务器连接到同一个刀片上。图片B展示了SAN交换机（点击图像看到大图）

图B SAN交换机

　　如图所示，第一台服务器中的磁带1和磁带2之间的数据传输平均等待时间得到了降低；而第三台服务器中的磁带1和磁带4之间的数据传输平均等待时间则比前者稍高。

  　外部磁盘以及磁盘控制器

　　外部磁盘以及磁盘控制器种类繁多，比如有串口ATA（SATA），SAS，光纤通道（FC），5400RPM，7200RPM，10,000RPM以及15,000RPM，它们单个容量分别为36GB到2TB不等。现在流行的固态硬盘（SSDs），或者闪盘，在有些配置中也会因为它的快速读写能力而被用于磁盘组或放在前端来　　提高整体性能。面对这么多的选择，应该如何选择适合你数据存储环境的那个产品呢？

　　为特定环境选择合适的产品组合取决于一系列的变量因素，在决定向厂商下订单前，需要仔细根据这些变量因素做规划。最开始的时候，可以着重从当前环境中已经有的外部磁盘阵列考虑。确保后端通道的外部磁盘存储阵列中RAID有均衡的设置，并且要求RAID设置使用的是同一种类型，相应的磁盘也需要是同样的容量和转速。在后端磁盘相关的通道上，需要注意避免通道冲突以及通道阻塞的情况发生。外部存储本身也会自带一些拥有监测性能的工具，可以用来检查错误，以便在发生严重的运行中断前自动将问题解决。在学习它们的时候，需要警惕那些警告信息，要确保厂商们提供了所有警告信息的真正含义。除非有问题被检测出来，否则控制器本身并不会产生任何告警信息。

　　确保完全了解管理磁盘的存储控制器的架构。正如前面所提到的，通常主机端会有几条不同的PCI总线连接到存储控制器上，其中一些会连到后端的存储磁盘上。在中部会将所有的这些总线桥接起来形成一个理论上的带宽。需要了解桥是如何工作的,检查是否有任何桥接元件设计上的限制强加于理论的带宽上。

　　文件系统

　　最后，需要确保的是能正确理解在RAID设置上层的文件系统。对于某些外部存储来说，数据块偏移问题将导致严重的性能问题。数据块偏移问题可能是因为数据块之间没有良好的同步机制而产生的。比如RAID设置中数据块大小是16KB，然而文件系统或者应用是按照17KB大小的数据块所设置，这样就会发生重叠现象，并且边界会被超越。边界超越的问题会导致存储控制器上工作压力超出预期，通常以读取，修改，写入操作的方式存在，这样也会影响原本可以用于应用上的带宽。

　　中小企业环境下，拥有一个良好的数据存储架构，对实现数据备份系统和服务器运行的性能最优化有着很大的帮助和深远的影响。架构中的每个组件通常都会有属于自己的可配置调优参数。作为存储架构经理，你需要确保每个组件都能发挥它的最大功效。即便如此，我们还是会发现，不管我们怎样调优，都没有办法达到所期望的性能指标。这也是我们需要对架构设计进行深入挖掘的地方，通过深入的了解来发现瓶颈究竟在什么地方。