福建移动BOSS系统备份十年经验谈

几乎所有的企业都会做数据备份，但是数据备份的作用和效果，往往要等需要数据恢复时才能发现。就像买保险，不出险的时候，人们很难体会到保险的价值。因此，对于备份系统的建设，备份策略的执行，很多时候人们并没有像对业务系统那么认真，效果好坏也不为知。中国移动通信集团福建有限公司（以下简称福建移动）业务支撑中心IT经理林志云从2000年开始一直负责备份系统的建设，十年的时间里积累了广泛的经验。通过他的介绍，我们发现数据备份领域有不少鲜为人知的事，不是从事数据备份工作的人很难体会到。
备份不成功时有发生
大多数企业都已经部署了技术先进的备份方案，但很少有企业会执行常规性的可恢复性检测，以验证备份是否可行和成功。实际上，诸多原因可以造成备份系统失败或数据丢失的现象。有些企业等到真正需要那些备份数据时，才发现原来一些重要的数据并没有备份成功，或者虽然当时备份成功了，但后期因种种原因不能成功恢复,直接造成严重的经济损失。
2009年1月19日至2月18日，福建移动采用EMC公司的数据备份评估分析服务，针对其当前BOSS系统数据备份的实际运行情况，进行了为期一个月的评估，测评的结果显示备份的成功率平均高达99.99%，没有达到100%的原因是，2009年2月3日有两台服务器备归档日志出错，该日志已被其他备份任务备份并删除，所以数据实际上已经被100%成功备份，这是一般备份系统很难达到的高度。
当前行业内备份系统的平均水平，可以其它两个兄弟省份公司的近期备份评估结果为例，2008年7月8日至7月30日，经过对”甲”公司备份系统进行测试后发现，其中有个服务器不能正常备份，另有一个为营帐数据库BCV（业务连续性卷）做磁带备份的服务器，出现了2次备份失败，而此服务器备份的都是关键数据并且数据量巨大。。评估期间还发现，因机房调整导致备份作业部份监控数据的收集中断，无法得到完整的备份作业监控报告。2009年1月8日至1月20日，在”乙”公司的BOSS备份系统中做备份系统评估时，也发现和”甲”公司类似的问题，还有个别服务器甚至没有执行部份备份任务。
备份系统技术改进无止境
自2000年至今，福建移动的备份系统建设主要经历了四个阶段。
2000年到2003年的第一阶段，福建移动在Oracle数据库引入了RMAN数据库物理备份工具，并率先使用Oracle RMAN备份工具结合EMC Networker备份管理工具进行数据库的在线物理备份管理。
2003年到2006年的第二阶段，福建移动BOSS系统集中化改造完成，并形成了大型集中的数据中心，备份系统结构上利用了SAN网络搭建新型的备份系统架构，实现了备份存储资源的虚拟化，以及全面的LAN-free(数据不经过局域网直接进行备份)备份方式。
2006年到2008年的第三阶段，实现了多个远程机房组成一套备份SAN网络，并由一个备份系统管理多个远程系统数据备份，并引入虚拟带库和ATA盘阵作为备份存储介质，通过多级备份存储结构实现自动化的异地备份保存。2007年，福建移动完成了BOSS系统容灾建设，在此基础上，福建移动通过快照数据库的备份，实现了对生产数据库无事务丢失的数据恢复。福建移动的BOSS系统设备分布在同城的4个机房，其中一个机房关键业务数据量少。于是，福建移动将其它三个机房节点采用2对DWDM 2GB光纤打通远程备份通道，形成三个远程节点备份SAN网络，并用一套备份系统管理三个远程系统的数据备份。由于有一个专门的备份SAN网络，就可以减少生产系统SAN网络的不稳定，减少备份过程对主机HBA卡数据流量过高的影响，保证备份方式的灵活性，自动实现异地数据备份与保存。与些同时，福建移动整体上实现根据不同需求进行不同等级的备份。通过引入EMC虚拟带库作为备份存储，虚拟磁带库的RAID技术保证了备份数据的可靠性，从而解决传统磁带库具有高机械故障率的特点。
从2008年开始进入第四阶段，福建移动BOSS建设完成容灾系统，利用容灾端资源进行数据备份。EMC Symmetrix存储阵列的同步数据复制技术，保证了同城模式下容灾端数据与生产端实时同步。这样，可将数据库物理备份放在容灾端的快照数据库进行，降低生产系统资源开销的需求，增强了数据备份的可靠性。同时，能够实现增量备份，能提供历史数据的恢复需求。
备份系统考验人员的综合能力
IT是业务的后台，备份又是IT的后台，备份工作不那么引人注目，但是，实际上，备份工作对相关工作人员的技术和经验要求都很高，需要IT管理人员对主机、服务器、网络、存储、操作系统、数据库等方面有全面的知识，特别对数据库的备份和恢复操作非常了解，要能够结合业务需求，规划IT架构，制定和执行备份策略，等等。一个好的备份系统，要考虑备份时间、备份成功率、恢复效率和难易、运维管理工作量等多方面的因素。
关于这一点，看一看福建移动备份系统的结构可以窥见一斑。以下为福建移动备份系统的逻辑架构图。福建移动BOSS备份系统采用EMC Networker备份管理集成软件。它是一个通用平台，支持广泛的数据保护选项，包括磁盘备份、复制、连续数据保护，以及跨物理和虚拟环境的重复数据删除。EMC Networker包含了介质管理、备份服务器、存储节点、备份客户端、带机资源共享、以及数据库备份接口等模块。其中，RMAN可以实现Oracle数据库动态物理数据的备份与无事务丢失的恢复，并且能自动够管理备份及保存策略。EMC Networker为RMAN提供NMO接口模块，使得RMAN能够通过Networker将备份数据写入磁带或从磁带中读取备份数据。福建移动BOSS系统中每天有大量的各种处理阶段的话单文件需要保存，在备份系统中采用了EMC Disk-Extender工具进行这些文件的归档，Disk-Extender可将文件数据在

美帝  发表于: 2009-11-20