1、 需求分析 16 网络系统需求分析 162.2.4 各地市公安的数据异地备份存储需求 172.2.5 XX省空间信息中心存储扩容需求分析 172.2.6 容灾备份恢复系统需求分析 172.2.7 数据量需求分析 17第 3 章 系统总体设计； 183.1 长期规划 183.2 现阶段规划 193.2.1 建立和完善本地数据备份系统 193.2.2 实现省厅备份数据的异地存放 203.2.3 实现省厅核心应用数据实时异地存放 203.2.4 实现地市备份数据的异地集中存放 21第 4 章 系统建设方案； 214.1 建立和完善本地数据备份系统 214.2 实现省厅备份数据的异地存放 224.3
2、实现省厅核心应用数据实时异地存放 244.4 实现地市备份数据的异地集中存放 25第 1 章技术规范作为风险防范系统，异地备份系统建设本身在总体规划、方案选择和投产实施后的管理运行，以及真正面对灾难时的切换操作等方面也存在着潜在的风险。 计算机信息系统实现数据大集、应用大集中后，系统的运行安全成为风险控制的焦点。目前，已经有多系统开始或准备进行灾备系统的建设，灾备系统建设的目标是减灾容灾，使计算机信息系统和数据能够最大限度地防范和化解各种意外和灾害所带来的风险。然而，灾备系统建设本身在总体规划、方案选择和投产实施后的管理运行，以及真正面对灾难时的切换操作等方面也存在着潜在的风险。灾备系统建设中
3、所涉及的潜在风险大致可分为技术风险、管理风险和投资风险，其中尤以技术选择风险最大，技术方案选择优越，可以规避一定的管理风险和投资风险。而这三者也存在内在的相互关联，不同灾备级别对应的建设投资规模、所采用的技术以及实施和管理的复杂度也不同，同一系统内部，随着应用系统的重要性不同，各应用系统采用的容灾级别也不相同，同时，无论是哪一级别的容灾，都要考虑保护计算机系统的原有投资，并提高灾备系统建设设备和投资的利用率，降低容灾系统的投资成本。1.1 容灾的总体规划1.2 真正的容灾是数据被不间断的一致性访问，简单的讲就是在保证数据一致的同时，应用（业务）系统在预计的灾难事件发生时，能够正常的被访问和使用
4、。但是，因为应用（业务）对于数据的一致性和允许中断时间的不同，而分为不同的等级，级别不同，灾备系统所采用的技术和达到的功能是不同的，在系统建设资金投入方面的差距也很巨大。所以，对用户来说，明确灾备系统建设的总体规划，明确不同应用（业务）采取不同级别的容灾技术十分必要。1.2.1 技术指标RPO、RTO衡量容灾技术的两个技术指标RPO、RTORPO（Recovery Point Objective）: 以数据为出发点，主要指的是业务系统所能容忍的数据丢失量。及在发生灾难，容灾系统接替原生产系统运行时，容灾系统与原生产中心不一至的数据量。RPO是反映恢复数据完整性的指标，在同步数据复制方式下，RP
5、O等于数据传输时延的时间；在异步数据复制方式下，RPO基本为异步传输数据排队的时间。在实际应用中，考虑到数据传输因素，业务数据库与容灾备份数据库的一致性（SCN）是不相同的，RPO表示业务数据与容灾备份数据的SCN的时间差。发生灾难后，启动容灾系统完成数据恢复，RPO就是新恢复业务系统的数据损失量。RTO（Recovery Time Objective）:以应用为出发点，即应用的恢复时间目标，主要指的是所能容忍的应用停止服务的最长时间，也就是从灾难发生到业务系统恢复服务功能所需要的最短时间周期。是反映业务恢复及时性的指标，表示业务从中断到恢复正常所需的时间。RTO值越小，代表容灾系统的数据恢复
6、能力越强。各种容灾解决方案的RTO有较大差别，基于光通道技术的同步数据复制，配合异地备用的业务系统和跨业务中心与备份中心的高可用管理，这种容灾解决方案具有最小的RTO。容灾系统为获得最小的RTO，需要投入大量资金。不同级别容灾方案的RTO和RPO是不相同的。1.2.2 国际标准SHARE?78要建设容灾系统，就必须提出相应 的设计指标，以此作为衡量和选择容灾解决方案的参数。目前，国际上通用的容灾系统的评审标准为SHARE 78，主要包括以下内容。备份/恢复的范围灾难恢复计划的状态业务中心与容灾中心之间的距离业务中心与容灾中心之间如何连接数据是怎样在两个中心之间传送的允许有多少数据丢失保证更新的
7、数据在容灾中心被更新容灾中心可以开始容灾进程的能力SHARE 78是建立容灾系统的一种评审标准。建立容灾系统的最终目的，是为了在灾难发生后能够以最快速度恢复数据服务，主要体现在RTO Objective）和RPO上。SHARE?78,?M028报告中定义的灾备的七个级别和与其对应的数据丢失量与恢复时间情况详见下表：灾难备份等级与业务恢复情况对照表等级描述PRORTOSymantec方案0级无灾备计划-本地数据备份（NBU）1级车辆运送方式2448小时48小时本地数据备份，异地存放（NBU+Vault）2级车辆运送热备份24小时本地数据备份、异地数据备份（NBU+Vault）3级电子传送4级活动
8、状态备份中心秒级异地应用级容灾（SFVVR）5级两中心、两阶段确认2小时6级零数据丢失零丢失1.2.2.1Tier 0 Tier 0 - 无异地数据备份（No off-site Data）Tier 0 被定义为没有信息存储的需求，没有建立备份硬件平台的需求，也没有发展应急计划的需求，数据仅在本地进行备份恢复， 没有数据送往异地。这种方式是最为低成本的灾难备份解决方案，但事实上这种灾难备份并没有真正灾难备份的能力，因为它的数据并没有被送往远离本地的地方，而数据的恢复也仅是利用本地的记录。1.2.2.2Tier 1Tier 1- PTAM车辆转送方式（ Pickup Truck Access Me
9、thod）作为 Tier 1 的灾难备份方案需要设计一个应急方案，能够备份所需要的信息并将它存储在异地，然后根据灾难备份的具体需求，有选择地建立备份平台， 但事先并不提供数据处理的硬件平台。PTAM是一种用于许多中心备份的标准方式，数据在完成写操作之后，将会被送到远离本地的地方，同时具备有数据恢复的程序。在灾难发生后，一整套系统和应用安装动作需要在一台未启动的计算机上重新完成。系统和数据将被恢复并重新与网络相连。这种灾难备份方案相对来说成本较低（仅仅需要传输工具的消耗以及存储设备的消耗）。 但同时有难于管理的问题，即很难知道什么样的数据在什么样的地方。一旦系统可以工作，标准的做法是首先恢复关键
10、应用，其余的应用根据需要恢复。这样的情况下，恢复是可能的，但需要一定的时间，同时依赖于什么时候硬件平台能够被提供准备好。1.2.2.3Tier 2Tier 2 - PTAM卡车转送方式+热备份中心 （PTAM+Hot Site）Tier 2相当于是Tier 1再加上具有热备份能力中心的灾难备份。热备份中心拥有足够的硬件和网络设备去支持关键应用的安装需求。对于十分关键的应用，在灾难发生的同时，必须在异地有正运行着的硬件平台提供支持。这种灾难备份的方式依赖于用PTAM的方法去将日常数据放在异地存储，当灾难发生的时候，数据再被移动到一个热备份的中心。虽然移动数据到一个热备份中心增加了成本，但却明显降
11、低了灾难备份的时间。1.2.2.4Tier 3Tier 3 - 电子传送（Electronic Vaulting）Tier 3 是在Tier 2的基础上用电子链路取代了车辆进行数据传送的灾难备份。接收方的硬件平台必须与生产中心物理地相分离，在灾难发生后，存储的数据用于灾难备份。由于热备份中心要保持持续运行，因此增加了成本。但确实是消除了运送工具的需要，提高了灾难备份的速度。1.2.2.5Tier 4Tier 4 - 活动状态的备份中心 （Active Secondary Site）Tier 4 这种灾难备份要求两个中心同时处于活动状态并管理彼此的备份数据，允许备份行动在任何一个方向发生。接收方
12、硬件平台必须保证与另一方平台物理地相分离，在这种情况下，工作负载可以在两个中心之间被分担，两个中心之间之间彼此备份。在两个中心之间，彼此的在线关键数据的拷贝不停地相互传送着。在灾难发生时，需要的关键数据通过网络可迅速恢复，通过网络的切换，关键应用的恢复时间也可降低到了小时级。1.2.2.6Tier 5Tier 5 - 两中心两阶段确认 （Two-Site Two-Phase Commit）Tier 5 是在Tier 4的基础上在镜像状态上管理着被选择的数据 （根据单一commit范围，在本地和远程数据库中同时更新着数据），也就是说，在更新请求被认为是满意之前，Tier 5需要生产中心与备份中心
13、的数据都被更新。我们可以想象这样一种情景，数据在两个中心之间相互映像，由远程two-phase commit来同步，因为关键应用使用了双重在线存储，所以在灾难发生时，仅仅传送中的数据被丢失，恢复的时间被降低到了小时级。1.2.2.7Tier 6Tier 6 - 零数据丢失 （Zero Data Loss）Tier 6 可以实现零数据丢失率，同时保证数据立即自动地被传输到备份中心。Tier 6被认为是灾难备份的最高的级别，在本地和远程的所有数据被更新的同时，利用了双重在线存储和完全的网络切换能力。Tier 6是灾难备份中最昂贵的方式，也是速度最快的恢复方式，恢复的时间被降低到了分钟级。对于Tie
14、r 6 的灾难备份解决方案，可以应用两种远程拷贝技术来实现，即PPRC同步远程拷贝和XRC异步远程拷贝。因此，企业需要根据其计算机处理系统中数据的重要性，以及需要恢复的速度和程度，来进行灾备系统建设的整体考虑和不同灾难对业务冲击的分析，并最终确定灾备系统建设的总体规划。灾备系统建设的总体规划应包括以下几个方面：1.2.3 界定灾备系统的适用范围分析不同的应用系统，确定灾备系统是一个覆盖整个计算机系统的工程，根据业务的重要性，对不同的系统采用不同级别的容灾方案，如针对关键的业务应用子系统，实施高级别的容灾工程；对低级别的业务系统，实施低级别的容灾工程。总之要建立一个综合性的整体灾备建设工程。1.
15、2.4 界定灾备建设的目标 生产系统在单位时间内的数据处理能力或IO流量确定的情况下，RPO实际上成为一个反映灾备恢复过程中的数据丢失量的指标。而RTO则是指从灾难发生到备份系统可以接管原有生产系统所需要花费的时间，这不仅要考虑数据的恢复时间，还应该考虑恢复后数据的完整性、一致性的修复和确认、备份中心计算机处理系统的启动和备份中心的网络切换等全部时间。总体规划中应为灾备系统设定明确的RPO和RTO指标。但是设计容灾系统不能只看RTO和RPO，对于不同的业务系统和用户特殊的要求，其它一些指标有可能成为选择容灾解决方案的主要因素。例如，某些地区为了防范一些特定自然灾害的风险，要求容灾备份中心与业务
16、中心保持足够的距离，在这种情况下，容灾备份中心与业务中心的距离要求就是容灾系统的重要指标。通信网络是容灾系统的组成部分，通信线路的质量也是容灾系统的性能指标之一，其中包括网络的数据传输带宽、网络传输通道的冗余和网络服务商的服务水平（网络年中断率）。如果容灾系统使用的通信网络是确定的，为了比较不同容灾解决方案，可以用单位存储容量的数据库在同一通信网络上的数据完全恢复时间作为一项设计指标。大部分业务系统都是数据库应用结构，但业务系统容灾并不等于是数据库容灾，还包括访问数据库的应用程序和相关配置信息。实现数据库容灾是容灾的基础，在保数据库数据一致的前提下，还要实现应用程序和配置信息的一致性；实现应用
17、系统的高可用性、应用程序在容灾中心与生产中心接管和切回的过程，因此，还要考虑应用的模式是C/S、B/S，两层、三层、多层次的应用结构等等。1.2.5 界定灾备系统的总体架构 根据实际需求、现有技术、所在地域、计划防范的灾难种类和预算投入的资金量等实际情况，确定灾备系统预期达到的级别，并以此来确定灾备系统与生产运行系统在地理位置上的距离（同城还是异地或两者兼备堡垒节点），备份数据存储所在的介质（磁盘还是磁带或两者兼备），备份数据在生产中心与备份中心传输的方式（这就涉及到了具体的计算机存储与网络技术），以及备份中心计算机系统的处理能力和网络接管所需的具体架构（是否与生产中心采用完全同等数量、容量和
18、性能的计算机、存储设备和网络体系结构）。第 2 章现状与需求分析；2.1 建设现状目前XX公安，以省厅为主已经建成了本地备份的数据保护体系，各地市部分建立了本地数据备份，部分地市还没有。根据XX省数字办的管理办法，XX省空间信息中心对15个厅局单位的数据作异地灾备，其中也包括XX公安，因此XX省空间信息中心将作为XX公安的异地灾备中心。2.1.1 XX省公安厅备份系统现状备份系统现状描述：1）采用Fujitsu M500存储（可用达容量16TB）及STK SL500磁带库（可用容量达48TB）、Symantec NBU6.0 MP4备份软件构成公安厅本地备份系统，完成相关系统及数据的本地备份；
19、2）目前共完成公安厅现有27个应用系统的数据及系统备份，备份数据总量已达15TB，年内将有公安刑侦系统、全省接处警平台、警综、情报等系统投入运行，新增数据量近8TB，其中一部分的数据通过SAN备份，另外一部分数据通过LAN备份。公安备份系统原结构图如下：2.1.2 空间中心灾备系统现状1）、采用两台V490服务器、一台EMC CX700磁盘阵列、一台STK SL500带库组成、两台光纤交换机、网络安全系统、Veritas Netbackup5.0备份软件构成政务数据灾备系统。2）、目前存储空间2TB，磁带空间80TB，实现15个备份客户端的数据异地备份。空间中心灾备系统原结构图：2.2 现状分
20、析2.2.1 XX省公安厅现状分析省公安厅信息系统通过建设统一管理、可扩展、可持续发展的容灾备份系统，来满足XX省公安厅信息系统不断整合发展的需要。该需求包括：一、建设和完善备份数据备份，实现数据的离线保护；二、建设和完善备份数据的异地保存；包括省厅和各地市到空间中心的异地数据存放保护，RPO1天，RTO天；三、对于省厅核心应用系统，要实现数据同城异地的存储数据实时保护，避免本地存储故障时数据的丢失，确保对关键应用的实时保护，RPO分钟，RTO分钟；四、对省厅的核心应用系统，实现异地应用级容灾。一期已实现本地数据保护，要对所有本地信息数据库进行定时的备份，当系统发生故障和人为的错误时，可以通过
21、恢复备份数据来保证信息系统正常运行。同时为确保本地应用系统在多机环境下具有抗御任何单点故障的能力，包括主机、网络、存储等，一旦系统发生局部的意外（如操作系统故障、掉电、网络故障等），可以在最短的时间恢复系统的相关软件和数据，确保应用系统继续运行。一期建设仅实现在公安网内为数据和整个生产系统安全提供基本保障，但它的弱点是无法完全承担应用系统发生灾难时业务系统的安全运行，如备份系统无法保证灾难出现后系统的不间断运行；系统无法防止重大灾难，如机房被破坏等自然灾害。为此要进行异地的数据备份，实现异地数据保护，将本地备份的数据送到远离本地的地点保存抵御灾难。灾难发生后，按预定的数据恢复程序恢复系统和数据
22、即可。随着业务系统的数据量及业务系统的数据不断扩大，现有的备份环境将很快不能满足业务增长的需要，需对备份系统进行扩容，以适应业务增长的需要。通过备份实现数据恢复的容灾指标为RPO天，RTO天。因为备份作业的自动发起为”每天”，既RPO而实现数据的恢复需要一定的时间，包括故障排除，恢复数据，启动应用等过程，RTO对于XX公安非核心应用系统，该级别的保护以足够，但是对于核心应用系统，该级别的保护远远不足以满足需求。在多主机、多SAN交换机的高可用环境中，单一的磁盘柜，无疑便成了单点故障的因素；因此，实现核心应用系统数据跨磁盘柜的异地数据实时保护（存储网络），是保障系统持续允许的关键。将来进一步实现
23、异地应用的连续性，在异地建立一个灾难备份中心（包括主机、网络、存储），通过数据复制技术将数据实施传输到异地备份，在灾难发生后能够自动切换，保证业务系统的连续性。2.2.2 XX省空间信息中心现状分析（1）根据XX省数字办的管理办法，XX省空间信息中心对15个厅局单位的数据作异地灾备，目前还有十几个单位需要申请数据异地灾备，但原先配置的15个客户端已经全部分配完毕，需要对VERITAS Netbackup备份软件进行扩容，以满足新增单位备份的需要。（2）空间中心灾备系统的目前磁盘存储空间一期规划是2TB，磁带库驱动器是2个，磁盘存储空间已经不能完全满足备份的需求，磁带库驱动器已经是满负载运行，随
24、着各厅局业务数据的增长，以及新增各单位的数据备份将会导致灾备系统超过他的最大运行能力。2.2.2.1需求分析根据XX省公安厅备份系统和XX省空间信息中心备份系统建设现状分析后存在的问题，XX省公安信息网异地备份系统项目需求主要体现在以下几个方面：2.2.2.2网络系统需求分析因公安行业的特殊性，公安系统的应用系统网络传输保证不与其它网络连接，必须保证传输网络的独立性，XX省公安厅与XX省空间信息中心目前都有接入“数字XX”的政务专用网络里，但是不能满足公安行业的要求，应通过其它的方式实现网络传输的问题。XX省公安厅与XX省空间信息中心网络要求独立性强，不与其它网络有任意的通信，主干带宽将达到1
25、G-10G，主干链路冗余。随着各项业务和各种数据的大量实时的传输，对网络性能提出了新的、更高的要求。应考虑网络的扩展性和兼容性要求，对数据通信各项性能都要求其能够实现方便的扩充，并支持各种网络标准协议和应用。2.2.3 XX省公安厅存储扩容需求分析XX省公安厅原Fujitsu M500存储系统目前有27个应用系统的数据及系统备份，配置物理容量，数量57块300GB硬盘，共17TB，可用容量：16TB，目前数据量为12TB，年内有公安刑侦系统、全省接处警平台、警综、情报等系统投入运行，根据预测将有新增数据量近3.4TB, 未来数据的增长5TB,新增的存储可用容量最少在9T，原有的存储系统已不能满
26、足现有的业务需求，应对系统进行扩容。随着业务应用的不断增加和数据的增长，磁带备份也不能满足数据备份的要求，XX省公安厅目前磁带备份配置48TB可用容量，数据量40TB，新增三个应用系统3.4TB，按保留4个全备量即14TB，每个月增长1TB，按两年计划需24TB。因目前策略排满，驱动器已经充分使用，需另外新增2个驱动器作为增加的数据备份策略使用。2.2.4 各地市公安的数据异地备份存储需求XX省各地市的关键数据，通过公安厅与空间中心的光纤链路异地备份到空间中心备份系统中，并且不需要在公安厅本地设缓存直接备份到空间中心。各地市数据量较大，其中厦门局有11TB，福州局有10TB，其他地市局较小也有
27、4T，总存储量大概在50T，考虑未来3年的数据增长量，最少也要达到70T。 2.2.5 XX省空间信息中心存储扩容需求分析XX省空间信息中心原EMC CX700存储系统目前15个厅局单位的数据作异地灾备，目前还有十几个单位需要申请数据异地灾备，原磁盘存储系统目前配置146GB硬盘，数量15块，共2.1TB。目前还有十几个单位需要申请数据异地灾备，新增各厅局的数据量2TB，每年数据的增长（4TB），两年为8TB。新增的存储可用容量最少在14个T，原有的存储系统已不能满足现有的业务需求，应对系统进行扩容。随着业务应用的不断增加和数据的增长，磁带备份也同样不能满足数据备份的要求，XX省空间信息中心目
28、前磁带备份STK SL500磁带库2个驱动器，50个槽位，80TB容量，当前15个单位客户端，每个单位客户端平均使用3.6盒磁带，50个槽位已全部使用；新增单位按每个客户端3.6盒磁带算，共需50个槽位。当前每个客户端每天平均备份时间为3小时，15个客户端为45个小时，一个驱动器每天工作24小时，无法满足要求，需新增2个驱动器，50个槽位。2.2.6 容灾备份恢复系统需求分析XX省公安厅和XX省空间信息中心目前使用的NBU 6.0备份软件，根据以上存储备份容量和使用单位客户端的增加已无法满足应用的需求，同时增加异地容灾的建设也需要增加相关的功能模块。实现数据快速复制，数据的恢复应用。2.2.7
29、 数据量需求分析（1） XX省公安厅目前的27个应用系统的数据及系统备份，目前数据量为12TB，公安刑侦系统、全省接处警平台、警综、情报等系统有新增数据量近3.4TB, 未来3年数据的增长5TB,新增的存储可用容量最少在9T。 （2） 空间中心公厅异地备份数据，其中厦门局有11TB，福州局有10TB，龙岩、三明、南平、漳州、宁德、泉州、莆田分别4T，总存储量大概在50T，考虑未来3年的数据增长量，最少也要达到70T。（3）空间中心全省备厅局备份数据，其中原有15个厅局数据量为2T，现新增15个厅局数据2T，未来30个厅局每年的数据增长量为4T，三年的数据量为14T。第 3 章系统总体设计；3.
30、1 长期规划容灾项目是一个广泛的项目，不可能一蹴而就，必须要通盘考虑，分步实现。如上图，在理想的条件下，容灾系统的建设，包含了多个部分。一、是在原生产中心（主节点），实现统一存储管理，并对相关的核心应用实现本地集群，通过应用集群管理，实现对本地应用的实时监控，避免单服务器的故障；二、有条件的话，在同城建立堡垒节点，在堡垒节点和主节点之间，通过SAN网络实现数据的跨阵列镜像，避免阵列单点故障，实现数据在同城的RPO为零的数据容灾。同时可以进一步考虑，对应用实现城域网级的集群管理，实现应用在城域网间的切换和容灾。三、如果上述的第二点（堡垒镜像）做不到，可以考虑次级方案，堡垒复制。既在同城建立堡垒节点，通过次级服务器（数量较少和级别较低）、次级存储阵列（容量较小），实现堡垒节点和主节点的存储日志同步，在主节点瞬间故障时，由堡垒节点将为同步到异地容灾节点，实现数据的零丢失。四、建立异地容
