1、1.2 适用范围/scope41.3 编写依据/reference41.4 编写原则/principle52 数据中心分级与分类/DATA CENTER CLASSIFICATION62.1 概述/general62.2 数据中心等级/data center tier62.3 数据中心类别/data center class72.4 数据中心规模/data center scale82.5 系统匹配设计基本原则/basic system design principle83 系统架构与功能/SYSTEM ARCHITECTURE & FUNCTION103.1 概述/general103.2
2、系统架构/system architecture103.3 系统功能/system function153.4 系统性能/system performance223.5 系统集成/system integration224 系统基础构件与技术/SYSTEM BASIC MODULE & TECHNOLOGY384.1 概述/general384.2 软件系统基础构件/software basic module384.3 硬件系统基础构件/hardware basic module495 系统设计/SYSTEM DESIGN545.1 设计概要/general545.2 设计原则/system
3、design principle545.3 系统设计需求分析/system requirement analysis555.4 监控管理需求分析/monitoring management requirement analysis555.5 需求分析其他相关问题/miscellaneous615.6 系统架构设计/system architecture design625.7 系统功能设计/system function design715.8 系统性能设计/system performance design755.9 设备选型/equipment selection776 工程实施/IMPL
4、EMENTATION836.1 工程实施概述/general836.2 前期准备/preparation836.3 现场实施/implementation & deployment846.4 验收交付/delivery & acceptance927 总控中心场地建设/ECC CONSTRUCTION957.1 概述/general957.2 总控中心的组成/ecc constitution957.3 总控中心的场地设计/ecc site design967.4 总控中心的工艺设计/ecc process design977.5 总控中心的施工技术要求/technical specificat
5、ion988 发展趋势/TREND1018.1 发展回顾/overall review1018.2 顶层设计/top-level design1018.3 监控管理技术发展/development of monitoring management technique1028.4 监控管理系统与绿色数据中心/monitoring management system & green data center1038.5 实用技术的应用/pratice of related technique1049 名词解释/GLOSSARY1111 引言提高现代数据中心可用性与降低运营管理成本是数据中心管理永恒的
6、主题。数据中心监控系统（下称监控系统，无歧义的地方称系统），能够帮助管理者增强数据中心可用性、提高运维效率并降低运维成本，是现代数据中心必不可少的监控管理信息化工具，在数据中心的运行、维护、管理中，发挥着越来越重要的作用。数据中心监控系统技术白皮书（下称白皮书）将依据国家相关规范，参照国际相关标准与行业最佳实践，定义系统概念、界定系统范围、描述系统架构与构件、介绍系统功能、确立性能指标、规范设计与施工方法。白皮书也对监控管理系统及相关技术的发展趋势作了简要介绍。1.1 编写目的白皮书基于标准，又泛于标准、细于标准。本白皮书的目的在于为现代数据中心监控系统规划、设计、建设、维护、使用人员提供参考
7、资料，也为行业人员进行国内外技术交流提供相对统一的语言范本。1.2 适用范围监控管理系统是数据中心运行维护人员必不可少的自动化、信息化工具，是数据中心规划、建设、必不可少的部分。本白皮书可供数据中心监控系统的新建、改建、扩建工程的技术选择、规划设计、工程实施、运行管理以及系统开发等相关人员参考。1.3 编写依据白皮书是以国家相关标准规范为依据，结合了我国行业现状，参考国际相关规范与行业发展趋势，由多位行业专家编制完成的。主要参考文件有：电子信息系统机房设计规范GB 50174-2008电子信息系统机房施工及验收规范GB 50462-2008 电子计算机场地通用规范GB/T 2887-2011供
8、配电系统设计规范GB 50052电能质量供电电压偏差GB/T 12325建筑物电子信息系统防雷技术规范GB 50343低压配电设计规范GB 50054建筑设计防火规范GB 50016计算机和数据处理机房用单元式空气调节机GB 19413-2010采暖通风与空气调节设计规范GB 50019-2003民用建筑电气设计规范JGJ/T16-2008 Telecommunications Infrastructure Standard for Data CentersTIA942Data Center Site Infrastructure Tier Standard1.4 编写原则实用性原则数据中心是
9、极其复杂的监控管理对象。本白皮书不可能包罗万象、面面俱到，但将按照数据中心不同类型、不同等级、不同规模、不同发展阶段（建设管理阶段）的现实需要，尽可能完整地描述系统主流的、典型的软硬件功能模块、设备与设计，尽量做到能对数据中心基础设施的监控管理相关工作发挥实际指导作用。先进性原则IT技术发展迅速，信息化社会对数据中心的可用性要求也在迅速提高，数据中心管理理念、方法及其信息化技术也在不断推陈出新，数据中心相关的新的管理方法、技术往往能更有效地解决问题。监控管理系统适度超前的设计是数据中心监控管理的实际需要。白皮书将适当介绍相关领域比较前沿的技术与设计方法。2 数据中心分级与分类2.1 概述监控管
10、理系统是数据中心监控管理信息化工具，因此其设计应该与数据中心管理目标、体系与架构相适应、相匹配，这需要我们梳理数据中心的分级与分类。数据中心（DC）是一个安装有场地设施、IT设施与系统，能实现数据的集中处理、存储、传输、交换、管理的场所，是信息系统的核心节点。数据中心可以由具有多个机房模块的楼宇群组成，也可以是一个建筑物中独立的物理空间（俗称机房）。数据中心按规模有大小之分，按用途有类别之分，按重要性（可用性）有等级之分。监控管理系统需要根据数据中心的大小、重要性、类别（管理属性）等进行匹配设计。本章节将继承GB 50174-2008电子信息系统机房设计规范对数据中心基础设施分级的定义，参考国
11、际相关标准，并结合数据中心的其它特性，对不同种类的数据中心进行分级、分类说明，以便在随后的章节中对应不同级别与种类的数据中心介绍不同设计与配置的监控管理系统。2.2 数据中心等级我国GB 50174-2008电子信息系统机房设计规范按机房的可用性将机房分为A、B、C三级，国际数据中心相关研究机构Uptime Institute数据中心场地设施等级标准（Data Center Site Infrastructure Tier Standard）与TIA 942数据中心电信基础设施标准（Telecommunications Infrastructure Standard for Data Cent
12、ers）把机房可用性等级分为四级，国内外数据中心等级对照如表2.2-1。对于按照国标GB 50174-2008设计的数据中心，系统可用性将按ABC三级匹配设计；对于参照国际标准设计的数据中心，系统可用性则应按四级匹配设计。表2.2-1 机房可用性等级定义GB 50174-2008冗余度级别定义（GB）可用性描述国际标准 A容错1、电子信息系统运行中断将造成重大的经济损失；2、电子信息系统运行中断将造成公共场所秩序严重混乱。该级别数据中心具有多重的、独立的、物理上相互分隔的冗余设备与线路，各设备与线路并行工作，无单点故障，所有计算机设备都具备双电源并按照场地架构拓扑连接。制冷系统也要求不间断工作
13、。Tier 设备与线路冗余该级别数据中心具有冗余设备与线路，所有计算机设备都具备双电源并按照场地架构拓扑连接。Tier III只要求任何时刻有一条线路被使用。Tier B冗余1、电子信息系统运行中断将造成较大的经济损失；2、电子信息系统运行中断将造成公共场所秩序混乱。该级别数据中心具有冗余设备，但是所有设备仍由一套线路系统相连通。Tier C基本满足需求不属于A 级或B 级的电子信息系统机房应为C 级。该级别数据中心满足数据中心运行所需的基本需求，无冗余。Tier 2.3 数据中心类别数据中心按照服务的对象主要分为两大类：一类是企业数据中心（EDC），另一类是互联网数据中心（IDC）。EDC包
14、括金融、电力、石油、研究院等企事业单位的数据中心和政府的数据中心（GDC）。该类数据中心主要特征是由机构自建、自管、自用，且主要使用自建或租用的网络资源组成相对封闭的私有广域网络（俗称内网）为本单位的业务与管理提供信息化支撑平台，不盈利或不直接盈利。当然，越来越多的单位也会通过互联网（俗称外网）为其业务服务对象提供安全访问入口。在我国，这类数据中心以前更多地被称为“信息中心”。小型组织可以有一个数据中心，大型组织往往因为业务或管理范围覆盖全国甚至全球，其信息系统通常包含分布于不用地域具有一定管理层级关系的多个数据中心。与管理架构（决策层、管理层、执行层或三层网络架构）匹配，EDC与管理层级对应
15、可分为数据中心、数据分中心或一级、二级、三级数据中心等。随着信息共享要求的提高，数据大集中成为趋势。相应地，较大型组织EDC通常匹配组织管理架构，呈金字塔形分布，越往组织的低层，机房规模越小，数量越多，或反之。IDC是互联网营运企业建设的数据中心。该类数据中心主要特征一是主要面向企业以出租各种数据中心相关软硬资源而盈利为目的，如机房场地、网络、存储、计算等资源出租，并提供IT设备托管等Iaas服务业务，以及IT系统运行监控、维护、运维管理等相关增值服务；二是IDC租户主要面向公众用户提供基于互联网的信息服务。中国拥有IDC的企业主要有两类，一类是拥有网络（有线、无线）资源的电信营运商，另一类是
16、第三方IDC服务商。表2.3-1EDC与IDC数据中心分层对比表EDCIDC“中央”级信息中心数据中心（可含多栋楼）“省级”数据中心楼栋（可含多个机房）“地市、区级”数据分中心机房（独立物理空间）“网点”（业务集中受理点）级机房微模块、虚拟机房、机柜表2.3-1说明：1、 “中央”级信息中心的规模可能是很大的，如各大银行总行信息中心也会由多栋建筑多个机房模块组成，此时EDC既有跨地区联网管理的层级关系（“中央”级、“省级”、“地市、区级”、“网点”），其“中央”级大型数据中心也有如单个大型IDC分层管理的层级关系。2、 在中国，目前中小型组织自建的为自身业务信息化服务的小型数据中心数量相当多。
17、这些数据中心层级结构很简单，可能接入机房都没有，用户通过散布的交换机直接接至机房。相信随着社会诚信度与网络安全技术的提高、数据中心运维成本压力的加大，这类组织将成为IDC的用户而不再自建机房。2.4 数据中心规模按面积，数据中心大致可以分为超大型、大型、中大型、中型、小型数据中心（如表2.4-1）。通常IDC以大型、超大型为主。而小型、超小型数据中心主要是机构的接入层机房（比如银行、证劵的网点机房、政府各部门服务窗口），汇聚层机房（多个接入层机房的汇聚）等。超大型数据中心可由多栋建筑组成，每栋建筑包含多个机房模组（独立物理空间），每个机房包含多个微模块、虚拟机房、列。数据中心监控管理的最小管理
18、域可达机柜。多个机房模块组成的超大型数据中心可以由不同等级的机房组成，这样可以以相对合理的建设与运维成本满足用户对不同可用性等级的需要。表2.4-1数据中心规模划分数据中心规模使用面积（平方米）值守情况小型数据中心小于200酌情值守中型200-500基本24小时值守中大型500-200024小时值守大型2000-10000超大型大于10000另外，数据中心的值守模式也影响监控管理系统设计。根据数据中心的重要性程度与运行管理成本，通常独立的小型、超小型机房基本上不会安排现场值守，中型数据中心一般会根据业务需要安排值守，联网管理的数据中心群、大型、超大型数据中心都会安排24小时值守（如表2.4-1
19、）。随着信息化应用的深入，人们的工作、生活对信息化系统依赖程度的进一步增强，通过24小时实时监控与及时的维护来保证中小型数据中心的可用性成为必然。有些企业已经开始依托监控管理系统提供远程监控值守与运维外包服务，较好地解决了中小型数据中心运行值守要求与运维成本的矛盾。2.5 系统匹配设计基本原则2.5.1 系统与数据中心可用性等级匹配设计原则系统的可用性设计应与数据中心基础设施的可用性等级相匹配，原则上监控管理系统的可用性设计应该不低于该数据中心基础设施的可用性等级。如对于A级机房，监控管理系统也应该设计成容错的。同一个数据中心，不同业务的机房按其重要性也需要按不同可用性设计，相应地基础设施监控
20、管理系统的可用性也应匹配设计。如IDC为满足租户对可用性不同要求，会按机房模块、微模块设计不同可用性；2.5.2 系统与数据中心类别匹配设计原则 不同类别（服务对象）的数据中心，系统设计也有不同，其架构、功能等都要针对性地匹配设计。如IDC管理主要具有局域特征，而EDC除具有局域特征外，还具有广域特征，即分级监控管理或全国（跨地区）统一（联网）监控管理；IDC围绕商业目的开展运营管理，EDC围绕保证组织的业务运作开展运行管理，两者的管理重点也不相同，因此其系统设计与管理功能模块匹配是不尽相同的。2.5.3 系统与数据中心规模匹配设计原则 数据中心规模不同，监控管理系统设计方案也不同。数据中心规
21、模与可用性要求有一定关系，一般规模越大，数据集中度高，影响面大，可用性要求也越高（需要说明在大型、超大型数据中心，不同机房模块的可用性等级设计可以根据业务或市场需求而有所不同）；数据中心规模越大，监控对象越多，对监控系统的处理能力要求越高。对于中大型数据中心，一般标配总控中心系统，有24小时值班安排；而对于小型特别是超小型机房，则往往是组织的接入层机房而只需进行采集信息，重要的可以使用24小时监控值守外包服务（一种由服务商通过VPN网络提供的远程监控职守服务）。3 系统架构与功能3.1 概述监控管理系统是数据中心工作人员的信息化工具，系统架构设计应考虑与数据中心组织管理架构相对应，以便相关人员
22、履行岗位职责，系统功能必须满足数据中心工作人员对数据中心进行监控、维护与管理的需要。监控管理系统应用计算机软件技术、网络通信技术、数据库技术、工业自动控制技术、传感技术等，通过采集、处理数据中心各种智能型和非智能型的设备或系统的运行状态、参数及信息，对数据中心基础设施进行全面监控，并通过分析处理监控信息驱动管理与决策，从而及时高效地做好运行维护，保证数据中心的可用性。本章主要描述一般监控管理系统的软硬件架构、系统组成和功能等。3.2 系统架构监控管理系统首先是一个多系统集成的综合系统，这是由它监控的对象及其特征所决定的。数据中心的监控对象包括：数据中心供配电动力状况及其相关设备、机房环境状况及
23、其相关设备、机房空间物理安全状况及其相关设备。这些在数据中心承担不同功能的设备，类型多，数量多，参数多，连接多；而且它们自身也可以组成一个个相对独立的硬件系统。因此，通过一个统一的监控管理平台，集成这些系统，就可以组成一个完整的监控管理系统。监控管理系统也是一个数据采集、加工处理、统计分析的数据管理平台。系统监测的数据，一方面用来实时反映基础设施当前的运行状态指标，以便数据中心机房维护管理人员第一时间发现问题，及时消除，避免对数据中心所支撑的各个业务应用的影响；另一方面，按照一定的原则和要求，保存历史监控数据，用于日后事故追踪、查询统计和趋势分析。监测的数据经过加工，驱动管理。以下分别从逻辑架
24、构、物理架构、系统部署架构三个方面介绍监控管理系统的整体架构。3.2.1 系统逻辑架构逻辑架构描述了监控管理系统软件由哪些逻辑构件组成、以及这些逻辑构件之间的关系。系统逻辑架构由以下四大逻辑构件组成：监控系统，运行管理系统，总控中心系统，基础服务系统。如下图3.2.1-1所示：图3.2.1-1 数据中心监控系统逻辑架构图（1）监控系统监控系统完成对数据中心基础设施的监控，由以下两大子系统组成：1）信息采集子系统信息采集子系统完成对供配电、环境、安防等监控对象的状态、参数、数据、设备属性、配置等信息的采集，并将信息按标准格式传输到信息处理子系统。同时，信息采集子系统还响应上层信息处理子系统的控制
25、指令，控制受控设备或系统。2）信息处理子系统信息处理子系统主要完成信息的汇聚、存储和处理。信息处理子系统接收信息采集子系统的数据，对数据进行加工运算处理，按照告警规则产生新的告警信息，对众多的告警信息进行关联压缩、过滤，完成故障定位，实现对数据中心的全方位一体监控。重要实时监控信息送总控中心系统展示；管理相关的信息驱动管理流程；其他重要数据，信息处理子系统进行存储管理，形成历史数据供运行管理系统调用，并按要求形成统计分析报告。信息处理子系统不仅完成监视功能，还可以完成一定调节与控制功能（实际工作中，对于可能影响数据中心可用性的控制需要谨慎）。可以根据应用需要，对数据中心基础设施设备进行手动和自
26、动调节与控制。（2）运行管理系统运行管理系统利用一体化监控系统汇聚的数据再加上用户输入的一些必要的管理信息，实现数据中心运维管理（服务请求管理、事件管理、巡检管理等）、能耗管理、资产管理、容量管理等，完成数据中心运行的“故障预防性管理”、“故障恢复性管理”及旨在降低运维难度与成本，提高工作效率的日常运维工作的信息化管理，使数据中心在高效运转的同时，尽可能不发生故障或少发生故障，发生故障后能尽快恢复，从而提高数据中心可用性，并降低运行成本。（3）总控中心系统总控中心（又称ECC）是数据中心运维人员对数据中心运行状况进行监控值守的场所。包含以下子系统：1）服务台子系统运维值守与管理人员能通过服务台
27、的各种通信方式收集记录用户使用信息，借助知识库，回复或解决用户常见问题；分发、跟踪复杂、疑难问题；通过监控展示信息，分析、发现异常运行情况，启动、跟踪处理流程，回访服务结果。呼叫子系统一种基于计算机电话集成技术、与企业连为一体的直接与客户交流的服务窗口子系统系统。电话呼入型呼叫子系统的特点是接听顾客来电，为顾客提供一系列的服务客服，处理来自客户的电话垂询，尤其具备同时处理大量来话的能力，还具备主叫号码显示，可将来电自动分配给具备相应技能的人员处理，并能记录和储存所有来话信息。呼叫是即时通信的重要方式，是服务台子系统的重要构件。2）展示子系统展示系统提供监控系统、总控中心系统、运行管理系统的统一
28、门户。并提供了各种丰富的展示终端，如总控中心大屏幕系统、移动监控终端系统；丰富的信息展示技术，如3D虚拟现实，温度场等仿真组态技术等；丰富多样的报警信息输出方式，如声光、短信、电话等。（4）基础服务系统基础服务管理系统为以上述功能构件提供一些公共的基础服务，如统一权限认证、系统日志、系统管理（配置、维护）、在线帮助等。监控管理系统需要处理实时数据，也要处理历史数据。通过历史数据形成各种运行报告、报表可以更好地为预防性运维管理提供决策依据。对于大型或联网管理的数据中心，监控管理系统的数据库引入数据仓库是必要的。3.2.2 系统物理架构物理架构规定了系统的物理元素、这些物理元素之间的关系、以及它们
29、部署到硬件上的策略。物理架构可以反映出软件系统动态运行时的组织情况。随着分布式系统的流行，“物理层（Tier）”的概念大家早已耳熟能详。物理层和分布有关，通过将一个整体的软件系统划分为不同的物理层，可以把它部署到分布在不同位置的多台计算机上，从而为远程访问和负载均衡等提供了手段。数据中心监控系统物理架构如下图3.2.2-1所示。图3.2.2-1数据中心监控系统物理架构图（1）智能接口和传感器大部分被监控设备都设置有智能接口，以和上层采集设备进行数据交换。常见的智能接口有RS232、RS422/485、OPC，也有基于以太网的SNMP智能接口。监控管理系统不仅需要对设备进行监控管理，同时需要对设备运行的基础物理环境进行监控管理，因此还需要补充
