群集和双机热备的概念与区别.docx
- 文档编号:7251894
- 上传时间:2023-05-11
- 格式:DOCX
- 页数:15
- 大小:34.82KB
群集和双机热备的概念与区别.docx
《群集和双机热备的概念与区别.docx》由会员分享,可在线阅读,更多相关《群集和双机热备的概念与区别.docx(15页珍藏版)》请在冰点文库上搜索。
群集和双机热备的概念与区别
群集和双机热备的概念与区别
解析磁盘阵列的关键技术
存储技术在计算机技术中受到广泛关注,服务器存储技术更是业界关心的热点。
一谈到服务器存储技术,人们几乎立刻与SCSI(SmallComputerSystemsInterface)技术联系在一起。
尽管廉价的IDE硬盘在性能、容量等关键技术指标上已经大大地提高,可以满足甚至超过原有的服务器存储设备的需求。
但由于Internet的普及与高速发展,网络服务器的规模也变得越来越大。
同时,Internet不仅对网络服务器本身,也对服务器存储技术提出了苛刻要求。
无止境的市场需求促使服务器存储技术飞速发展。
而磁盘阵列是服务器存储技术中比较成熟的一种,也是在市场上比较多见的大容量外设之一。
在高端,传统的存储模式无论在规模上,还是安全上,或是性能上,都无法满足特殊应用日益膨胀的存储需求。
诸如存储局域网(SAN)等新的技术或应用方案不断涌现,新的存储体系结构和解决方案层出不穷,服务器存储技术由直接连接存储(DAS)向存储网络技术(NAS)方面扩展。
在中低端,随着硬件技术的不断发展,在强大市场需求的推动下,本地化的、基于直接连接的磁盘阵列存储技术,在速度、性能、存储能力等方面不断地迈上新台阶。
并且,为了满足用户对存储数据的安全、存取速度和超大的存储容量的需求,磁盘阵列存储技术也从讲求技术创新、重视系统优化,以技术方案为主导的技术推动期逐渐进入了强调工业标准、着眼市场规模,以成熟产品为主导的产品普及期。
回顾磁盘阵列的发展历程,一直和SCSI技术的发展紧密关联,一些厂商推出的专有技术,如IBM的SSA(SerialStorageArchitecture)技术等,由于兼容性和升级能力不尽如人意,在市场上的影响都远不及SCSI技术广泛。
由于SCSI技术兼容性好,市场需求旺盛,使得SCSI技术发展很快。
从最原始5MB/s传输速度的SCSI-1,一直发展到现在LVD接口的160MB/s传输速度的Ultra160SCSI,320MB/s传输速度的Ultra320SCSI接口也将在2001年出现(见表1)。
从当前市场看,Ultra3SCSI技术和RAID(RedundantArrayofInexpensiveDisks)技术还应是磁盘阵列存储的主流技术。
SCSI技术
SCSI本身是为小型机(区别于微机而言)定制的存储接口,SCSI协议的Version1版本也仅规定了5MB/s传输速度的SCSI-1的总线类型、接口定义、电缆规格等技术标准。
随着技术的发展,SCSI协议的Version2版本作了较大修订,遵循SCSI-2协议的16位数据带宽,高主频的SCSI存储设备陆续出现并成为市场的主流产品,也使得SCSI技术牢牢地占据了服务器的存储市场。
SCSI-3协议则增加了能满足特殊设备协议所需要的命令集,使得SCSI协议既适应传统的并行传输设备,又能适应最新出现的一些串行设备的通讯需要,如光纤通道协议(FCP)、串行存储协议(SSP)、串行总线协议等。
渐渐地,“小型机”的概念开始弱化,“高性能计算机”和“服务器”的概念在人们的心目中得到强化,SCSI一度成为用户从硬件上来区分“服务器”和PC机的一种标准。
通常情况下,用户对SCSI总线的关心放在硬件上,不同的SCSI的工作模式意味着有不同的最大传输速度。
如40MB/s的UltraSCSI、160MB/s的Ultra3SCSI等等。
但最大传输速度并不代表设备正常工作时所能达到的平均访问速度,也不意味着不同SCSI工作模式之间的访问速度存在着必然的“倍数”关系。
SCSI控制器的实际访问速度与SCSI硬盘型号、技术参数,以及传输电缆长度、抗干扰能力等因素关系密切。
提高SCSI总线效率必须关注SCSI设备端的配置和传输线缆的规范和质量。
图1和图2为分别为比较典型的UltraWideSCSI(40MB/s)和Ultra3LVDSCSI(160MB/s)的实际访问速度(Winbench99测试)。
可以看出,Ultra3模式下获得的实际访问速度还不到UltraWide模式下实际访问速度的2倍。
一般说来,选用高速的SCSI硬盘、适当增加SCSI通道上连接硬盘数、优化应用对磁盘数据的访问方式等,可以大幅度提高SCSI总线的实际传输速度。
尤其需要说明的是,在同样条件下,不同的磁盘访问方式下获得的SCSI总线实际传输速度可以相差几十倍,对应用的优化是获得高速存储访问时必须关注的重点,而这却常常被一些用户所忽视。
在图3中,按4KB数据块随机访问6块SCSI硬盘时,SCSI总线的实际访问速度为2.74MB/s,SCSI总线的工作效率仅为总线带宽的1.7%;而图4则在完全不变的条件下,按256KB的数据块对硬盘进行顺序读写,SCSI总线的实际访问速度为141.2MB/s,SCSI总线的工作效率高达总线带宽的88%。
随着传输速度的提高,信号传输过程中的信号衰减和干扰问题显得越来越突出,终结器在一定程度上可以起到降低信号波反射,改善信号质量的作用。
同时,LVD(Low-VoltageDifferential)技术的应用也越来越多。
LVD工作模式是和SE(Single-Ended)模式相对应的,它可以很好地抵抗传输干扰,延长信号的传输距离。
同时,Ultra2SCSI和Ultra3SCSI模式也通过采用专用的双绞型SCSI电缆来提高信号传输的质量。
LVD工作模式和SE工作模式的对比如图5所示。
RAID技术
在磁盘阵列的概念中,大容量硬盘并不是指单个硬盘容量大,而是指将单个硬盘通过RAID技术,按RAID级别组合成更大容量的硬盘。
所以在磁盘阵列技术中,RAID技术是比较关键的,同时,根据所选用的RAID级别的不同,得到的“大硬盘”的功能也有不同。
RAID是一项非常成熟的技术,但由于其价格比较昂贵,配置也不方便,缺少相对专业的技术人员,所以应用并不十分普及。
据统计,全世界75%的服务器系统目前没有配置RAID。
由于服务器存储需求对数据安全性、扩展性等方面的要求越来越高,RAID市场的开发潜力巨大。
RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。
目前对RAID级别的定义可以获得业界广泛认同的只有4种,RAID0、RAID1、RAID0+1和RAID5。
RAID0是无数据冗余的存储空间条带化,具有低成本、极高读写性能、高存储空间利用率的RAID级别,适用于Video/Audio信号存储、临时文件的转储等对速度要求极其严格的特殊应用。
但由于没有数据冗余,其安全性大大降低,构成阵列的任何一块硬盘损坏都将带来数据灾难性的损失。
所以,在RAID0中配置4块以上的硬盘,对于一般应用来说是不明智的。
RAID1是两块硬盘数据完全镜像,安全性好,技术简单,管理方便,读写性能均好。
但其无法扩展(单块硬盘容量),数据空间浪费大,严格意义上说,不应称之为“阵列”。
RAID0+1综合了RAID0和RAID1的特点,独立磁盘配置成RAID0,两套完整的RAID0互相镜像。
它的读写性能出色,安全性高,但构建阵列的成本投入大,数据空间利用率低,不能称之为经济高效的方案。
表1scsi工作模式的特点和技术参数
RAID5是目前应用最广泛的RAID技术。
各块独立硬盘进行条带化分割,相同的条带区进行奇偶校验(异或运算),校验数据平均分布在每块硬盘上。
以n块硬盘构建的RAID5阵列可以有n-1块硬盘的容量,存储空间利用率非常高(见图6)。
任何一块硬盘上数据丢失,均可以通过校验数据推算出来。
它和RAID3最大的区别在于校验数据是否平均分布到各块硬盘上。
RAID5具有数据安全、读写速度快,空间利用率高等优点,应用非常广泛,但不足之处是1块硬盘出现故障以后,整个系统的性能大大降低。
对于RAID1、RAID0+1、RAID5阵列,配合热插拔(也称热可替换)技术,可以实现数据的在线恢复,即当RAID阵列中的任何一块硬盘损坏时,不需要用户关机或停止应用服务,就可以更换故障硬盘,修复系统,恢复数据,对实现HA(HighAvailability)高可用系统具有重要意义。
各厂商还在不断推出各种RAID级别和标准。
例如更高安全性的,从RAID控制器开始镜像的RAID;更快读写速度的,为构成RAID的每块硬盘配置CPU和Cache的RAID等等,但都不普及。
用IDE硬盘构建RAID的技术是新出现的一个技术方向,对市场影响也较大,其突出优点就是构建RAID阵列非常廉价。
目前IDERAID可以支持RAID0、RAID1和RAID0+1三个级别,最多支持4块IDE硬盘。
由于受IDE设备扩展性的限制,同时,也由于IDE设备也缺乏热可替换的技术支持的原因,IDERAID的应用还不多。
总之,发展是永恒的主题,在服务器存储技术领域也不例外。
一方面,一些巨头厂商尝试推出新的概念或标准,来领导服务器及存储技术的发展方向,较有代表性的如Intel力推的IA-64架构及存储概念;另一方面,致力于存储的专业厂商以现有技术和工业标准为基础,推动SCSI、RAID、FibreChannel等基于现有存储技术和方案快速更新和发展。
在市场经济条件下,检验技术发展的唯一标准是市场的认同。
市场呼唤好的技术,而新的技术必须起到推动市场向前发展作用时才能被广泛接受和承认。
随着高性能计算机市场的发展,高性能比、高可靠性、高安全性的存储新技术也会不断涌现。
现在市场上的磁盘阵列产品有很多,用户在选择磁盘阵列产品的过程中,也要根据自己的需求来进行选择,现在列举几个磁盘阵列产品,同时也为需要磁盘阵列产品的用户提供一些选择。
表2列出了几种磁盘阵列的主要技术指标。
小知识:
磁盘阵列的可靠性和可用性
可靠性,指的是硬盘在给定条件下发生故障的概率。
可用性,指的是硬盘在某种用途中可能用的时间。
磁盘阵列可以改善硬盘系统的可靠性。
从表3中可以看到RAID硬盘子系统与单个硬盘子系统的可靠性比较。
此外,在系统的可用性方面,单一硬盘系统的可用性比没有数据冗余的磁盘阵列要好,而冗余磁盘阵列的可用性比单个硬盘要好得多。
这是因为冗余磁盘阵列允许单个硬盘出错,而继续正常工作;一个硬盘故障后的系统恢复时间也大大缩短(与从磁带恢复数据相比);冗余磁盘阵列发生故障时,硬盘上的数据是故障当时的数据,替换后的硬盘也将包含故障时的数据。
但是,要得到完全的容错性能,计算机硬盘子系统的其它部件也必须有冗余。
存储技术在计算机技术中受到广泛关注,服务器存储技术更是业界关心的热点。
一谈到服务器存储技术,人们几乎立刻与SCSI(SmallComputerSystemsInterface)技术联系在一起。
尽管廉价的IDE硬盘在性能、容量等关键技术指标上已经大大地提高,可以满足甚至超过原有的服务器存储设备的需求。
但由于Internet的普及与高速发展,网络服务器的规模也变得越来越大。
同时,Internet不仅对网络服务器本身,也对服务器存储技术提出了苛刻要求。
无止境的市场需求促使服务器存储技术飞速发展。
而磁盘阵列是服务器存储技术中比较成熟的一种,也是在市场上比较多见的大容量外设之一。
在高端,传统的存储模式无论在规模上,还是安全上,或是性能上,都无法满足特殊应用日益膨胀的存储需求。
诸如存储局域网(SAN)等新的技术或应用方案不断涌现,新的存储体系结构和解决方案层出不穷,服务器存储技术由直接连接存储(DAS)向存储网络技术(NAS)方面扩展。
在中低端,随着硬件技术的不断发展,在强大市场需求的推动下,本地化的、基于直接连接的磁盘阵列存储技术,在速度、性能、存储能力等方面不断地迈上新台阶。
并且,为了满足用户对存储数据的安全、存取速度和超大的存储容量的需求,磁盘阵列存储技术也从讲求技术创新、重视系统优化,以技术方案为主导的技术推动期逐渐进入了强调工业标准、着眼市场规模,以成熟产品为主导的产品普及期。
回顾磁盘阵列的发展历程,一直和SCSI技术的发展紧密关联,一些厂商推出的专有技术,如IBM的SSA(SerialStorageArchitecture)技术等,由于兼容性和升级能力不尽如人意,在市场上的影响都远不及SCSI技术广泛。
由于SCSI技术兼容性好,市场需求旺盛,使得SCSI技术发展很快。
从最原始5MB/s传输速度的SCSI-1,一直发展到现在LVD接口的160MB/s传输速度的Ultra160SCSI,320MB/s传输速度的Ultra320SCSI接口也将在2001年出现(见表1)。
从当前市场看,Ultra3SCSI技术和RAID(RedundantArrayofInexpensiveDisks)技术还应是磁盘阵列存储的主流技术。
什么是群集?
很简单的说就是2台或多台机器当作一个整体在运行,在正常的时候你的应用在A上,在A出现故障的情况下,另外一台及其继续提供服务,服务不会因为A机器有问题而停止.
只是在切换过程中应用短暂的不可用,在切换完成后应用恢复正常,切换时间有长有短。
什么是双机热备?
应众多网友的要求,本文仅就双机热备的基本概念做一阐释,希望能够起到抛砖引玉的作用。
问:
能解释一下什么是双机热备吗?
答:
所谓双机热备,就是将中心服务器安装成互为备份的两台服务器,并且在同一时间内只有一台服务器运行。
当其中运行着的一台服务器出现故障无法启动时,另一台备份服务器会迅速的自动启动并运行(一般为2分钟左右),从而保证整个网络系统的正常运行!
双机热备的工作机制实际上是为整个网络系统的中心服务器提供了一种故障自动恢复能力。
问:
什么时候需要双机热备呢?
答:
这个问题其实比较简单,一般服务器要长年累月的工作,其备份工作就绝对少不了。
所以,决定是否使用双机热备,笔者觉得应首先对系统的重要性,以及终端用户对服务中断的容忍程度进行考虑,然后再来决定是否使用双机热备。
比如网络中的用户最多能容忍多长时间恢复服务?
如果服务不能很快恢复会造成什么样的后果等等。
问:
已经采取了RAID技术和数据备份技术,还有必要做双机热备吗?
答:
这其实没有个明确的区分,RAID和数据备份都同等重要!
数据备份只能解决系统出现问题后的恢复;而RAID技术,以笔者的使用经验来看又只能解决硬盘的问题。
我们知道,当服务器本身出现问题时,不论是设备的硬件问题还是软件系统的问题,都会造成服务的中断,而RAID及数据备份技术恰恰就不能解决避免服务中断的问题。
所以,对于高安全需求、持续可靠的提供应用服务的网络系统来说,双机热备还是非常重要的。
其实我们可以这样想:
如果你的服务器坏了,你要用多少时间将其恢复到能正常工作?
这样你就能理解双机热备的重要性了!
问:
双机热备方案与集群的区别?
答:
从概念上来讲,双机热备属于集群中的一种。
集群一般包括两类:
一类是纯应用服务器的集群,即各个应用服务器都访问统一的数据库服务器,但彼些并不需要文件共享存储等,这种集群是比较简单的。
另一类是数据库服务器的双机热备,这种双机热备实现,一般是两台服务器同时使用共享的存储设备,并且在普遍的情况下,均采取主、备的方式(也有高端的系统采用并行的方式,即两台服务器同时提供服务)。
问:
数据库服务如何使用双机热备?
答:
通过软件方式实现双机热备。
即不采用共享的存储设备,而是本机数据可以直接在多台主机间流动。
显而易见,此种方式最大的优点就是节约了昂贵的存储设备投资,而其缺点也不难发现:
会产生数据的前后不一致、或者会影响数据库读取的速度。
我们看看这样一个例子:
如果在服务中断时切换到备份服务器,则可能有少量已经在主机完成的事务在备机上尚未实现。
而与备份数据的恢复不同,备机启动后,后面的操作已经进行,因此丢失的数据包要找回就相当难。
故此种方式适用于对于丢失少量数据不是非常敏感的系统。
在这儿提一下标准的解决方法,即基于共享存储设备和双机软件实现双机热备。
它可以在无人值守的情况下提供快速的切换,并且不会有数据丢失现象,而购买存储设备等投资也会比较高。
问:
如何选择与实施双机热备的配置方案?
答:
1.以应用为主导,进行认真的分析。
以高可用性为宗旨。
2.考虑是采用数据库双机热备还是应用服务器集群、还是软件备份方式。
3.选择确定具体的设备、软件的型号等。
笔者在这里提醒大家,不同的软件或是硬盘等存储设备,他们之间存在兼容性的问题,因此在购买之前应咨询专业人员,不要出现采购了双机软件对相关的存储设备存在不兼容等现象。
4.在实施完成后,一定要进行测试,以确保工作正常,而且应注意在运行过程中定期的对系统是否能够正常切换进行测试。
为什么要做双机热备?
双机热备针对的是服务器的故障。
服务器的故障可能由各种原因引起,如设备故障、操作系统故障、软件系统故障等等。
一般地讲,在技术人员在现场的情况下,恢复服务器正常可能需要10分钟、几小时甚至几天。
从实际经验上看,除非是简单地重启服务器(可能隐患仍然存在),否则往往需要几个小时以上。
而如果技术人员不在现场,则恢复服务的时间就更长了。
而对于一些重要系统而言,用户是很难忍受这样长时间的服务中断的。
因此,就需要通过双机热备,来避免长时间的服务中断,保证系统长期、可靠的服务。
决定是否使用双机热备,正确的方法是要分析一下系统的重要性以及对服务中断的容忍程度,以此决定是否使用双机热备。
即,你的用户能容忍多长时间恢复服务,如果服务不能恢复会造成多大的影响。
在考虑双机热备时,需要注意,一般意义上的双机热备都会有一个切换过程,这个切换过程可能是一分钟左右。
在切换过程中,服务是有可能短时间中断的。
但是,当切换完成后,服务将正常恢复。
因此,双机热备不是无缝、不中断的,但它能够保证在出现系统故障时,能够很快恢复正常的服务,业务不致受到影响。
而如果没有双机热备,则一旦出现服务器故障,可能会出现几个小时的服务中断,对业务的影响就可能会很严重。
另有一点需要强调,即服务器的故障与交换机、存储设备的故障不同,其概念要高得多。
原因在于服务器是比交换机、存储设备复杂得多的设备,同时也是既包括硬件、也包括操作系统、应用软件系统的复杂系统。
不仅设备故障可能引起服务中断,而且软件方面的问题也可能导致服务器不能正常工作。
还应指出的是,一些其他的防护措施如磁盘阵列(RAID)、数据备份虽然是非常重要的,但却不能代替双机热备的作用。
分析:
存储技术SAS一统磁盘江湖
并行磁盘技术的各类弊端导致其发展乏术,而串行磁盘技术则具有许多先天优势,随着串行技术的不断发展与成熟,它很有可能统一整个磁盘存储领域。
SAS天生丽质
SAS是SerialAttachedSCSI的缩写,即串行连接SCSI。
2001年11月26日,Compaq、IBM、LSI逻辑、Maxtor和Seagate联合宣布成立SAS工作组,其目标是定义一个新的串行点对点的企业级存储设备接口。
2003年5月,SAS1.0规范正式出台并提交给ANSI(美国国家标准协会)讨论,同年9月,SAS1.0正式通过ANSI认证。
如今,主流的服务器存储接口标准都依赖于数据流的并行传输。
并行SCSI接口技术广泛应用于企业级存储,ATA接口技术则主要被大量用于PC产品。
随着服务器被要求满足不断提高的系统和应用需求,并行技术无法回避的各种问题,如信号终止限制,电缆和连接器的反射,信号扭曲和串音,以及设备寻址能力等问题都成为提高数据传输性能的障碍。
为了解决并行技术的种种弊端,串行技术应运而生。
SAS是SCSI总线协议的串行标准,同样SATA是ATA的串行标准。
为保护用户投资,SAS规范也兼容了SATA,这使得SAS的背板可以兼容SAS和SATA两类硬盘,对用户来说,使用不同类型的硬盘时不需要再重新投资。
而背板生产厂家也不需要为SCSI和SATA标准分别设计不同的产品,同时也减少了设计时布线的复杂度和PCB(印刷电路板)的层数,因此降低了成本。
系统集成商也不需要为给客户配置不同硬盘而采购不同的背板和线缆。
SAS技术引入了SAS扩展器,使SAS系统可以连接更多的设备,其中每个扩展器允许连接多个端口,每个端口可以连接SAS设备、主机或其他SAS扩展器。
目前,SAS接口速率为3Gbps,其SAS扩展器多为12端口。
不久,将会有6Gbps甚至12Gbps的高速接口出现,并且会有28或36端口的SAS扩展器出现以适应不同的应用需求。
LSI逻辑公司存储标准产品部门行业市场总监HarryMason介绍说,SAS的优点很多,主要可以归结为四个方面:
性能、灵活性、可扩展性和可靠性。
SAS性能包括初始3Gbps的传输速率,以及先进的指令队列,多种点到点路由和容错设计。
点到点的体系结构使它能够在同一端口同时进行读和写。
双端口特性使它支持多个启动设备间的连接,从而使可用带宽加倍。
SAS布线非常紧凑,支持更好的空气流通和简便的热插拔连接。
IT经理使用SAS体系结构可获得更多的灵活性。
背板设计和接口协议支持同时使用SAS和SATA硬盘驱动器,使集成商和用户受益(权衡成本、性能和任务关键应用)。
实际上,可以建立任何具有互操作性保证的混合型存储系统。
SAS也可向后兼容SCSI软件和中间件,减少了对于已升级系统或对遗留软件修改的培训需求。
鉴于如今系统需求的不断变更,SCSI可扩展性是一种关键性的需求。
SAS使用交换机这样的扩展器硬件,简化了用于较大型的外部存储应用的配置。
因此,它们可以不断增加,而对延迟具有非常小的影响,并且允许保存带宽用于增加的工作负荷。
此外,扩展器支持很多拓扑结构,最多可超过16000台混合的SAS/SATA硬盘驱动器。
使用双端口SAS硬盘驱动器可以建造高可用性的系统。
由于没有单点故障,这使得硬盘驱动器是可用的,从而增加了容错性能。
LSI逻辑公司RAID存储适配器部门产品和项目管理总监LucaBert表示,SAS技术的出现会很大程度上改变当今磁盘应用的情况,概括来说,光纤通道磁盘会继续应用在最高性能的高端领域,SATA磁盘广泛应用在低端PC服务器,而剩余绝大部分领域都会是SAS的天下。
SCSI的过去与未来
当80年代中期SCSI第一次出现在计算机系统上时,它的确是物如其名。
SCSI当时是设计应用在由HP、SGI、Sun以及许多现在早已不复存在的其他厂商(例如Apollo、Ardent、Dana和DataGeneral,还有Stardent,许多人可能都不记得它们了)生产的早期工程工作站中。
SCSI设计用于满足CAD和工程的高性能数据需要。
那时,拥有8位和16位连线,这些连线以5MBps速率传送数据,然后以10MBps的速度传送,后来SCSI开始逐渐退出工程部门,慢慢进入IT机构。
在IT机构中它首先出现在来自PrimeComputer和其他厂商的超级小型机使用的早期的RAID实现中。
到90年代中期,存储需求不断增加,硬盘不断发展,I/O要求变得更加苛刻。
以前被称为“FastSCSI”(10MB)的技术不再被认为是快速了。
ANSIT10技术委员会定义了演进中的SCSI标准,将性能规范由10MB提高到20MB(Fast20),接着又提高到40MB(最初叫Fast-40,以后改名为Ultra2)。
也是在90年代中期,Adaptec和NCRMicroelectronics(现在叫LSI逻辑)等芯片制造商与硬盘厂商(Quantum当时是早期技术领导者,紧随其后的是Seagate)以及连接器制造商合作,提供可互操作的解决方案,帮助通过委员会推动这个演进标准的发展。
他们还推出了第一批产品,并帮助创建了SC
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 群集 双机 概念 区别