x86集群基础平台ha测试方案docWord文件下载.docx
- 文档编号:8435463
- 上传时间:2023-05-11
- 格式:DOCX
- 页数:6
- 大小:16.78KB
x86集群基础平台ha测试方案docWord文件下载.docx
《x86集群基础平台ha测试方案docWord文件下载.docx》由会员分享,可在线阅读,更多相关《x86集群基础平台ha测试方案docWord文件下载.docx(6页珍藏版)》请在冰点文库上搜索。
曲黑第必£
1
华被VH桀被引辈也spou|eujnof、典曜刑辈也jsda^ooz
'
史曜西fEVH」3>
pe」iqor'
翼雁西fCftVHS3QH呈f国黑曜VHdoop^H担事98X蜷
蛔迅ri
。
赧胃用目还虱谄摩奔f困理郢凛言丁者由也昌用与去赧宜
翩阁由也覃诏蓄迎逢笔羽避W耕皋窣素苜五翎胆显者'
VH风与击形晋舞事98X骚31觥
融烟曜T
2HadoopHA测试
HadoopHA测试包括HDFSHA切换测试JobtrackerHA切换测试Zookeeper可靠性测试、journalnode可靠性测试。
2.1HDFSHA手动切换测试
查看HDFS服务nnl和nn2的状态,输出为active或者standby
$cd/home/ocdc/hadoop-2.0.0-cdh4.2.1/bin
$./hdfshaadmin-DFSHAAdmin-getServiceStatennl
$./hdfshaadmin-DFSHAAdmin-getServiceStatenn2
如果nnl为activenn2为standby,将HDFS服务从nnl切换至!
Jnn2。
./hdfshaadmin-DFSHAAdmin-failovernnlnn2
来回手动切换测试多次,观察Hadoop任务执行情况,ETL调度任务执行情况,是否有出现异常。
2.2模拟异常HDFSHA自动切换测试
2.2.1模拟namenode进程异常
模拟namenode进程异常HDFSHA自动切换前,需要查看HDFSHA主备节点的mamenode进程状态,namenode进程PID号。
登录任意一台HDFSHA节点,执行以下命令:
如果nnl为active,nn2为standbyo登录nnl服务所在节点,执行以下命令:
$jps
Skill-912345#namenode的进程号
$jps
nnl服务对应的namenode进程Kill成功以后,HDFS服务将会自动的切换到nn2,nn2的服务状态为active。
重启kill掉的namenode进程:
$cd/home/ocdc/hadoop-2.0.0-cdh4.2.1/sbin
$./hadoop-daemon.shstartnamenode
回来自动切换测试多次,观察Hadoop任务执行情况,ETL调度任务执行情况,是否有出现异常。
2.2.2模拟系统异常
通过reboot操作系统的方式,暴力模拟系统异常的情况。
执行reboot操作前,登录
任意一台HDFSHA节点,执行以下命令:
如果nnl为active,登录nnl所在的主机,切换到root账号,执行reboot操作。
#reboot
在nn2服务所在的主机不断执行命令:
将会观察到nn2的状态有standby转变为activeonnl服务所在的主机重启完成以后,
通过执行以下的命令启动和确认该节点上面的hadoopHA相关的进程是否启动,以及启动后的状态:
$./hadoop-daemon.shstartzkfc
$cd/home/ocdc/hadoop-2.0.0-mrl-cdh4.2.1/bin
$./start-jtha.sh
$./start-mrzkfc.sh
$./hdfshaadmin-DFSHAAdmin-getServiceStatenn2$hadoopmrhaadmin-getServiceStatejtl
$hadoopmrhaadmin-getServiceStatejt2
如果nnl的状态为standby,登录nn2所在的主机,切换到root账号,执行reboot操作。
HDFSHA将会从nn2自动切换到nnlo以上操作完成以后,记得启动和确认nn2所在节点上面的hadoopHA相关的进程是否启动,以及启动后的状态。
切换期间观察Hadoop任务执行情况,ETL调度任务执行情况,是否有出现异常。
2.3JobtrackerHA测试
2.3.1JobtrackerHA手动切换测试
查看Jobtracker服务的状态:
$hadoopmrhaadmin-getServiceStatejtl
假如jtl为active,jt2为standby,将Jobtracker服务从jtl切换到jt2o
$hadoopmrhaadmin-failoverjtljt2
Shadoopmrhaadmin-getServiceStatejtl
来回手动切换测试多次,观察Hadoop任务执行情况,ETL调度任务执行情况,是否有出现异常。
2.3.2模拟异常JobtrackerHA自动切换测试
2.3.2.1模拟Jobtracker进程异常
在模拟Jobtracker进程异常前,需要获得Jobtracker服务状态和Jobtracker进程
PID号,登录JobtrackerHA主备节点的任何一台,执行以下命令:
假如jtl为active,jt2为standby,登录jt1所在的主机执行以下命令:
Skill-912345#Jobtracker的进程号
jtl服务对应的Jobtracker进程kill成功以后Jt2将会自动变为active,JobtrackerHA
切换成功。
重启kill掉的Jobtracker进程:
回来自动切换测试多次,观察Hadoop任务执行情况,ETL调度任务执行情况,是否有出现异常。
2.3.2.2模拟系统异常
执行reboot操作前,登录任意一台JobtrackerHA节点,执行以下命令:
假如jtl为active,登录jtl服务对应的主机,切换到root用户执行reboot操作:
#reboot
在jt2服务对应的主机重复的执行:
将会观察到jt2服务的状态由standby转变为active.jt2服务所在的主机重启完成以后,通过执行以下的命令启动和确认该节点上面的hadoopHA相关的进程是否启动,以及启动后的状态:
如果jtl的状态为standby,登录jt2所在的主机,切换至Uroot账号,执行reboot操作。
JobtrackerHA将会从jt2自动切换到jtl。
以上操作完成以后,记得启动和确认jt2所在节点上面的hadoopHA相关的进程是否启动,以及启动后的状态。
切换期间观察Hadoop任务执行情况,ETL调度任务执行情况,是否有出现异常。
2.4Zookeeper可靠性测试
Zookeeper是HDFSHA和JobtrackerHA的基础。
其服务的可靠性直接影响到HadoopHA的可靠性。
在2N+1个节点的Zookeeper集群中,可以最大允许N个ZooKeeper进程失效。
ZooKeeper可靠性测试通过Kill掉N个进程的方式来验证。
登录ZooKeeper部署的节点,执行以下操作:
Skill-912345#i#AZookeeper进程ID
每kill掉fZooKeeper进程,需要观察Hadoop任务执行情况,ETL调度任务执行情况,是否有出现异常。
重启kill掉的ZooKeeper进程的方法如下:
$cd/home/ocdc/zookeeper-3.4.5-cdh4.2.1/bin$./zkServer.shstart
2.5Journalnode可靠性测试
Journalnode是HDFSHA的基础。
其服务的可靠性直接影响到HDFSHA的可靠性。
在2N+1个节点的Journalnode集群中,可以最大允许N个Journalnode进程失效。
Journalnode可靠性测试通过Kill掉N个进程的方式来验证。
Skill-912345#填入Journalnode进程ID
每kill掉fJournalnode进程,需要观察Hadoop任务执行情况,ETL调度任务执行情
况,是否有出现异常。
重启kill掉的Journalnode进程的方法如下:
$./hadoop-daemon.shstartjournalnode
3ETLHA测试
ETLHA方法包括:
1、手动ETLHA切换测试。
2、模拟ETL进程异常自动切换测试。
3、模拟系统异常自动切换测试。
具体的命令有亚信提供,由我执行和验证HA切换状态。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- x86 集群 基础 平台 ha 测试 方案 doc