某软件学院大数据实验室建设方案.docx
- 文档编号:11018052
- 上传时间:2023-05-28
- 格式:DOCX
- 页数:19
- 大小:110.98KB
某软件学院大数据实验室建设方案.docx
《某软件学院大数据实验室建设方案.docx》由会员分享,可在线阅读,更多相关《某软件学院大数据实验室建设方案.docx(19页珍藏版)》请在冰点文库上搜索。
某软件学院大数据实验室建设方案
工学院大数据实验室
建设方案
目录
1建设目标3
2配置方案3
2.1已有资源3
2.2扩容资源需求4
2.3物理服务器扩容配置4
2.4磁盘阵列扩容配置5
2.5FCSAN网络扩容配置6
2.6IP网络扩容配置6
2.7扩容配置清单7
3部署方案8
3.1系统架构8
3.2IP网络部署9
3.3Hadoop集群部署9
3.4部署计划10
4Hadoop教学培训方案11
4.1Hadoop教学优势11
4.2课程以及考核安排11
4.2.1相关教材11
4.2.2课程大纲13
4.2.3考核安排16
4.2.4证书认证16
建设目标
中原工学院软件学院已经建设了云实验平台,在该平台上实现了编程教学实验、数据库实验以及网盘应用系统;该平台技术上采用服务器虚拟化技术通过云管理平台实现了实验环境的快速部署;虚拟化平台基于磁盘阵列集中存储,采用FCSAN网络架构。
现规划建设一个Hadoop大数据实验室,使用已经建设好的平台,通过扩展资源池的方式部署,利用现有服务器虚拟化平台虚拟出大量虚拟机用于构建Hadoop集群,主要用于学生实验以及科研用途。
假定建设目标和规模如下:
建设目标:
建设成校级实验室,满足学生做大数据实验和教师大数据科研。
建设规模:
系统支持100个左右的虚机同时运行,性能满足学生大数据实验需求。
扩展性需求:
系统需具备良好扩展能力,可以方便扩展系统容量和性能,以满足更多实验和科研需求。
配置方案
本章节对构建大数据实验室所需要的硬件资源进行配置,从大数据实验资源需求出发来分析构建大数据实验室需要对现有物理服务器、磁盘阵列、FC交换机、IP网络交换机的资源做哪些扩容。
已有资源
云实验平台已经部署了10多台2路物理服务器,通过1台FC交换机与1台磁盘阵列连接;现有物理计算资源可以支撑同时运行200个虚机(1个LCPU、4GB内存、30GB虚拟磁盘),现有磁盘阵列的存储资源主要提供虚机存储空间和网盘存储空间。
扩容资源需求
对资源需求进行估算是虚拟化系统硬件配置的基本依据。
在大数据实验室中,资源可分为两大类:
一类是运行时系统需要的资源,它决定了系统能支持同时运行多少个虚机,该情形主要关注物理服务器的CPU资源、内存资源和磁盘阵列的IOPS资源,磁盘IOPS资源在大数据实验中需求相对较高;另一类是系统可以“存放”多少个虚机,这主要关注磁盘阵列的存储容量。
运行资源
假定虚机规格如下表中所示,该规格满足大数据实验环境下对性能的需求;则200个虚机同时运行,需提供下表中所需资源。
Linux虚机规格
同时运行虚机数量
虚拟资源池大小需求
CPU大小
2个逻辑CPU、2.0GHZ
100
CPU资源
200个逻辑CPU、200GHz
内存大小
4GB
内存大小
400GB
磁盘IOPS
100
磁盘IOPS
10000
当然,对于Hadoop集群中的Master虚机应当配置大些内存,比如8GB。
存储容量
磁盘阵列存储空间由需要多少个虚机和虚机磁盘大小决定,假定虚机磁盘规格如下表所示、需要存放500个虚机,总共需要约210TB的存储空间。
Linux虚机规格
虚机总数
磁盘阵列存储空间需求
磁盘1(系统盘)大小
15GB
500
磁盘空间
107500GB(100TB)
磁盘2(数据盘)大小
200GB
物理服务器扩容配置
作为虚拟化主机的物理服务器,目前可选择的配置主要有2路和4路,综合考虑CPU利用率、网络成本等因素,我们建议选择2路服务器作为虚拟化主机,2路较4路将提供更好的性价比。
首先计算总共需要多少物理的CPU资源和内存资源,计算以上述“运行资源”为基本依据,并考虑物理资源的80%用作运行虚拟机。
虚拟资源池大小
比例
物理资源池大小需求
CPU资源
200个逻辑CPU、200GHz
80%
CPU资源
250个逻辑CPU250GHz
内存资源
400GB
内存资源
500GB
物理服务器规格和所需数量如下表所示。
新增物理资源池大小
物理服务器规格
物理服务器数量
CPU资源
250个逻辑CPU、250GHz
CPU
2路10核、超线程(40个逻辑CPU)、2.0GHz
7
内存资源
500GB
内存
128GB
4
磁盘
1*240GBSSD盘
网口
4*1gb
FC口
1*8gb
根据估算,需要新增7台2路物理服务器即可满足计算性能需求,本项目中我们实际配置上述规格的物理服务器8台。
磁盘阵列扩容配置
磁盘阵列作为虚拟化系统后端共享存储,主要考虑IOPS性能和存储空间的要求。
存储空间显然容易配置,而IOPS存在诸多变数,这是个无法准确估算的指标,为了使系统具备较好的性能,我们进行了仔细考量。
依据2.2节所估算的IOPS性能要求和存储空间要求,估算系统需要多少块SAS磁盘。
存储资源需求
单块SAS盘
需配置SAS磁盘数量
IOPS
10000
IOPS
200
50块
存储容量
107500GB
容量
900GB
120块
同时满足IOPS性能和容量需求需要新增约120块SAS盘,这个投资显得过高。
为了降低存储上的投资,我们采取如下配置和部署的策略:
第1:
使用高性能SSD盘结合SAS盘,提供较SAS盘更好的性能;该部分的空间主要用于虚机的系统盘。
第2:
使用高性能SSD盘结合大容量SATA盘,主要满足系统容量的需求,并提供了接近SAS盘的性能;此部分存储空间主要用于虚机的数据盘。
现有磁盘阵列扩容配置配置如下表:
磁盘阵列扩容配置
可提供的规格、功能
控制器
(双活冗余控制器)
IOPS
大于12000
缓存
(32GB)
存储容量
120TB裸容量
SSD盘
新增:
4*200GB
SSD缓存
支持
SAS盘
新增:
12*900GB
精简置备
支持
SSD盘
新增:
4*400GB
存储快照
支持
SATA盘
新增:
28*4TB
FCSAN网络扩容配置
由于新增加了8台物理服务器,FC交换机需要新增加激活端口和相应模块,数量为8个。
IP网络扩容配置
原交换机为48个千兆网口,从端口数量上来说资源是够的,但是在大数据实验环境中,虚机之间存在大量的东西向数据流量,因此我们设计增加一台24口的千兆交换机用于大数据集群后端网络流量通道。
扩容配置清单
构建满足100个虚机同时运行的大数据实验平台,需要对现有云实验平台物理资源进行扩容,扩容包括:
新增8台物理服务器、磁盘阵列添加SSD/SAS/SATA盘、FC交换机增加激活端口、新增1台24口IP交换机,详细扩容配置清单如下表:
序号
名称
品牌/型号
扩容配置描述
数量
单位
一
云实验平台硬件扩容配置
1-1
虚拟化主机
云创cServer
2U机架式服务器带机架安装套件;CPU:
2颗XeonE5-2670V3,内存:
128GB;4个千兆网口;Disk:
1块240GBSSD,板载支持Raid0,1,5,FC口:
单口8Gb;
8
台
1-3
磁盘阵列
云创
rStor7000
扩容新增:
4*200GBSSD,4*400GBSSD,12*900GBSAS盘、28*4TBSATA盘,SSD缓存功能、精简配置功能、快照功能
0
台
1-4
光纤交换机
Brocade300B
扩容新增:
8个端口激活许可,8个端口8gb模块;
0
台
1-5
千兆交换机
华为S5700-28C-SI
24个10/100/1000Base-T,可插拔交流电源,交流供电
1
台
二
Hadoop教学培训服务
2-1
1
套
三
其他相关费用
3-1
机柜
1
台
3-2
定制开发
3-3
安装调试
3-4
培训服务
部署方案
系统架构
系统架构在扩容前后基本没有变化,扩容后的整个虚拟化系统部署架构如下图所示。
与原先区别主要是资源池扩充了,新增的物理服务器构成一个新的集群,并且通过新增加一台千兆交换机构成大数据实验虚机后端网络流量通道。
IP网络部署
本项目中对于IP网络的部署设计,除了考虑vSphere环境下一般性的部署注意事项外,还需要注意由虚机构成的Hadoop集群对IP网络的需求。
上图是一台物理服务器的虚拟网络和物理网络连接示意图。
每个虚机配置2个虚拟千兆网口,一个用于虚机前端业务流量,一个用于Hadoop集群后端流量,虚拟交换机vSwitch1和vSwitch2技术上可以使用一台、可以配置为标准虚拟交换机或分布式虚拟交换机,为了清晰和降低难度,建议配置为2个标准虚拟交换机;vSwitch0和vSwitch1上行链路可以互为备份,vSwitch1和vSwitch2的上行链路可以互为备份;物理服务器4个网口连接到2台堆叠的物理交换机。
这种部署设计实现了IP网络全冗余,提供了故障切换和网络负载均衡功能。
Hadoop集群部署
通过虚机部署Hadoop集群,当然需要评估虚机资源的需求,即使评估有误也无关系,虚拟化的一大好处就在于资源可以灵活调整。
在部署和使用虚机时,我们可以结合使用虚机模板、虚机克隆、虚机快照等技术为创建和使用实验环境提供便利。
Hadoop集群包含了Master节点和Slave节点,可以进行Hadoop部署实验、HDFS实验、MapReduce实验、HBase实验、Hive实验等。
下表是节点虚机配置参考。
Master节点配置参考
Slave节点配置参考
CPU
2*LCPU
CPU
1-2*LCPU
MEM
8-16GB
MEM
2-8GB
Disk1(sda)
15GB
Disk1(sda)
15GB
Disk2(sdb)
20GB
Disk2(sdb)
50-200GB
虚拟网卡1
千兆
虚拟网卡1
千兆
虚拟网卡2
千兆
虚拟网卡2
千兆
本项目部署时,需要注意一个细节点是:
我们应该尽量将一个Hadoop集群内的所有虚机运行在一台物理服务器上,避免IP流量流出物理服务器。
部署计划
下表给出本项目部署实施的一些主要任务和时间预估。
任务
时间
IP地址规划,VLAN规划
4H
FabricZone规划
1H
存储LUN规划
2H
虚机资源规划
1H
设备上架,完成物理安装
1D
磁盘阵列初始安装
2H
FC交换机配置
2H
IP网络配置(交换机、路由器)
2H
存储完成配置
2H
vSphere安装配置
1.5D
虚机资源规划
2H
软件ISO导入,虚机模板创建
1H
第一个大数据集群建立
1D
使用测试,调整
2D
创建其他大数据集群
Hadoop教学培训方案
云创大数据科技股份有限公司为了帮助高校/高职培养Hadoop人才,提供Hadoop培训解决方案。
为高校实现信息化教学和科研管理奠定良性基础,增加高校学生就业机会和薪资水平,逐步培养当今互联网时代IT行业的Hadoop人才。
云创针对高校Hadoop培训提供了一揽子解决方案,该解决方案主要包含Hadoop培训课程、培训教材、考核认证、Hadoop教学实验平台等。
本章节是对云创的Hadoop教学培训的介绍。
Hadoop教学优势
为什么要选择我们呢?
第一点:
国内最畅销的云计算教材和第一本Hadoo编程书籍由我们出版发行。
第二点:
国内排名第一的云计算和大数据网站由我们创办经营。
第三点:
南京航空航天大学、北方工业大学、南京农业大学等众多名校都在使用我们的产品,并且广受好评。
第四点:
作为国内云计算、大数据领域的领军企业,是国家工信部推荐的高科技企业之一。
课程以及考核安排
相关教材
教材一
《实战Hadoop》
简介
该书强调动手、强调实战、以风趣幽默的语言和一系列生动的实战应用案例,系统地讲授了Hadoop的核心技术和扩展技术,包括:
HDFS、MapReduce、HBase、Hive和ZooKeeper等,并给出了3个完整的Hadoop云计算综合应用实例,最后介绍了保障Hadoop平台可靠性的方法。
本书读者对象为各类云计算相关企业、高校和科研机构的研发人员,亦适合作为高校研究生和本科生教材。
内容介绍
第1章神奇的大象——Hadoop
第2章HDFS——不怕故障的海量存储
第3章分久必合——MapReduce
第4章一张无限大的表——HBase
第5章更上一层楼——MapReduce进阶
第6章Hive——飞进数据仓库的小蜜蜂
第7章Pig——一头什么都能吃的猪
第8章Facebook的女神——Cassandra
第9章Chukwa——收集数据的大乌龟
第10章一统天下——ZooKeeper
第11章综合实战1——打造一个搜索引擎
第12章综合实战2——生物信息学应用
第13章综合实战3——移动通信信令监测与查询
第14章高枕无忧——Hadoop容错
教材二
《云计算(第三版)》
简介
本书是中国电子学会云计算专家委员会刘鹏教授主编的系统讲授云计算的专业图书,综述了云计算领域的理论研究热点问题。
本书强化了可操作性,给出了大量应用实例、编程方法或实验步骤等。
本书紧跟云计算的发展前沿,既有理论深度,又有实用价值,可作为高校教材使用,也可作为云计算研发人员和爱好者的学习和参考资料。
内容介绍
第1章绪论
第2章Google云计算原理与应用
第3章Amazon云计算AWS
第4章微软云计算WindowsAzure
第5章VMware云计算
第6章Hadoop:
Google云计算的开源实现
第7章Eucalyptus:
Amazon云计算的开源实现
第8章其他开源云计算系统
第9章云计算仿真器CloudSim
第10章云计算研究热点
第11章总结与展望
课程大纲
培训课程
知识点
主要内容
Hadoop、HBase、Hive集群安装(1~2课时)
Hadoop集群部署安装
HBase集群部署安装
Hive部署安装
HDFS基本概念(1~2课时)
HDFS 设计目标
HDFS 系统特点
HDFS 工作原理
HDFSAPI操作(4~6课时)
HDFS接口
命令行工具
HDFS的JavaAPI及使用API对HDFS编程
MapReduce基本原理(1~2课时)
什么是 MapReduce
MapReduce 服务
MapReduce 工作机制
MapReduce 调度管理
MapReduce编程实例(2~4课时)
WordCountMapReduce入门实例
Hadoop生态圈(1~2课时)
各Hadoop模块介绍
企业应用中各Hadoop模块的正确运用与集成
HBase原理、概念(1~2课时)
HBase基本概念
HBase架构和核心模块介绍
HBase存储逻辑结构介绍
HBaseAPI操作(4~8课时)
基本方法:
Get/Put/Scan/Delete
上机实战使用java实现(包含2种接口实现、随机批量写入、查询用户搜索结果)
Hive原理(1~2课时)
Hive的作用和原理说明
Hadoop/Hive仓库数据数据流
HiveQL实例(4~8课时)
HiveQL的使用
上机实战使用JDBC连接Hive进行查询和分析
实训案例(10课时)
案例培训:
海量数据实时查询系统(涉及HDFS,MapReduce,HBase,ZooKeeper)
案例培训:
基于海量卡口数据的实时分析系统(涉及HDFS,MapReduce,HBase,ZooKeeper,Hive)
HBase高级编程(4~6课时)
HBase系统优化
HBase集群高可靠方案
HBase协处理器编程
HDFS系统原理分析(1课时)
HDFS副本策略
HDFS机架感知
MapReduce高级编程(8~10课时)
Hadoop任务提交流程剖析
HadoopJobTracker详解
HadoopTaskTracker详解
MapReduce流程详解,并剖析一个典型的MapReduce程序
MapReduce高级编程(15~20课时)
HadoopMapper、Reducer类核心代码剖析
基本MapReduceAPI概念:
数据类型,输入输出格式
使用Eclipse上机实战如何自定义数据类型
使用Eclipse上机实战如何自定义输入/输出格式与RecordReader、RecordWriter
使用Eclipse上机实战通过定制数据输出格式实现多集合文件输出
Partitioner说明及上机实战定制Partitioner
Combiner说明及上机实战定制Combiner
组合式MapReduce计算作业简介及上机实战具有复杂依赖关系的组合式MapReduce作业的执行
MapReduce前处理和后处理及上机实战具有前处理和后处理的MapReduce作业的链式执行
上机实战多数据源连接的MapReduce作业执行
上机实战全局参数和数据文件的MapReduce作业执行
MapReduce常用算法(Sort、Index、Join、IF-IDF等)介绍
MapReduce2.0YARN架构
MapReduce2.0YARN架构实例
考核安排
序号
考核科目
考核内容
实验一
Hadoop实验
Hadoop生态系统平台的安装部署,包括HDFS、MapReduce、Yarn与MR2.0HDFS集群状态查看MapReduce示例程序运行、状态查看
实验二
HDFS上机实验
HDFS分布式文件系统的常用命令操作与存储程序开发
用户管理、权限管理等
实验三
MapReduce实验
MapReduce统计程序开发并运行
MapReduceAPI编程应用开发
实验四
HBase实验
部署HBase分布式半结构数据管理平台HBase数据库运维HBase数据表操作以及HBaseAPI调用应用开发
实验五
Hive实验
部署Hive分布式数据仓库利用Hadoop、HBase、Hive平台协同存储、管理与分析处理平台部署
完成所有课时将参加考试。
通过考试的学员可以获得中国云计算协会颁发的中国云计算协会认证证书。
证书认证
完成所有课程及所有考核的学员将颁发中国云计算协会认证证书。
中国云计算协会简介
中国计算机行业协会云计算专业委员会于2011年6月9日,在江苏省镇江市举行的2011中国云计算产业发展高峰论坛暨云计算专业委员会成立大会上正式成立。
中国计算机行业协会云计算专业委员会由云计算领域中“产学研用”群体自愿组成,是自律性民间社团组织,其主要职能体现在开展调查研究及咨询工作,为云计算产业发展提供策略、规划及政策建议;积极维护会员合法权益,引领行业自律发展;组织并开展有利于行业健康发展的技术标准规范交流及互助合作活动等。
中国计算机行业协会云计算专业委员会2011年主要工作在以下几个方面重点推进:
在产业高端平台搭建方面,积极筹备成立“中国云计算基地(中心)联盟”,推动地方云计算基础设施科学规划、建设和有效利用,以联盟活动为载体,增强产业园区、云计算基地、(中心)、行业企业、云计算用户的互动、交流,提升云计算基地(中心)服务能力和应用层次。
另外,每年定期举办“中国云计算产业发展高峰论坛”,搭建主管部门、会员企业、行业用户交流沟通平台;开展中国云计算“十佳创新企业”、“十佳应用示范工程”、“十佳基地(中心)”评选活动以及组织与地方政府对接的云计算解决方案巡展等。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 软件 学院 数据 实验室 建设 方案
![提示](https://static.bingdoc.com/images/bang_tan.gif)