华东理工大学HPCC方案.docx
- 文档编号:9017581
- 上传时间:2023-05-16
- 格式:DOCX
- 页数:23
- 大小:686.15KB
华东理工大学HPCC方案.docx
《华东理工大学HPCC方案.docx》由会员分享,可在线阅读,更多相关《华东理工大学HPCC方案.docx(23页珍藏版)》请在冰点文库上搜索。
华东理工大学HPCC方案
华东理工大学高性能计算机规划建议书
戴尔(中国)有限公司
2005年9月
第一章DELL公司高性能计算介绍
DELL长期以来致力于高性能计算领域的技术发展和应用完善,从每年数十亿美金的研发经费中按比例、持续地投入高性能计算领域,保持在高性能计算领域的领先位置。
DELL公司在高性能计算领域中一直坚持标准化、开放性、按需扩展的理念。
以往的高性能计算系统多采用SMP/MPP设计形式的小型机或大型机的架构,软硬件设备造价相当昂贵,而且由于采用专有技术标准,用户对于厂商的依赖性很高。
随着IA架构的迅速发展和成本不断降低,越来越多的用户逐步选用机群(Cluster)的方式来实现高性能计算的目的,除了投入成本要低得多以外,由于是IA标准架构,用户完全可以按照实际需求确定节点数量而且具备相当的扩展能力,同时软件移植和开发优化的成本也大大降低。
DELL通过利用和增强基于开放资源技术与工业标准服务器的Linux机群,来提供给客户更多的选择机会。
由于DELL以客户为导向的商业模式具有得天独厚的优点,逐渐发展成为高性能计算领域中IA系统架构方案的领先提供商。
我们在世界各地成立了专门的队伍,为Linux的发展贡献力量,帮助客户或合作伙伴将应用移植到Linux平台,开发更多的新技术和应用。
作为后起之秀的Linux集群系统,吸取了SP大规模并行机的诸多优势,并且将SP上的优秀的系统管理软件和并行处理方面的程序移植到Linux集群系统上,从而使Linux集群系统不仅能在并行运算方面的性能得到保障,增强了集群系统的可管理性。
DELL高性能计算Linux集群系统是利用先进的网络设备将基于Intel架构的DELL的PowerEdge系列服务器连接起来,通过集群技术实现高性能运算。
由于Linux集群系统性能卓越,可用性高,扩展能力强和易于掌握等优势,同时采用具有高可用性的DELLPowerEdge服务器可以大大降低成本。
因此一经推出,就迅速得到了科学运算领域和商用领域的大量用户认可。
也正因为如此,DELL的高性能计算Linux集群解决方案越来越受到众多的研究机构和商家的关注,我们的用户包括:
Buffalo大学用1900个DELLPE1650服务器专用于领先的生物信息学研究;俄勒冈州立大学的海洋和大气学院(COAS)采用了IntelItanium架构的DELLPE7150服务器集群进行大气科学、地球物理学、海洋资源管理以及海洋学方面的应用;宾夕法尼亚州立大学构建了128个节点的DELL集群系统为13个不同的研究小组和学术计算中心提供项目服务;康奈尔中心(CTC)采用128台DELLPE1550,128台PE2450,64台PE6350和8台PE8450(共832颗CPU)进行生物、材料和计算方面的研究;西方地球物理公司(WesternGeco)目前已采用了近3千个DELLPowerEgde计算节点的Linux集群系统并与SP系统配合,进行地震资料处理;新加坡国立大学建立64台PE1550服务器构成的Linux集群,提供包括建立分子模型供疾病检测、治疗及药物开发,能源来源研究、气候及大气模拟等等。
在IA架构的高性能集群计算领域,DELL已经处于市场领先地位。
根据最新的IDC统计数据,DELL占据了该领域全球市场大约44%的份额。
1.1成功案例
众所周知,由于DELL公司长期以来在高性能运算方面的不断努力,投入了大量人力、物力推广这种高效、低成本、易扩展的IA架构结合Linux的机群系统,取得了很好的成绩。
在高性能运算领域最具权威的TOP500最新排名(2003年11月)中,DELL公司在其中占据了相当重要的份额。
更令人惊喜的是,Dell公司2003年为美国国家超级计算应用中心(NationalCenterforSupercomputingApplications,NCSA)提供的代号为Tungsten高性能计算机群系统,初步测试的LINPACK(HPL)性能达到了9819Gflops,位列于第四名。
同时它还创造了多项纪录:
第一个采用Myrinet网络结构的系统位居前五名;也是目前所有采用IA架构的系统中排名最高的。
如果计划采购的设备全部到位后,加上系统和软件级的整体优化,预计它的综合性能还将可以达到11000Gflops以上。
此外,Dell公司还与Cray公司合作,共同为位于美国德克萨斯大学内的德克萨斯高级计算中心(TexasAdvancedComputingCenter,TACC)提供了的一套拥有600个3.06Ghz的处理器的高性能计算机群系统Lonestar。
它的LINPACK实测值也达到了2455Gflops,跻身第26名。
该系统计划于2004年还会继续扩展至1000个处理器的规模,整体性能也会持续提高。
而2002年Dell提供的SUNYBuffalo分校的600个2.4Ghz处理器的高性能计算机群系统也以2004Gflops的成绩列在38位。
NCSATungsten系统:
9819GflopsNo.4inTop500
oResources
o1250DellPowerEdge1750server
oIntelXeon3.06GhzProcessor
oMyrinet2000interconnect
oRedHatLinux
oLustreFilesystem
oPlatformLoadShareFacility
oMauiScheduler
oMSTIChaMPIon/Pro
oIntel:
Fortran77/90/95CC++
oGNU:
Fortran77CC++
TACCLonestar系统:
2455GflopsNo.26inTop500
DELL公司在TOP500(2004年6月公布)中的成功案例
1)NCSA采用2500个DELLPE1750服务器做为计算节点的Linux集群进行科学计算。
在HPCCTOP500中名列第5位。
2)德克萨斯州大学的高级计算中心(TexasAdvancedComputingCenter/Univ.ofTexas)采用600个DELLPE1750服务器做为计算节点进行科学计算。
在HPCCTOP500中名列58位。
3)美国的布法罗大学采用600个DELLPE2650的集群进行科学计算。
在HPCCTOP500中名列95位。
4)SandiaNationalLaboratories采用DELLVplantCluster在HPCCTOP500中名列145位。
5)科内尔理论中心(CornellTheoryCenter)采用DELLPE2650服务器做为计算节点。
在HPCCTOP500中名列146位。
6)利物浦大学(Universityofliverpool)采用DELLPE650做为计算节点。
在HPCCTOP500中名列180位。
7)澳大利亚高级计算和通信中心(AustralianCentreforAdvancedComputingandCommunications)采用DELLPE1750做为计算节点。
在HPCCTOP500中名列108位。
8)CompagnieGeneraledeGeophysique(CGG)采用DELLPE1750做为计算节点。
在HPCCTOP500中名列207位。
9)法国地球物理公司(CompagnieGeneraledeGeophysique)采用DELLPE1750P4xeon3.06做为计算节点。
在HPCCTOP500中名列213位。
10)美国宾西法尼亚大学(PennsylvaniaStateUniversity)采用DELLPE1750做为计算节点。
在HPCCTOP500中名列256位。
11)SandiaNationalLaboratories采用DELLPE1750做为计算节点。
在HPCCTOP500中名列293位。
12)美国宾西法尼亚大学(PennsylvaniaStateUniversity)采用DELLPE2650做为计算节点。
在HPCCTOP500中名列294位。
12)ScalableSystemsGroup,DellComputer采用DELLPE2650做为计算节点。
在HPCCTOP500中名列336位。
13)Boeing-RocketdynePowerandPropulsion采用DELLPE2650做为计算节点。
在HPCCTOP500中名列469位。
DELLHPCC系统在国内的部分应用
1)浙江海洋研究所
配置:
PE1850*32(2*3.0CPU,2GDDR内存,36硬盘)
2)北京城市学院人工智能
配置:
PE1850*16+PE2850*2+PV220S
3)北京工业大学生物工程系
配置:
PE750*10+PE1850*1
4)清华大学工程物理系
配置:
PE1750*5+PV220S
5)沈阳606所
配置:
PE1750*8;PE2650*8
6)青岛海洋大学
配置:
PE1750*24(2*2.8CPU,2GDDR内存,36硬盘)
PE1850*40(2*3.0CPU,2GDDR内存,36硬盘)
7)辽宁气象局
配置:
PE1750*11(2*2.8CPU,2GDDR内存,73GB硬盘)
DELLPV220S(146GB*14HDD)
8)上海交通大学数学系
配置:
PE1750*16(2*2.8CPU,2GDDR内存,146G硬盘)
9)上海交通大学数学系
配置:
PE1750*18(2*2.8CPU,2GDDR内存,146G硬盘)
10)厦门大学化学系
配置:
PE1750*16(2*2.8CPU,2GDDR内存)
11)中国海洋石油南海西部特普高科技有限公司
配置:
PE1750*65(2*2.8CPU,2GDDR内存,146硬盘)
12)华中师大粒子物理研究所
配置:
PE1750*64(2*2.8CPU,2GDDR内存,36硬盘)
13)石油大学(华东)
配置:
PE1750*32(2*2.8CPU,2GDDR内存,36硬盘)
14)安徽大学
配置:
PE2650*32(2*2.8CPU,2GDDR内存,36硬盘)
15)中科院上海生命研究院
配置:
PE2650*9(2*2.8CPU,2GDDR内存,73GB硬盘)
16)中科院地质与地球物理研究所
配置:
PE1850*50(2*2.8CPU,2GDDR2内存,36GB硬盘)
17)中科院理化研究所
24台PE750;运行Redhat7.3;分子动态模拟运算项目
18)厦门大学
配置:
PE1425*9(2*2.8CPU,2GDDR2内存,36GB硬盘)
19)四川大学化工学院
配置:
PE1850*13(2*2.8CPU,2GDDR2内存,73GB硬盘)
20)国家海洋信息中心
配置:
PE1850*24(2*2.8CPU,2GDDR2内存,73GB硬盘)
21)中国石油勘探开发研究院西北分院
配置:
PE1750*129台(2*2.8GHzCPU,2GBDDRRAM内存,73GBHD硬盘);1*DELL|EMCCX6008TB容量;GigabitEthernet,
22)中国石油勘探开发研究院西北分院(库尔勒)
配置:
PE1850*69台(2*2.8GHzCPU,2GBDDRRAM内存,73GBHD硬盘);1*DELL|EMCCX700;GigabitEthernet,
23)四川石油管理局:
使用CGG软件
配置:
PE1650*32台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
IBMunixserveractasI/Onode(fileserver),FastEthernet,plantoupgradetoGigabitEthernet
24)四川石油管理局2期:
配置:
PE1850*138台(2*2.8GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
25)中原油田:
使用ADS软件
配置:
PE2450*32台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
PE2450+PVSCSI盘柜作I/O节点,FastEthernet
26)青海油田:
使用CGG软件
配置:
PE1650*16台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
PE2650+PVSCSI盘柜,FastEthernet
27)南阳油田:
使用CGG软件
配置:
PE1650*16台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
PE2650+PVSCSI盘柜作I/O节点,FastEthernet
28)中海石油上海石油局:
使用CGG软件
配置:
PE1650*16台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
PE2650+PVSCSI盘柜作I/O节点,FastEthernet
29)长庆油田:
使用CGG软件
配置:
PE1650*16台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
PE2650+PVSCSI盘柜作I/O节点,FastEthernet
30)法国地球物理公司中国代表处:
使用CGG软件
配置:
PE1650*10台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
PE2650+PVSCSI盘柜作I/O节点,FastEthernet
31)帕拉代姆地球物理公司北京代表处:
使用Paradigm软件
配置:
PE1750*24(2*2.8CPU,2GDDR内存,73硬盘)
32)西方奇科地球物理公司:
使用WesternGeco软件
33)新疆油田公司勘探开发研究院勘探所(克拉玛依)
配置:
PE1650*10台(2*1.4GHzCPU,2GBDDRRAM内存,73GBHD硬盘)
PE2650+PVSCSI盘柜作I/O节点,FastEthernet
34)HongKongBaptistUniversity
DELL公司和Intel公司的联手合作,在2003年6月成功建立了香港最快的高性能计算集群系统,运算能力达到383Gflops。
35)大庆石油采油二厂
配置:
PE1650*9(2*1.4CPU,2GDDR内存,73GB硬盘)
36)大庆石油采油三厂
配置:
PE1650*9(2*1.4CPU,2GDDR内存,73GB硬盘)
37)大庆石油采油四厂
配置:
PE1650*9(2*1.4CPU,2GDDR内存,73GB硬盘)
38)大庆石油采油五厂
配置:
PE1650*9(2*1.4CPU,2GDDR内存,73GB硬盘)
39)大庆石油采油六厂
配置:
PE1650*9(2*1.4CPU,2GDDR内存,73GB硬盘)
40)大庆石油采油七厂
配置:
PE1650*9(2*1.4CPU,2GDDR内存,73GB硬盘)
41)大庆石油勘探开发研究院
配置:
PE1750*12(2*2.8CPU,2GDDR内存,73GB硬盘)
DELLPV220S(146GB*14HDD)
第二章DELLHPCC方案
2.1DELLHPCC方案设计原则
基于高性能计算平台上应用的特点,DELL公司在设计此方案时将遵循以下原则:
可用性原则
DELLHPCC以卓越的领先业界的技术满足您最苛求的项目对系统动力的需求。
通过把行业标准硬件、最先进的处理器技术、先进的并行管理系统和优秀的服务、和并行编程环境和支持结合起来,提供了端到端的HPCC解决方案,专为迎接高性能环境的挑战而量身定制。
经济有效地满足您特有的业务连续性需求。
可靠性原则
DELL公司针对HPCC系统采用可靠性较高的产品和容错性能较强的设备,以使整个系统具有高度的可靠性。
采取多层次的冗余备份手段和技术,保证系统在发生故障时能在最短时间内恢复,以最大程度地保证系统的正常运转。
可扩展性原则
HPCC系统应具有良好可扩展性。
DELL公司针对此原则将满足随着业务的增长和应用水平的提高,系统可平滑地扩展和升级,而不需要对整个系统结构和设备进行大的改动。
易管理性原则
由于HPCC系统规模庞大,系统需要具有良好的可管理性。
对此,DELL公司将有OpenManage软件对整个系统进行监测、故障诊断、故障隔离、故障预警等功能,以便于系统的管理和维护。
安全性原则
HPCC系统需要为很多用户服务,因此处于网络相对开放的环境中,因此在登录管理等方面需具有有效抵御非法侵入的能力。
2.2DELL高性能计算机系统硬件总体方案
2.2.1PESC1425/PE6850计算节点混合方案
PESC1425是戴尔专为高性能计算研制的服务器,针对4种高速互联网络进行了严格的测试调优,包括:
快速以太网、千兆1以太网、Myrinet以及Infiniband,是非常理想的计算节点用机。
PE6850具有比PE1425更高的可用性,采用了热插拔SCSI电源,并有能力配置用于监控网络连接的DRAC4远程控制卡,使远程控制更容易。
1.前置机:
由于其需要面对众多用户对外服务,因此需要非常高的可用性,因此采用PE1850服务器,配置2颗XEON3.2GHz处理器,2GB内存,73GBSCSI硬盘,并配置了冗余电源,已保证系统的可靠性。
数量:
1台
2.登陆节点:
面对多用户大量的登陆使用要求,登陆节点采用高性能的PESC1425服务器,配置2颗XEON3.2GHz处理器,2GB内存,73GBSCSI硬盘,由于系统只配置1块硬盘,为系统所在,不允许热插拔。
数量:
2台
3.I/O节点:
由于I/O结点需要频繁的为计算结点提供服务,因此需要非常高的可靠性,系统采用了高性能,高可靠性的PE1850服务器,配置2颗XEON3.2GHz处理器,4GB内存,73GBSCSI热插拔硬盘,并配置了冗余电源。
数量:
4台
4.计算节点1:
计算节点采用高性能的PESC1425服务器,配置2颗XEON3.2GHz处理器,2GB内存,73GBSCSI硬盘,由于系统只配置1块硬盘,为系统所在,不允许热插拔。
数量:
32台
5.计算节点2:
计算节点采用高性能的PE6850服务器,配置4颗XEON3.1GHz处理器,4GB内存,73GBSCSI硬盘,由于系统只配置1块硬盘,为系统所在,不允许热插拔。
数量:
16台
2.2.2计算网络方案1:
以太网方案
计算网络使用美国网捷网络公司(FOUNDRY)的的FastIronSUPER-X企业级千兆以太网交换机,其背板带宽高达510Gbps,因此足可以实现本系统所有结点的基于千兆以太网的全交换功能。
本次配置60个千兆网端口(可扩充到204端口)
FOUNDRYFastIronSuper-x交换机的指标如下:
方案的具体配置如图:
2.2.3计算网络方案2:
INFINIBAND方案
由于TOPSPIN的INFINIBAND具有非常大的带宽,采用4×INFINIBAND技术,其带宽可达10Gb/s,并具有<6ns的延迟能力。
其具有模拟以太网,光纤存储网等能力。
不同于上一代INFINICON的IB交换系统,TS-270提供了更多的智能特性,消除了传输瓶颈使用户更容易的对高速互联系统进行调优,从而使用户可以更好的体验INFINIBAND带来的高带宽和低延迟的特性。
方案的具体配置如图:
为了提供全交换的网络环境,使计算网络不存在瓶颈,采用的TOPSPIN270INFINIBAND交换机一台
管理、存储网络选用DELLPOWERCONNECT3348百兆交换机,用2个千兆端口堆叠使最大管理和存储百兆端口达到96个,此方案实际需要57口。
2.2.4计算网络方案3:
MYRINET方案
方案的具体配置如图:
MYRINET交换系统具有非常好的系统延迟性能,与INFINIBAND相当,但价格低于INFINIBAND,因此具有更好的性能价格比。
同时,由于MYRINET推出的时间长于INFINIBAND,因此支持的软件及库函数等也更完善一些。
其主要高速互联网的性能对比表如下:
千兆以太网
Myrinet
Infiniband
QSNET
双向带宽
2Gb/s
4Gb/s
20Gb/s
6.4Gb/s
持续吞吐量
216MB/s(双向)
489MB/s(双向)
820MB/s
325MB/s
主机卡间延迟
180µs
-0.5µs
<0.5µs
<1µs
MPI延迟
30µs
6.3µs
<6µs
5µs
拓扑结构
Non-blocking
Fattree
varies
Fattree
成本
最低
适中
高
高
管理、存储网络选用FOUNDRYFastIronSUPER-X企业级千兆以太网交换机,其背板带宽高达510Gbps,因此足可以实现本系统所有结点的基于千兆以太网的全交换功能。
本次配置48个千兆网端口
2.2.5管理和存储网络
1.管理网络:
(方案一、二使用)
管理网络采用了2台DELLPowerconnect334捌管理百兆以太网交换机,实现堆叠配置,可提供144个百兆连接,并提供先进的安全和企业级管理特征,支持VLAN,保障系统的安全管理。
堆叠连接采用千兆网,其结构如下:
管理网络连接所有的服务器,包括计算结点,I/O结点,登陆结点和前置机,可以提供整个群集的结点监控,系统监控,作业管理调度功能,并可通过前置机提供防火墙功能。
2.管理、存储网络(方案三使用)
管理、存储网络选用FOUNDRYFastIronSUPER-X企业级千兆以太网交换机,其背板带宽高达510Gbps,因此足可以实现本系统所有结点的基于千兆以太网的全交换功能。
本次配置48个千兆网端口
2.2.6存储设备
存储设备采用4台戴尔公司的SCSI盘阵,每个盘阵配置14块146GSCSI硬盘,实际容量达到2T。
通过SCSI直连的方式连接到4台存储结点中,其每个服务器直连网络采用2条ULTRA320SCSI连接,可以保证足够的带宽。
2.2.7各方案硬件配置清单
方案1以太网方案
描述
数量
注释
硬件
前置机
PowerEdge1850,2×3.2GHz至强64位扩展处理器,2GB内存,1块73GB硬盘,双电源,三年质量保证
1
登陆结点
PowerEdge1425,2×3.2GHz至强64位扩展处理器,2GB内存,1块73GB硬盘,单电源,三年质量保证
2
计算节点1
Powe
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 华东理工大学 HPCC 方案