云计算基础-入门.pptx
- 文档编号:18697691
- 上传时间:2023-09-22
- 格式:PPTX
- 页数:106
- 大小:38.34MB
云计算基础-入门.pptx
《云计算基础-入门.pptx》由会员分享,可在线阅读,更多相关《云计算基础-入门.pptx(106页珍藏版)》请在冰点文库上搜索。
云计算基础入门,产品部2018年10月,内容简介,什么是云计算服务/应用部署模式云原生应用更多的云平台服务模式主流云平台对比,什么是云计算,云计算解决方案的特点:
按需自助服务广泛的网络访问资源池快速弹性测量服务,云计算模式简介,数据,应用,运行环境,中间件,网络,存储,服务器,虚拟化,操作系统,数据,应用,运行环境,中间件,网络,存储,服务器,虚拟化,操作系统,数据,应用,运行环境,中间件,网络,存储,服务器,虚拟化,操作系统,数据,应用,运行环境,中间件,网络,存储,服务器,虚拟化,操作系统,IaaS,PaaS,SaaS,本地部署,云计算服务模式,如何理解IaaSPaaS和SaaS,IaaS目标用户是企业内部架构师,基于云平台提供底层基础架构服务。
PaaS目标用户是应用开发者,提供各种预制的托管的开发环境。
SaaS目标客户是终端用户,为企业提供最终解决方案。
首先把云平台高度抽象成一个无所不包而且取之不尽用之不竭的资源池。
然后考虑我们的服务如何部署上去。
到底该如何理解云平台服务模式呢,IaaS本质上就是平台给你交付一台虚机,虚机的操作系统给装好,用户自己配置系统,安装应用,搭建服务。
按照责任分担模型,以虚机操作系统为分界线,上面这些层次,用户自己负责,操作系统中病毒也是客户的责任哦,操作系统以下的基础架构服务由平台方交付。
优点:
之前服务怎么装怎么配现在还是一个样,而且A平台有问题,我换个地方重装就是缺点:
如果是跑虚机,我为啥不能自己跑,快速理解IaaS,数据,应用,运行环境,中间件,网络,存储,服务器,虚拟化,操作系统,IaaS,PaaS交付的平台,也就是应用程序运行所需的环境,如果你要一个DB放数据,没必要套一个数据库服务器,如果要一个website,没必要给你一个网站服务器。
优点:
客户只要填充数据和实现应用就好,非常省心。
缺点:
随着“标准化”的提升,用户的选择灵活性降低了,快速理解PaaS,数据,应用,运行环境,中间件,网络,存储,服务器,虚拟化,操作系统,PaaS,平台都已经把一切安排到位,用户只要付钱开通服务账号就行优点:
省心到极致缺点:
还能费心定制定制吗,快速理解SaaS,数据,应用,运行环境,中间件,网络,存储,服务器,虚拟化,操作系统,SaaS,私有云计算(laaS、PaaS)实例,1)如果你自己买了服务器,要托管在集团数据中心:
2)你直接向数据中心申请服务器资源:
3)如果有需要,数据中心连中间件和运行环境也提供:
4)我们的数据中心,甚至可以直接提供数据库资源:
我们把服务高度抽象成两类有状态:
状态需要保持,例如数据库无状态:
状态不需要保持,例如前端web服务器,服务的类型,纵向扩展scaleup横向扩展scaleout,服务可用性,从可用性角度考虑:
无状态应用通过横向扩展提升可用性有状态应用通过纵向扩展提升可用性很显然无状态的服务特别匹配云平台,可以考虑优先将此类服务迁移/部署到云平台,那些服务可以优先上云,受法律法规限制的服务,如医学影像资料被特定硬件限制的服务,如加密狗需要CPU和内存紧密交互的服务,如12306,不适应迁移到云上的服务,如果不着急,旧服务可以保持原状,或者以IaaS的方式进行迁移,可以保证稳妥。
对于新服务,就必须有个考虑,以何种方式部署到云?
以IaaS方式部署,属于旧瓶装新酒。
以PaaS方式部署,灵活性又在哪里所以痛点就是PaaS缺乏统一的标准,新服务如何部署,基准代码:
一份基准代码,多份部署依赖:
显式声明依赖关系配置:
在环境中存储配置后端服务:
把后端服务当作附加资源构建,发布,运行:
严格分离构建和运行进程:
以一个或多个无状态进程运行应用端口绑定:
通过端口绑定提供服务易处理:
快速启动和优雅终止可最大化健壮性开发环境与线上环境等价:
尽可能的保持开发,预发布,线上环境相同日志:
把日志当作事件流管理进程:
后台管理任务当作一次性进程运行,云原生原则12-factor,容器即服务CaaS,增加了容器层,符合原生应用的要求,buildoncerunanywhere公有云平台都支持容器化应用,所以跨云迁移不再困难对于私有云平台,可以借助CaaS实现PaaS功能,快速理解容器即服务CaaS,Serverless的一种实现方式,代码逻辑由开发者完成,但是托管运行在第三方云平台上,由事件驱动,短时执行(甚至只有一次调用)架构特点:
用户仅需关心代码,不需要考虑基础架构不需要特定的框架和库,可以适配所有的语言上传代码,使用API进行初始化云平台负责执行自动化和弹性的水平扩展代码的运行由云平台提供的消息类型触发通常由API网关启动触发优势:
更细颗粒度的计算资源分配弹性伸缩高可用没有闲置损耗,其实还没完,还有FaaS,妈妈再也不担心我封装服务了,BDaaS:
大数据即服务DaaS:
桌面即服务Dbaas:
数据库及服务HaaS:
硬件即服务IDaaS:
身份即服务NaaS:
网络即服务Xaas:
一切皆服务,更多的XaaS,目前最大的一个云平台以IaaS起家,拳头产品S3和EC2电商出身,强调成本和延迟,常见云平台分析,号称是最大的电商中立云以PaaS起家目标客户是多年积累的企业客户,所以整体架构特别强调高可靠性,常见云平台分析,国内一哥,产品丰富,服务感人和AWS一样,从改造自家平台出发,常见云平台分析,国内市场追赶者依托社交流量入口,想象力很广阔,常见云平台分析,强调云网融合以内蒙贵州为核心的8+2+X资源布局主攻政企客户,天翼云分析,天翼云3.0产品视图,天翼云3.0以云主机为基础核心产品,从计算、存储、网络、安全及管理等维度不断丰富云计算产品能力,满足客户对网络接入、服务能力弹性扩展、应用安全等场景需求,天翼云3.0基础产品总览,1,基础云主机产品:
为用户提供包括vCPU、内存、操作系统和数据盘在内的具备计算能力的云主机,提高云主机服务能力:
使资源配置情况能够根据业务发展灵活调整,为用户提供高可用、可扩展的云主机服务,2,增强云主机产品安全:
为用户提供逻辑隔离的网络、数据备份和恢复服务,并能随时监控资源使用情况,做到异常情况及时告警,提供网络接入能力:
以多种方式提供云主机与互联网、与企业内网相连接的能力,3,4,物理机,自助独享的资源能力多重保障的安全机制独特的云网融合产品可信认证的产品能力,更贴近政企客户需求的差异化能力,差异化的云网融合产品,DCI,ChinaNet/CN2,东西向融合,南北向融合,云资源+云网络(CN2/互联网),云公司一点受理,东西向融合,催生产品新质态依托DCI承载东西向流量,依托业务调度系统实现资源统一调度产品新质态:
业务容灾与100公里内双活、客户不同节点部署的资源互访、按需配置跨域带宽南北向融合,实现“云+网”一体化服务将CN2MPLSVPN纳入云网络标准产品与集团IT/流程贯穿,统一业务受理,统一故障受理“云+网”作为整体能力面向行业应用及合作伙伴开放,一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案,每个服务提供API以进行集成也可以叠加社区的方案搭建CaaSPaaSFaaS,私有云平台分析,私有云资源池部署和实施要点,内容一览,私有云相关底层技术虚拟化硬件超融合私有云方案架构分析私有云计算和存储资源池设计私有云网络设计Hadoop的概念和部署,和云计算相关的IT技术,计算虚拟化-实现资源弹性扩展,-广义的SDN分类,网络虚拟化狭义SDN,网络虚拟化-Overlay网络VxLAN,网络虚拟化-NFV网络功能虚拟化,把电信级设备从专用平台迁移到通用X86服务器上,存储虚拟化帮助数据高效流动,x86服务器内部资源,虚拟共享存储池,网络虚拟化,计算虚拟化,存储虚拟化,超融合第一阶段,超融合第二阶段,软件定义最佳实践超融合,超融合基础架构(Hyper-ConvergedInfrastructure,或简称“HCI”)是指在同一套单元设备中不仅仅具备计算、网络、存储虚拟化等资源和技术,而多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(Scale-Out),形成统一的资源池。
-Gartner权威定义,超融合IT架构(所有硬件资源池化),超融合引领IT时代的变革,超融合IT架构,超融合私有云建设的基础单元,传统的数据中心的架构,集群1,虚拟网络,虚拟计算,虚拟存储,超融合数据中心的架构,超融合私有云建设的基础单元,实现云计算数据中心的步骤,01100111100010101100010100,100110001010101100010100,011001111001001010101100010100,0110011110010011100010100,011000101100010100,0110000100101100010100,0111111001101100100,011001111001001001010010100,03,超融合,硬件化,设备独立,硬件孤岛,管理割裂,厂商异构,横向扩展,管理统一,传统数据中心,虚拟化数据中心,01,02,资源池化,软件定义数据中心,虚拟化,04,混合云,云化数据中心,三方兼容,云交互,云爆发,云迁移,云备份,网络虚化,易于管理,存储虚化,自动部署,47,私有云平台架构范例,云服务中心,产品管理,订单管理,施工管理,资源管理,资产管理,软件管理,业务系统管理,业务域管理,计费管理,报表管理,视图管理,系统管理,我的业务系统,申请服务,我的订单,我的资源,软件管理,操作日志,告警,通知,云监控,物理机监控,虚拟机监控,网络监控,存储监控,虚拟化监控,应用监控,数据库监控,操作系统监控,告警管理,自动化运维,大屏监控,综合视图,硬件设备,服务器,存储,网络,运营门户,自助门户,虚拟化层,WinServer,虚拟化管理中心,虚拟化管理层,CNware,中间件层,虚拟化融合引擎,资源统一管理平台,常规的私有云方案通过虚拟化、资源池化、自动化资源调度、容灾备份、数据中心可视化等关键技术,构建高效、智能的云计算平台;为企业用户提供云服务交付、运营和运维的一体化功能。
概述,私有云平台功能分析,48,云计算平台统一纳管云计算资源池和服务,提供对整体资源的动态调度能力、运维管理以及业务支撑功能、实现对IaaS、PaaS等资源池的调度以及云平台资源和服务的综合监管控,概述,云服务能力,IaaS,PaaS,云服务门户,数据库服务,应用自服务门户,云平台管理员门户,桌面云,结构化数据库服务,非结构化数据库服务,中间件服务,应用容器,业务总线,消息队列,云管理平台,超融合一体机,网络资源,存储资源,SDC,服务器资源,公有云服务,云运营管理,云安全管理,云运维管理,VMware,Hyper-V,Xen,KVM,SDN,NFV,Openflow,Overlay,SDS,虚拟化网关,分布式存储,云资源调度平台,商用云调度平台,开源云调度平台,用户,管理员,IaaS的核心是资源的池化,基础设施,基础设施即服务(IaaS),服务器,服务器,服务器,服务器,服务器服务,磁盘阵列,磁盘阵列,磁盘阵列,磁带库,存储服务,+,服务器,服务器,服务器,服务器,服务器虚拟化,磁盘阵列,磁盘阵列,磁盘阵列,磁带库,存储虚拟化,+,虚拟服务器,文件系统,逻辑卷,应用入池分析框架,根据应用对CPU和内存的负载特点,可以将应用分成不同的类型。
轻量级、可分布式的应用可整体部署在X86虚拟化池中,重量级、紧耦合的应用需考虑整体部署在物理机池中。
对于大部分应用来说,可以将应用进行层次拆解,从不同层次来分析应用的入池需求。
应用入池需求分类,将应用拆解为不同部分,分类入池,整体进X86虚拟池,低CPU、低IO的应用计算需求负载低,CPU占用率低IO需求低,对IO的占用率低,高CPU、低IO的应用计算需求负载高,CPU占用率高IO需求相对较低,对IO的占用率低,高CPU,高IO的应用计算需求负载高,CPU占用率高IO需求高,对IO的占用率高,低CPU、高IO的应用计算需求负载低,CPU占用率低IO需求高,对IO的占用率高,例:
综合管理类应用,例:
应用集成、实时订单系统等,例:
ERP数据库、核心应用系统,例:
财务管控、安防系统、门户目录等,用户有两个或以上的数据中心L2互联需求;或者用户在数据中心内有跨L3的L2连接需求;适用于:
主机集群、虚机高可用、主机迁移;,2015LenovoInternal.Allrightsreserved.,私有云平台整体网络架构实例,SAN,主数据中心,虚拟化服务器集群,SAN,2#数据中心,虚拟化服务器集群,DWDM,GE/10G,GE/10G,EVI,应用场景,基于IP层面实现跨数据中心的L2互联不依赖MPLS&STP、对广播流量有优化措施、对多地点的网关一致性有配套的解决方案。
对虚拟高可用有优化支持。
技术优势,2#数据中心,与主数据中心间采用密集波分系统DWDM链路高速连接DWDM通过OADM基于10G/GE连接到互联交换设备,大二层网络二层多路径二层的扩展多中心选路LSIP多中心互联DWDMEVIVM流量感知VMotionHADRS服务可用DNSLB,私有云网络安全设计原则,网络安全是指网络系统的硬件、软件及其系统中的数据受到保护,不因偶然的或者恶意的原因而遭受到破坏、更改、泄露,系统连续可靠正常地运行,网络服务不中断。
网络安全概念,时至今日,“数据”变身“大数据”,“开启了一次重大的时代转型”。
“大数据”这一概念的形成,有三个标志性事件:
大数据的由来,4V特征,大数据与传统数据相比,数据来源广、维度多、类型杂,各种机器仪表在自动产生数据的同时,人自身的生活行为也在不断创造数据;不仅有企业组织内部的业务数据,还有海量相关的外部数据。
随着现代感测、互联网、计算机技术的发展,数据生成、储存、分析、处理的速度远远超出人们的想象力,这是大数据区别于传统数据或小数据的显著特征。
大数据有巨大的潜在价值,但同其呈几何指数爆发式增长相比,某一对象或模块数据的价值密度较低,这无疑给我们开发海量数据增加了难度和成本。
从2013年至2020年,人类的数据规模将扩大50倍,每年产生的数据量将增长到44万亿GB,相当于美国国家图书馆数据量的数百万倍,且每18个月翻一番。
大数据的特点,大数据,数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率,云计算、硬件性价比的提高以及软件技术的进步,智能设备、传感器的普及,推动物联网、人工智能的发展,计算运行、计算速度越来越快,存储存储成本下降,智能实现信息对等解放脑力,机器拥有人的智慧,大数据的技术支撑,美国著名管理学家爱德华戴明所言:
“我们信靠上帝。
除了上帝,任何人都必须用数据来说话。
”,
(1)有数据可说在大数据时代,“万物皆数”,“量化一切”,“一切都将被数据化”。
人类生活在一个海量、动态、多样的数据世界中,数据无处不在、无时不有、无人不用,数据就像阳光、空气、水分一样常见,好比放大镜、望远镜、显微镜那般重要。
(2)数据更可靠大数据中的“数据”真实可靠,它实质上是表征事物现象的一种符号语言和逻辑关系,其可靠性的数理哲学基础是世界同构原理。
世界具有物质统一性,统一的世界中的一切事物都存在着时空一致性的同构关系。
这意味着任何事物的属性和规律,只要通过适当编码,均可以通过统一的数字信号表达出来。
因此,“用数据说话”、“让数据发声”,已成为人类认知世界的一种全新方法。
大数据意义,风马牛可相及在大数据背景下,因海量无限、包罗万象的数据存在,让许多看似毫不相干的现象之间发生一定的关联,使人们能够更简捷、更清晰地认知事物和把握局势。
大数据的巨大潜能与作用现在难以进行估量,但揭示事物的相关关系无疑是其真正的价值所在。
经典案例:
(1)啤酒与尿布,
(2)谷歌与流感,大数据的意义,海量的数据的产生,随着人类活动的进一步扩展,数据规模会急剧膨胀,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大,数据类型也越来越多、越来越复杂,已经超越了传统数据管理系统、处理模式的能力范围,于是“大数据”这样一个概念才会应运而生。
大数据的来源,大数据的采集,1,大数据的采集通常采用多个数据库来接收终端数据,包括智能硬件端、多种传感器端、网页端、移动APP应用端等,并且可以使用数据库进行简单的处理工作。
常用的数据采集的方式主要包括以下几种:
大数据处理方法,导入/预处理,2,虽然采集端本身有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中,同时,在导入的基础上完成数据清洗和预处理工作。
也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。
现实世界中数据大体上都是不完整、不一致的“脏”数据,无法直接进行数据挖掘,或挖掘结果差强人意,为了提高数据挖掘的质量,产生了数据预处理技术。
主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。
是将多个数据源中的数据结合起来并统一存储,建立数据仓库。
过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。
寻找依赖于发现目标的数据的有用特征,缩减数据规模,最大限度地精简数据量。
大数据处理方法,统计与分析,3,统计与分析主要是利用分布式数据库,或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总,以满足大多数常见的分析需求,在这些方面可以使用R语言。
R语言是用于统计分析、绘图的语言和操作环境,属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
R语言在国际和国内的发展差异非常大,国际上R语言已然是专业数据分析领域的标准,但在国内依旧任重而道远,这固然有数据学科地位的原因,国内很多人版权概念薄弱,以及学术领域相对闭塞也是原因。
R语言是一套完整的数据处理、计算和制图软件系统。
R语言的思想是:
它可以提供一些集成的统计工具,但更大量的是它提供各种数学计算、统计计算的函数,从而使使用者能灵活机动地进行数据分析,甚至创造出符合需要的新的统计计算方法。
在大数据的统计与分析过程中,主要面对的挑战是分析涉及的数据量太大,其对系统资源,特别是I/O会有极大的占用。
大数据处理方法,大数据挖掘,4,数据挖掘是创建数据挖掘模型的一组试探法和计算方法,通过对提供的数据进行分析,查找特定类型的模式和趋势,最终形成创建模型。
大数据处理方法,大数据7个应用场景,大数据应用场景,Google老三篇:
搜索引擎需要对抓取到的结果进行管理。
当索引结果越来越多时,保证存储和查询速度,保证数万台服务器内容一致的难度越来越高。
Google于03至06年左右公布了三篇论文,描述了GFS、BigTable、MapReduce三种技术以解决这些问题GFS-HDFSMapReduce-MapReduceBigtable-Hbase确定了大数据处理的基本思想:
使用廉价的服务器组成服务器群集,容错设计保证了高可靠性,提供高吞吐的海量的存储能力,提供并行计算能力,Hadoop的由来,面临的问题,思考:
如何存储一个文件文件只有1M,存储在本地磁盘文件500G,存放在本机,分区不够大,扩大分区文件1T呢?
有些文件系统不能支持这么大的文件有50个1T的文件,怎么存?
怎么读?
怎么并发读?
RAID5+热备一个机器都坏掉?
冗余问题,Hadoop设计思想,硬件容错没有不会出错的硬件,提升硬件稳定性成本过高提供健康监控,快速检测,自动恢复的HDFS流式数据访问适应批处理处理的要求交互式处理、随机访问支持差简单的一致模型一次写入,多次读取的访问模型一个文件已经创建、写入、关闭后,就不需要改变简化了数据一致性的实现,实现了高吞吐的数据访问大规模数据集适合存储GB、TB的大文件移动的计算计算移向数据,计算本地化,Hadoop的构成,Hadoop是最经典的大数据处理模型,包含三个组件:
Hadoop分布式文件系统(HDFS)用于并行处理的MapReduce用于作业计划和资源管理的YARNHadoop最常用于已存储数据的批处理,Hadoop分布式文件系统(HDFS),Hadoop的存储系统以块(block)为存储单位文件被分成多个块,并存储在整个集群的工作节点上HDFS向用户隐藏了这些数据分块切片及分布的复杂性,MapReduce,HadoopMapReduce是一个软件框架,用于编写处理海量数据的作业。
输入数据已拆分成独立的区块,这些区块将在群集中的节点之间并行处理。
MapReduce作业包括两个函数:
映射器Mapper:
使用输入数据,对数据进行分析(通常使用筛选器和排序操作),然后发出元组(键/值对)化简器Reducer:
使用映射器发出的元组并执行汇总运算,以基于映射器数据创建更小的合并结果,使用Openstack构建私有云,内容一览,OpenStack简介OpenStack架构及运行机制OpenStack核心组件OpenStack解决方案部署OpenStack商用版本增强功能,企业云平台发展方向,企业IT云之路,关注资源,逐渐关注业务,关注全局业务,灵活的业务驱动,OpenStack概述,OpenStack是一个云操作系统,可控制整个数据中心的大型计算,存储和网络资源池,所有这些都通过仪表板进行管理,该控制台可让管理员控制,同时使用户能够通过Web界面配置资源。
OpenStack概述,OpenStack项目由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。
2012年OpenStack基金会成立,成为第2大开源基金会至今(仅次于Linux基金会)版本周期:
每年发布2个主版本(4月和10月各发布一个),主版本发布后会进行多次小版本更新,小版本更新以修正BUG为主。
版本命名规则:
每个主版本系列以字母表顺序(AZ)命名,以年份及当年内的排序做版本号,如Queens2018.4.0,OpenStack的优势,架构开放北向标准OpenStackAPI,生态系统丰富不会绑定到一个厂家ApacheLicense,允许随意商业集成异构接入能力强南向异构接入强。
异构hypervisor(KVM/XEN/Vmware/LXC),异构存储,异构网络,异构物理设备可扩展性好较容易定制化增加新模块和服务(如新的虚拟化引擎)级联后可构建大规模的云参与者众多,发展迅猛,行业默认云平台Bug响应快,每六个月发布一个版本参与社区的企业300+,开发人员20000+,OpenStack:
架构开放、扩展性良好、支持多厂商基础设施的统一平台,OpenStack概念架构图,OpenStack核心组件,方案价值:
满足公有云规模需求,级联后最大可支持十万主机、百万虚拟机,并且支持跨数据中心分布基于原生态标准OpenstackAPI和架构,维护了OpenStack生态系统的稳定支持多厂商OpenStack无缝接入,保证了OpenStack的开放性真正意义上的故障隔离的高可用(AvailabityZone)按ScaleOut架构扩展,直至跨多数据中心,满足公有云要求OpenStack级联方案,容器技术的基本实现:
Docker,内容一览,容器WhyWhatHow?
了解Docker基础知识(DockerEngineandClient)运行和管理容器容器映像和Docker注册表如何使用Dockerfile构建容器映像使用DockerCompose构建多容器应用容器的数据卷Docker网络限制容器的资源使用量Docker体系的监控,为什么使用Docker?
可基于任何堆栈(OS)使用任何语言构建任何应用程序Dockerized应用程序可以在任何地方运行没有所谓的“它在我的机器上是能工作的呀”的争执没有更多的依赖守护程序,所以开发人员和系统管理员联合起来,软件开发目前遇到的困
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 基础 入门