大数据的发展与未来35.pptx
- 文档编号:18709874
- 上传时间:2023-10-13
- 格式:PPTX
- 页数:35
- 大小:11.80MB
大数据的发展与未来35.pptx
《大数据的发展与未来35.pptx》由会员分享,可在线阅读,更多相关《大数据的发展与未来35.pptx(35页珍藏版)》请在冰点文库上搜索。
江西财经大学信息管理学院徐升华,大数据的发展与未来,1,of,33,江西财经大学信息管理学院,目录,2,of,33,WEB时代,PC时代,2013,发明PC,1974,39年前,互联网时代,移动通信时代,宽带移动通信时代,74年前,1939,发明电视,47年前,后摩尔时代2018?
移动互联网时代2012,后PC时代2012,后WEB时代2012,云计算时代2015?
物联网时代2020?
LTE,数字化/平板化电视时代2010,DOS,GUI,Web,Cloud,以计算机为中心,以软件为中心,以服务为中心,网络时代,PC时代,云计算时代,以认知为中心,DataMining,网络共享,内容共享,资源共享,IOT,物联网时代,以应用为中心,大数据时代,数据共享,大数据时代2020?
信息通信技术发展进入新时代,大数据的到来,江西财经大学信息管理学院,3,of,33,一天,一周,一月,一年,1Eb可刻满1.68亿张DVD,全球新产生的数据年增40%,全球信息总量每两年就可以翻番!
而对新增数据的处理能力以及其利用率的增长则不足5%,ZB()EB()PB()TB()GB()MB(),互联网流量变化,大数据的到来,江西财经大学信息管理学院,4,of,33,美国Telegeography的国际互联网流量数据监测显示:
2010年比2009年全球增长了62%,按此推算10年超过1000倍!
美国互联网流量(TB/月):
90969911110001000015000000,大约10年1000倍,全球骨干网IP流量,骨干网IP流量变化,大数据的到来,江西财经大学信息管理学院,5,of,33,单日数据产生量超过50TB,存储量40PB。
淘宝,新浪微博,高峰期每秒100万次响应请求。
百度,每天约处理60亿次搜索请求,几十PB数据。
腾讯,每天1千亿次服务调用、5万亿次计算、300G存储量。
国家电网,到2012年10月信息系统累计产生大数据2PB。
联通,用户上网记录83万条/秒,对应数据量3.6PB/年。
中山大学,第一医院所存数据2008年130TB,预计2015年1PB。
农夫山泉每天从销售其矿泉水的超市回传10张照片,每月3TB。
京东商城,每秒产生2千元的交易额,累计各种数据达到PB。
每天产生数据超过10TB,现已存20PB,预计该基因库最终将达1EB。
北京公交,公交一卡通每天刷卡4000万次,地铁1000万次。
华大基因,每日约处理600G数据。
存量数据超过70TB。
交通银行,大数据应用举例,大数据的到来,江西财经大学信息管理学院,6,of,33,“大数据是指无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,大数据规模的标准是持续变化的,当前泛指单一数据集的大小在几十TB和数PB之间”维基百科定义,数据规模,微软的研究发现,Facebook90%的Hadoop任务数据集在100GB以下,Yahoo平均为12.5GB事实上,小数据也值得重视,对未到TB级规模的数据的挖掘也有价值!
决策时间,大数据的定义,大数据的到来,江西财经大学信息管理学院,7,of,33,超量VOLUME,高速VELOCITY,种类VARIETY,价值VALUE,数据体量巨大TB=1012,PB=1015,EB=1018,ZB=1021,结构化,非结构化数据种类繁多,更快的满足实时性需求,大数据包括ABC三个要素:
大分析(Analytic)、高带宽(Bandwidth)、大内容(Content),结构化能以表格或关系数据库的表、视图来表示的数据,大数据的特征,大数据的到来,江西财经大学信息管理学院,8,of,33,江西财经大学信息管理学院,9,of,33,丰田公司利用数据分析在试制样车之前避免了80的缺陷。
日本小松公司的挖掘机安装了GPS定位系统,在实时监控车辆运行情况的同时,还统计挖掘机每月每年的工作情况,挖掘机开工越饱满,说明市场需求越旺盛GE正在筛选生产的2万台喷气引擎中的不易察觉的告警信号,对于某些型号的引擎,开发的算法能够提前一个月预测其维护需求,预测准确率达到70%。
陕鼓动力集团在其出厂的机组中加装运行监测传感器并连网,提供在线监测及故障诊断服务,服务收入占公司收入1/3。
华尔街对冲基金依据购物网站顾客评论分析企业销售状况。
华尔街银行根据求职网站岗位数量推断就业率。
大数据在制造业的应用,大数据的应用,江西财经大学信息管理学院,10,of,33,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地的降雨、气温和土壤状况及历年农作物产量做成精密图表,从而预测任一农场的明年产量,向农户出售个性化保险,如果出现未能预测的恶劣天气损坏庄稼,气候公司将及时赔付。
美国农业部建立一个网站,链接348个农业数据集,通过数据挖掘找到最佳土壤、湿度、日照时间,准确判断农作物是否需要施肥、浇水或者打药,农民还可从数据库分析市场价格,避免因供需失衡给农民带来经济损失。
英国政府2013年8月12日发布英国农业技术战略,将有6000万英镑的投资致力于将英国打造成农业信息学世界级强国,包括成立一家“农业技术创新中心”,这家中心将研究焦点投向大数据。
大数据在农业中应用,大数据的应用,江西财经大学信息管理学院,11,of,33,沃尔玛基于每月4500万网络购物数据并结合在社交网络上挖掘出的对产品的大众评分,开发机器学习语义搜索引擎“北极星”,方便浏览,在线购物者增加10%15%,增加销售十多亿美元。
沃尔玛还通过对消费者的购物行为等非结构化数据进行分析,了解顾客购物习惯,从销售数据分析适合搭配卖的商品。
美国No.2超市Target选出孕妇常购的典型商品,建立怀孕预测指数,针对性派送孕妇用品的优惠广告。
还将分析用到各种细分客户群。
人人公司建立了人人游戏平台分析玩家从哪个地区以何种设备登录,玩家付费时间和充值记录,获取玩家的联系方式,通过回访和主动推广以增加玩家黏性,优化游戏的设计,过去一年人人游戏业务取得100%增长。
大数据在商业中应用,大数据的应用,江西财经大学信息管理学院,12,of,33,华尔街“德温特资本市场”公司分析全球3.4亿微博账户留言,判断民众情绪,人们高兴的时候会买股票,而焦虑的时候会抛售股票,依此决定公司股票的买入或卖出,该公司今年第一季度获得7%的收益率。
阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信的企业,无需担保便可从网上申请到贷款,平均利率6.7%。
目前已放贷上千亿元,单笔微贷成本仅2.3元,为银行的0.1%。
坏帐率仅0.3,为商业银行的1/3。
余额宝日获利400万元,用户的年化收益率4%5%。
京东商城收购网银在线,利用其掌握消费数据,联手中国银行可同时为商家和消费者提供贷款,包括订单融资、应收账款融资和协同投资等,还推出信用卡分期付款服务,打造仓储、物流、贷款到支付的闭环。
苏宁旗下的易付宝获得第三方支付牌照,还设立小贷公司为供应商解决贷款难问题,庞大的会员信息库为精准营销创造了条件。
大数据在金融业应用,大数据的应用,江西财经大学信息管理学院,13,of,33,利用收集的街景地图海量数据支持无人驾驶,美国AirSage公司每天通过处理来自公路汽车的上百万手机用户的150亿条位置信息,为超过100个城市提供实时交通信息。
腾讯投资嘀嘀打车,阿里投资快的打车。
大数据在交通中应用,美国纽约的交通部门从违规和事故统计中发现规律,改进道路设计。
北京公交一卡通每天产生4千万条刷卡记录,地铁每天乘客1千万,分析这一数据可优化设计城市公交路线。
大数据的应用,江西财经大学信息管理学院,14,of,33,在长假之前,很多人会在网络上搜索旅游地点介绍、住宿旅店、火车与飞机航班信息或自驾车游的路线等,根据同一IP地址的不同搜索,可以预先知道哪些旅游点和哪些交通线路拥塞。
利用短信、微信和微博等数据可分析人流集中的热点,监控突发事件。
大数据在旅游业应用,大数据的应用,江西财经大学信息管理学院,15,of,33,Google每天收集并长期保存全球超过30亿条搜索指令,把5000万条美国人最频繁检索的词条和美国疾控中心在20032008年间流感传播期的数据进行了比较,从4.5亿个数学模型中发现了一个特定的数学模型,结合45条检索词条,得到与疾控中心数据相关性高达97%。
2009年出现甲型H1N1流感,在爆发的几周前,Google就给出了预测,而且还能判断流感是从哪里来的。
大数据在医疗保健中应用,大数据的应用,江西财经大学信息管理学院,16,of,33,利用短信、微博、微信和搜索引擎可以收集热点事件与舆情挖掘。
通过对微博用户建立档案,从帖子中分析用户的性格,提前关注可能引起社会不稳定的因素。
如果一个人在网上在搜索如何制造炸弹或有关器材的同时还搜索某一地点,能帮助提前锁定作案的嫌疑人。
通过对QQ群和微信用户群的数据收集,按照物以类聚人以群分惯例,可大致判断犯罪人员的关联。
2013年8月美大西洋月刊报道,纽约的一对夫妇因在Google上曾经搜索“高压锅”和“背包”被一个由6人组成的联合反恐部队以“查水表”名义上门盘问是否拿高压锅来做炸弹。
2012年美国加州大学分析洛杉矶市过去1300多万起案件,找到了各小区发案与日期、天气、交通状况及其它相关事件的关系,建立犯罪活动预测平台,当地的警员每天按该系统发出的巡逻指令前往指定的小区。
该系统已使该地区的财产犯罪率和盗窃案件分别下降了12%和26%。
大数据在治安管理中的作用,大数据的应用,江西财经大学信息管理学院,17,of,33,大数据在科学研究中应用,几千年前,几百年前,几十年前,今天,实验科学描述自然现象,理论科学牛顿定律、麦克斯韦方程等,计算科学模拟复杂现象,数据密集型科学理论和实验及模拟的统一,科学研究方法的发展,大数据研究模式特点不在意数据的杂乱,但看重数据的量;不要求数据精准,但强调效率;不刻意追求因果关系,但重视规律总结,天文学的研究气候变化分析与预测材料基因组的设计超材料特性仿真合成生物学中DNA的编程设计新药的设计与合成,中药的药理分析病理图书馆大电网的性能仿真石油勘探数据处理流程工业复杂生产过程的仿真,大数据的应用,江西财经大学信息管理学院,18,of,33,Cloud,TacticalOperationsCenterC2andAnalysis,BIGDATA,BACK-UP&RECOVERY,ANALYSIS,BIGDATA,Launch&Recovery,GroundControlStation,IntelligenceCloud,BIGDATA,NOREAL-TIME,PREDICTIVE,INTERACTIVEANALYSIS,CONUS,美国国防部-目标是将分析人员从任意语言文字资料中提取信息的能力提高100倍;美国中情局-利用大数据将分析搜集数据的时间由63天缩短为27分钟。
美国反恐中心-一天需要查看的数据库超过120个,每天处理11.2万条情报信息。
大数据在军事领域的应用,大数据的应用,江西财经大学信息管理学院,19,of,33,美国NBA球队投篮位置与投篮概率及命中率,投篮概率,高,低,投篮命中率,高,低,NBA从80年代开始将球员在赛场上的表现数据化,经过30多年的积累已达到可辨别每一个球员在场上的弱点,方便教练进行针对性战术安排。
目前30家NBA球队俱乐部已有半数聘请了数据分析师,他们的平均胜率达到59.3%,而没有进行数据分析的球队仅有平均40.7%的胜率。
大数据在体育训练中的应用,大数据的应用,江西财经大学信息管理学院,20,of,33,大数据提供机器翻译服务,过去机器翻译是尽可能让计算机学会语法和查字典,但语言太复杂了,很多机器翻译难以实用。
Google将语言视为能够判别可能性的数据,将语义挑战变成数学问题。
Google有天然的优势即已经索引过的海量资料库;Google翻译系统搜寻不同字词同时出现在同一网页的频率来确定字词间的关联性;一个字词的意义经常能从其他与它并用的字眼而获得;从互联网上找各种文章及对应的译本,找出多语言数据之间的语法和文字对应规律;到2012年中,掌握用不同语言翻译的数十亿页文档,其语料库相当于950亿句英语。
Google数据库涵盖了60多种语言,还能接受14种语言的语音输入实现了机器自动学习功能,从而极大地提高翻译质量。
Google的语料库来自互联网上内容,会有语法错误和拼写错误等,但“大数据基础上的简单算法比小数据基础上的复杂算法更有效”。
大数据的应用,江西财经大学信息管理学院,21,of,33,2012年斯坦福大学与Google合作建立深度学习网络,对来自YouTube的上千万幅视频帧自主学习,用10天学会了识别猫的脸孔,然后从2万张未见过的照片中找猫,准确率达到15.8%。
人脸识别系统能对照片里的学生头像自动编号和识别,并进行个人身份对比。
很好治理了“选修课必逃,必修课选逃”现象的出现。
“宝贝回家”App应用存有2万名失踪儿童照片,用户只需将在大街上拍下的疑似失踪儿童照片上传,与数据库中已有照片相似度达到61%时,系统就会通知“宝贝回家”组织,提醒家长确认。
Face+的App利用人脸识别技术用于手机和网站密码登录的解锁。
硅谷Orbeus将人脸识别用于相亲网站,自动选出长相符合要求的照片,帮助人们更容易找到心仪的对象。
大数据提供人脸识别服务,大数据的应用,江西财经大学信息管理学院,22,of,33,奥巴马竞选团队有数千名志愿者,通过社交网络和微博等收集选民的爱好和关注,同时运行66000个计算机分析数据并建立选民档案,例如某个选民在Facebook或者Twitter上的大部分帖子都是关于环保和医疗成本,就可通过电子邮件发一条源自奥巴马专门谈论环境问题的信息,让该选民有理由支持总统连任。
微软纽约研究院的经济学家DavidRothschild根据网络舆情在2012年预测美国总统选举结果,对51个选区预测命中其中50个,准确率达到98%。
在2013年奥斯卡奖项的预测中,全部猜中。
大数据提供舆情服务,大数据的应用,江西财经大学信息管理学院,23,of,33,大数据的经济价值,3000亿美元美国保健的年度潜在价值,相当于西班牙年度医疗保健开支两倍2500亿欧元欧洲公共管理的潜在年度价值,比希腊GDP的两倍还多6000亿美元服务提供者利用全球个人位置数据可获得潜在的消费者年度盈余60的增加零售商利用大数据可获得的运营利润50%的减少-制造业设备装配成本14万19万美数据深度分析人才数150万美所需理解数据的管理者数,世界经济论坛去年发布报告,认定大数据为新财富,价值堪比石油。
麦肯锡说,大数据是下一个创新、竞争、生产力提高的前沿。
数据就是一种生产资料。
Gartner预测大数据将为全球带来440万个IT岗位,其中190万在美国。
另外每一个大数据岗位将催生3个非IT就业岗位。
在未来4年,信息经济将推动美国产生600万个就业岗位。
大数据的应用,江西财经大学信息管理学院,24,of,33,江西财经大学信息管理学院,25,of,33,数据采集、编索与整合,需要低成本存储与分布式处理,大量的仿真和计算任务须协调数百个参数,需要将高维图像等多媒体数据降维后度量与处理,需要可视化计算结果,分享与访问控制,安全与隐私保护,从数据挖掘到决策,大数据的管理,江西财经大学信息管理学院,26,of,33,3S,云计算,数据中心,数据挖掘,虚拟现实,DSS,专家系统,态势分析,SaaSTaaSDaaSIaaS,湖泊污染监视,信息数据库,GIS数据库,数据录入/查询,数据库管理,GIS服务器,数据录入,多源异构数据信息处理,集成控制中心应用平台,WEBGIS信息发布,3D建模与GIS基础信息,数字湖泊模型,预警,历史数据同步回放,数据挖掘,实时数据融合结果,GIS数据,信息共享,实时数据,多种传输网络,地基系统水质探测传感网,人工采集数据,卫星遥感数据,水面自动监测,人工辅佐巡查,空中影像监测,异源数据协同处理与云计算,大数据的管理,江西财经大学信息管理学院,27,of,33,ETL,实时流,非结构化数据(HDFS),实时处理,分析,收集.归类、组织所有有关的文本,解释词汇、编辑、通过上下文关联增进理解,使用可视化分析工具和技术,从大量动态可能是模棱两可甚至是矛盾的数据中综合信息并导出可理解的内容,实时结构化数据(hBase,Gemfire,Cassandra),批处理,BIGSQL(Greenplum,AsterData,Etc),非结构化的大数据处理,大数据的管理,江西财经大学信息管理学院,28,of,33,基于搜索词频的判断不完全是独立随机的Google的流感指数在2008年H7N1流感爆发时给出的预测比美国疾控中心(CDC)早两周发布,与CDC数据相似度0.9。
美国纽约州2013年1月流感流行状况十分严峻,政府发布了“公共健康紧急状态”的通告,大众媒体的广泛报道,影响了谷歌用户的搜索行为,导致Google流感指数估值出现了假阳性,远高于CDC的统计数值。
基于微博的判断不能代表所有年龄段的人群在谷歌流感指数启发之下,纽约罗切斯特大学利用Twitter的数据进行了尝试,可以提前8天预报流感对个体的侵袭状况,而且准确率高达90%。
不过Twitter的使用者大部分是年轻人,而季节性流感的袭扰对象多为抵抗力较弱的老年人和儿童。
因此基于Twitter的微博判断流感有片面性。
数据可信性分析,大数据的管理,江西财经大学信息管理学院,29,of,33,一个二线城市通常有上百条街道,每街道按50个路口,每个路口装16路摄像头,就共有8万个摄像头,如采用8Mbps摄像头,而且存三个月,就需要72万个2T的硬盘。
事实上没有感兴趣信息的摄像数据没有保留价值,在存储前甚至在拍摄时就要有所舍弃。
或者对每一帧感兴趣的区域增加分辨率,而其他区域降低比特率。
对有用的视频信息也需要压缩,北京黔龙泰达公司开发的ZCV无损耗高压缩可检索的视频处理算法,在保证图像质量情况下,可以做到在现有H.264基础上将码流数压缩到原大小的十分之一,该技术还可以将压缩后的文件还原为高比特率。
数据压缩,大数据的管理,江西财经大学信息管理学院,30,of,33,江西财经大学信息管理学院,31,of,33,中国人口居世界首位,但2010年中国新存储的数据仅为日本的60%和北美的7,而且我国所存的数据应保护的一半未保护。
我国一些部门和机构拥有大数据但以邻为壑,共享难导致信息不完整或重复投资。
网络数据中真伪混杂,特别是微博传播不实消息散布很快,而微信圈子内的消息不易监控,对信息内容管理提出挑战。
我国在自主可控的大数据分析技术与产品方面与发达国家相比有不少差距。
如过分依赖国外的大数据平台,难以回避信息泄密的风险。
大数据挖掘需要有法可依,提倡数据共享又要防止数据被滥用。
中国能理解与应用大数据的创新人才更是稀缺资源。
大数据需要国家战略!
大数据的挑战,大数据的挑战,江西财经大学信息管理学院,32,of,33,云计算,移动互联网,社交网络,物联网,大数据,下一代互联网,智能化,信息化的新浪潮,大智移云,大数据的挑战,江西财经大学信息管理学院,33,of,33,互联网产生大数据,移动互联网和物联网进一步推动数据的爆炸。
大数据的挖掘深化了信息技术的应用,催生新的应用和新业态出现。
大数据提升了管理和决策的智能化水平。
大数据的管理技术是大数据时代竞争的焦点。
大数据时代对我国是机遇也是挑战,是对我国创新能力的考验!
结束语,江西财经大学信息管理学院,THANKYOU,江西财经大学信息管理学院徐升华,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 发展 未来 35