大数据张小健.docx
- 文档编号:12560690
- 上传时间:2023-06-06
- 格式:DOCX
- 页数:10
- 大小:25.23KB
大数据张小健.docx
《大数据张小健.docx》由会员分享,可在线阅读,更多相关《大数据张小健.docx(10页珍藏版)》请在冰点文库上搜索。
大数据张小健
广东石油化工学院
专题讲座与创新实践论文
题目:
大数据时代信息探索
专业:
电气工程及其自动化
姓名:
张小健
班级:
电气12-4
指导老师:
熊建斌
学号:
12034470443
摘要:
大数据(BigData)是指那些超过传统数据库系统处理能力的数据。
它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。
大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。
大数据的整体态势和发展趋势,主要体现在几个方面:
大数据与学术、大数据与人类的活动,大数据的安全隐私、关键应用、系统处理和整个产业的影响。
大数据整体态势上,数据的规模将变得更大,数据资源化、数据的价值凸显、数据私有化出现和联盟共享。
因此,大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。
关键字:
大数据折叠编辑本段折叠市场
1.1大数据概念
大数据或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
“大数据”是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。
在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。
这些数据,并非公司顾客关系管理数据库的常态数据组。
从技术上看,大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分。
大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。
它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。
(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代[4]》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据的方法)大数据的4V特点:
Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
1.1.1大数据意义
大数据的意义是由人类日益普及的网络行为所伴生的,受到相关部门、企业采集的,蕴含数据生产者真实意图、喜好的,非传统结构和意义的数据。
2013年5月10日,阿里巴巴集团董事局主席马云在淘宝十周年晚会上,将卸任阿里集团CEO的职位,并在晚会上做卸任前的演讲,马云说,大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。
从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。
在经历了几年的批判、质疑、讨论、炒作之后,大数据终于迎来了属于它的时代。
2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略。
奥巴马政府甚至将大数据定义为“未来的新石油”。
大数据时代已经来临,它将在众多领域掀起变革的巨浪。
但我们要冷静的看到,大数据的核心在于为客户挖掘数据中蕴藏的价值,而不是软硬件的堆砌。
因此,针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。
我们相信,在国家的统筹规划与支持下,通过各地方政府因地制宜制定大数据产业发展策略,通过国内外IT龙头企业以及众多创新企业的积极参与,大数据产业未来发展前景十分广阔。
大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。
产业洞察研究院表示无论如何,大数据在风电领域已有所建树。
首先,结合了大数据分析和天气建模技术的能源电力系统能够提高风电的可靠性。
以往对风资源的预测不够精准,在风能无法贡献预期功力时,火电就要作为后备电力。
这样,电网对风电的依赖程度越高,需要建设后备电站的成本就越高。
另外,启用火电站的就等于向环境中释放碳排。
然而,在大数据分析的帮助下,温度、气压、湿度、降雨量、风向和风力等变量都得到充分考虑,对风电的预测更加精准。
电网调度人员可以提前做好调度安排,也有助于电网消纳更多风电。
除了做到更精准的预测,检测和采集风机的运转数据、风场的运营数据还有利于风机制造商更好地改善风机的性能,风电场业主在追求风场效益最大化时也离不开大数据。
大数据在风电领域的应用前景看起来很美,但当前存在的问题是,将风机、风场的数据汇集起来并非易事。
这些数据分散在风机制造商、风场业主、系统运营商和运维服务商等多个环节手中,他们能从这些数据中得到利益却无法做到合理分配,所以,有些利益相关方宁愿不分享这些数据。
知识产权问题也是大数据影响风电进程的一个拦路虎。
试想,如果多家风机制造商都公开风机的设计数据,那将是整个行业的幸事,通过交流和分享,风机的设计会有所改善性,性能会提高。
但出于商业竞争考虑,风机制造商往往将这些数据视为商业机密、竞争利器,不愿公开。
同理,风场业主收集和保存的风电运行数据不但有助于他们做出更好的业务决策,也有利于第三方运维企业提供更好的服务,但在实际情况下,运维商却很难得到这些数据。
风电行业的意义在于向终端消费者提供更稳定、更清洁、更廉价的电力,这是行业存在合理性的根据,也是业界努力的方向。
共建并分享运营数据,进而激发这些数据的全部潜力才是风电行业迎接大数据时代的应有姿态。
对于大数据,它也是经常可以创建适用于大多数分析的汇总数据。
例如一个计算不同地点车辆数量的交通遥测应用。
这中方法可以产生大量的数据,但是如果汇总数据最后一分钟还存储在内存中,最后一小时存储在闪存中,最后一天存在磁盘上,那么控制应用程序所需的实际时间可以通过快速访问资源得到满足,然而假设分析时我们可以使用一些更便宜、更慢的应用程序是会怎样。
SOA都是抽象的,但当抽象隐藏了底层影响性能和响应时间的复杂性时,这种抽象的危险程度会提高。
数据访问也是这样的,因此,SOA架构师需要认真地考虑抽象与性能之间的平衡关系,并为其特定的业务需求优化它。
1.1.2折叠编辑本段大数据特点
第一,数据体量巨大。
从TB级别,跃升到PB级别。
第二,数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。
第三,价值密度低。
以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
第四,处理速度快。
1秒定律。
最后这一点也是和传统的数据挖掘技术有着本质的不同。
物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。
2.1折叠编辑本段最新动态
中国报告网调查员最新获悉,最近,十多位院士向高层建议,我国应制定大数据国家战略,并在发展目标、发展原则、关键技术等方面作出顶层设计。
与此同时,国家发改委与中科院正在启动“基础研究大数据服务平台应用示范项目”。
权威人士透露,有关部门正在积极研究,大数据国家战略或将提上议程。
多位中国科学院院士和中国工程院院士表示,在我国国家战略层面的文件中,对大数据提得不多,希望国家制定大数据国家战略。
多位院士的建议方案认为,所要制定的大数据国家战略是国家层面的顶层规划。
其主要内容包括:
构建大数据研究平台,整合创新资源,实施“专项计划”,突破关键技术;构建大数据良性生态环境,制定支持政策,形成行业联盟,制定行业标准;构建大数据产业链,促进创新链与产业链有效嫁接。
一位中国工程院院士在一份《关于实施大数据国家战略研究》的报告中表示:
“虽然我们意识到大数据的重要性,却并未在真正意义上将其提升到国家战略高度来考量,我们迫切需要从国家层面上制定大数据发展规划,将大数据上升为国家战略。
”这份研究报告指出,要“通过国家层面的战略规划明确大数据产业的发展重点、空间布局和保障措施,推动和改善与大数据相关的收集、储存和分析工具及技术,并在公共服务领域如安防、医疗、卫生、教育等开展大数据应用示范,提高应急处置能力和安全防范能力,提升服务能力和运作效率。
”
调查员从国家发改委了解到,最近,国家发改委和中科院正在推进国家高技术服务业研发与产业化专项“基础研究大数据服务平台应用示范”项目。
国家发改委高技术产业司有关人士表示:
“我们将依靠新的方式、新的理念、新的技术对大数据进行挖掘应用,帮助科技、经济、社会发展;希望结合有关国家研究机构的优势与特色,能够探索大数据的潜在发展前景与效益,支持相关领域内的融合创新与思想碰撞。
”中国科学院科学数据中心主任黎建辉研究员则表示“目前我们正在对基础研究的大数据获取方式、组织与管理、关联与发现、分析与可视化等方面进行研究,下阶段将研究大数据的协同创新、科研模式变革、服务模式、产业化探索、人才培养等方面问题。
”科技部高新司副司长杨咸武表示:
“当前全球已经全面进入信息时代,数据的深度分析和利用将对推动经济持续增长、提升企业的竞争力起到重要的作用。
”重点任务主要有布局关键技术、推进示范应用、完善支持政策等三方面。
首先,布局关键技术研发创新。
一是以数据分析技术为核心,加强人工智能、商业智能、机器学习等领域的理论研究和技术研发,夯实发展基础。
二是加快非结构化数据处理技术、非关系型数据库管理技术、可视化技术等基础技术研发,并推动与云计算、物联网、移动互联网等技术的融合,形成较为成熟、可行的解决方案。
三是面向大数据应用,加强网页搜索技术、知识计算搜索技术、知识库技术等核心技术的研发,开发出高质量的单项技术产品,并与数据处理技术相结合,为实现商业智能服务提供技术体系支撑。
其二,加速推进示范应用。
一是面向能源、金融、电信等行业,引导企业参与,发展数据监测、商业决策、数据分析等软硬件一体化的行业应用解决方案;二是面向城镇化建设与民生需求,加快推动大数据在城市建设生活服务领域的应用,不断提升数字内容加工处理软件等服务发展水平。
三是推动行业数据深加工服务。
大力开发深度加工的行业数据库,对高科技领域数据进行深度加工,建立基于不同行业领域的专题数据库,提供内容增值服务。
四是推进政府及大型公共信息服务平台建设。
发展和利用跨部门的政府信息大平台,提高行政工作效率,降低政府运行成本。
利用政府信息大平台,提高政府决策的科学性和精准性,提高政府预测预警能力以及应急响应能力。
最后,完善支持政策,鼓励民间投资。
一是加大财政投入。
加大中央预算内投资和中央财政信息技术专项资金对大数据产业的投入,安排国有资本经营预算支出支持重点企业实施大数据项目。
二是拓展投融资渠道。
积极创新金融产品和服务,支持大数据成果转化和产业化。
鼓励和引导民间投资和外资进入大数据领域。
2.1.2折叠编辑本段发展影响
大数据意味什么?
企业与厂商
斯隆数字巡天收集在其最初的几个星期,比在天文学的历史,早在2000年的整个数据收集更多的数据。
自那时以来,它已经积累了140兆兆字节的信息。
这个望远镜的继任者,大天气巡天望远镜,将于2016年在网上和将获得的数据,每5天沃尔玛处理超过100万客户的交易每隔一小时,反过来进口量数据库估计超过2.5PB的是相当于167次,在美国国会图书馆的书籍。
FACEBOOK处理400亿张照片,从它的用户群。
解码最初的人类基因组花了10年来处理时,现在可以在一个星期内实现。
“大数据”的影响,增加了对信息管理专家的需求,甲骨文,IBM,微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。
这个行业自身价值超过1000亿美元,增长近10%,每年两次,这大概是作为一个整体的软件业务的快速。
大数据已经出现,因为我们生活在一个社会中有更多的东西。
有46亿全球移动电话用户有1亿美元和20亿人访问互联网。
基本上,人们比以往任何时候都与数据或信息交互。
1990年至2005年,全球超过1亿人进入中产阶级,这意味着越来越多的人,谁收益的这笔钱将成为反过来导致更多的识字信息的增长。
思科公司预计,到2013年,在互联网上流动的交通量将达到每年667艾字节。
3.1折叠市场
中国人口众多,互联网用户数在2013年已经超过5亿人,全球第一。
海量的互联网用户创造了大规模的数据量。
据预测,到2015年全球有超过85%的财富500强企业将在大数据竞争中失去优势。
我们认为这种发展趋势在国内同样不可避免,在未来的市场竞争中,能在第一时间从大量互联网数据中获取最有价值信息的企业才最具有优势。
当前,大部分中国企业在数据基础系统架构和数据分析方面都面临着诸多挑战。
根据产业信息网调查,目前国内大部分企业的系统架构在应对大量数据时均有扩展性差、资源利用率低、应用部署复杂、运营成本高和高能耗等问题。
国内企业为适应大数据时代而做出大规模调整是一种必然,这为国内从事大数据相关业务的IT企业带来了极大市场需求。
国内企业,不论是国企还是民企,真正在业务决策中以数据分析结果为依据的,主要集中在银行,保险,电信和电商等几个行业。
以IT预算最充沛,人员能力最强的银行为例,目前主要是大型银行在导入数据分析。
中小银行尚在观望与学习阶段,人员与能力建设正在起步阶段。
数据分析的应用范围主要集中在信用风险、流程优化、市场营销、成本与预算等几个方面,深度尚可,但广度一般,尚未扩充到运营管理的所有领域。
根据前瞻产业研究院发布的《2014-2018年中国大数据产业发展前景与投资战略规划分析报告》分析,目前,在对数据的价值的态度上,除了6.9%的企业认为数据没有价值以外,绝大多数企业都认为数据具有或可能具有很高的价值,可见大数据的价值已经在企业中获得了广泛的认可。
未来随着越来越多的大数据分析平台和工具的开始广泛应用,大数据的价值将会被进一步释放并获得企业认可。
事实上,全球互联网巨头都已意识到了“大数据”时代,数据的重要意义。
包括EMC、惠普(微博)、IBM、微软(微博)在内的全球IT巨头纷纷通过收购“大数据”相关厂商来实现技术整合,亦可见其对“大数据”的重视。
“大数据”作为一个较新的概念,目前尚未直接以专有名词被我国政府提出来给予政策支持。
不过,在12月8日工信部发布的物联网“十二五”规划上,把信息处理技术作为4项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。
而另外3项关键技术创新工程,包括信息感知技术、信息传输技术、信息安全技术,也都与“大数据”密切相关。
其实大数据很早以前就有,只是光只有数据大是没有用处的。
世界上最大的数据估计和互联网一点关系都没有,欧洲对撞实验室做一次碰撞的数据,可能一辈子都做不完,最大的数据估计在那里。
大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。
云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。
企业内部的经营交易信息、物联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。
如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
大数据时代网民和消费者的界限正在消弭,企业的疆界变得模糊,数据成为核心的资产,并将深刻影响企业的业务模式,甚至重构其文化和组织。
因此,大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。
如果不能利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判,所有传统的产品公司都只能沦为新型用户平台级公司的附庸,其衰落不是管理能扭转的。
因此,大数据时代将引发新一轮信息化投资和建设热潮。
据IDC预测,到2020年全球将总共拥有35ZB的数据量,而麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,未来中国大数据产品的潜在市场规模有望达到1.57万亿元,给IT行业开拓了一个新的黄金时代。
数据处理技术和设备提供商、IT系统咨询和ERP/CRM/BI改造服务商、智能化和人机交互应用以及信息安全。
供商将获巨大需求,相应公司将获得机会。
当前我们还处在大数据时代的前夜,预计今明两年将是大数据市场的培育期,2014年以后大数据产品将会形成业绩。
由于国际巨头在硬件层和基础软件层垄断优势明显,本土企业将主要依靠对客户需求的了解和客户资源优势,以及本地化服务的优势,在应用软件层分得蛋糕,拥有大数据处理、挖掘技术、数据分析人才以及数据资产的公司值得看好。
3.1.1折叠编辑本段大数据开创新世界
大数据正在以不可阻拦的磅礴气势,与当代同样具有革命意义的最新科技进步(如纳米技术、生物工程、全球化等)一起,揭开人类新世纪的序幕。
可以简单地说,以往人类社会基本处于蒙昧状态中的不发展阶段,即自然发展阶段。
现在,这一不发展阶段随着2012年的所谓“世界末日”之说而永远成为了过去。
大数据宣告了21世纪是人类自主发展的时代,是不以所谓“上帝”的意志为转移的时代,是“上帝”失业的时代。
对于地球上每一个普通居民而言,大数据有什么应用价值呢?
只要看看周围正在变化的一切,你就可以知道,大数据对每个人的重要性不亚于人类初期对火的使用。
大数据让人类对一切事物的认识回归本源;大数据通过影响经济生活、政治博弈、社会管理、文化教育科研、医疗保健休闲等等行业,与每个人产生密切的联系。
大数据技术离你我都并不遥远,它已经来到我们身边,渗透进入我们每个人的日常生活消费之中,时时刻刻,事事处处,我们无法逃遁,因为它无微不至:
它提供了光怪陆离的全媒体,难以琢磨的云计算,无法抵御的仿真环境。
大数据依仗于无处不在的传感器,比如手机、发带,甚至是能够收集司机身体数据的汽车,或是能够监控老人下床和行走速度与压力的“魔毯”(由GE与Intel联合开发),洞察了一切。
通过大数据技术,人们能够在医院之外得悉自己的健康情况;而通过收集普通家庭的能耗数据,大数据技术给出人们切实可用的节能提醒;通过对城市交通的数据收集处理,大数据技术能够实现城市交通的优化。
随着科学技术的发展,人类必将实现数千年的机器人梦想。
早在古希腊、古罗马的神话中就有冶炼之神用黄金制造机械仆人的故事。
《论衡》中也记载有鲁班曾为其母巧公制作一台木马车,“机关具备,一驱不还”。
而到现代,人类对于机器人的向往,从机器人频繁出现在科幻小说和电影中已不难看出。
公元2035年,智能型机器人已被人类广泛利用,送快递、遛狗、打扫卫生……这是电影《我,机器人》里描绘的场景。
事实上,今天人们已经享受到了部分家用智能机器人给生活带来的便利。
比如,智能吸尘器以及广泛应用于汽车工业领域的机器手等等。
有意思的是,2010年松下公司专门为老年人开发了“洗发机器人”,它可以自动完成从涂抹洗发水、按摩到用清水洗净头发的全过程。
未来的智能机器人不会是电影《变形金刚》中的庞然大物,而会越来越小。
目前,科学家研发出的智能微型计算机只和雪花一样大,却能够执行复杂的计算任务,将来可以把这些微型计算机安装在任何物件上用以监测环境和发号施令。
随着大数据时代的到来和技术的发展,科技最终会将我们带进神奇的智能机器人时代。
在大数据时代,人脑信息转换为电脑信息成为可能。
科学家们通过各种途径模拟人脑,试图解密人脑活动,最终用电脑代替人脑发出指令。
正如今天人们可以从电脑上下载所需的知识和技能一样,将来也可以实现人脑中的信息直接转换为电脑中的图片和文字,用电脑施展读心术。
2011年,美国军方启动了“读心头盔”计划,凭借读心头盔,士兵无需语言和手势就可以互相“阅读”彼此的脑部活动,在战场上依靠“心灵感应”,用意念与战友互通讯息。
目前,“读心头盔”已经能正确“解读”45%的命令。
随着这项“读心术”的发展,人们不仅可以用意念写微博、打电话,甚至连梦中所见都可以转化为电脑图像。
据美国《纽约时报》报道,奥巴马政府将绘制完整的人脑活动地图,全面解开人类大脑如何思考、如何储存和检索记忆等思维密码作为美国科技发展的重点,美国科学家已经成功绘出鼠脑的三维图谱。
2012年,美国IBM计算机专家用运算速度最快的96台计算机,制造了世界上第一个“人造大脑”,电脑精确模拟大脑不再是痴人说梦。
试想一下,如果人类大脑实现了数据模拟,或许你的下一个BOSS是机器人也不一定。
总而言之,大数据技术的发展有可能解开宇宙起源的奥秘。
因为,计算机技术将一切信息无论是有与无、正与负,都归结为0与1,原来一切存在都在于数的排列组合,在于大数据。
参考文献:
《大数据时代下的大数据到底有多大?
》中国大数据[引用日期2014-03-06]
《带您了解大数据》中国大数据2014-02-26[引用日期2014-03-25]
大数据时代降临半月网坛1012-09-22
IT部门如何应对大数据时代?
CIO时代网2012-02-27
《什么是大数据时代的思维?
》蓝调(2013)
《大数据时代来临的思考——机遇与挑战并存》涉惠杰
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 张小健