大数据在物流管理中应用Word文档格式.docx
- 文档编号:3728768
- 上传时间:2023-05-02
- 格式:DOCX
- 页数:19
- 大小:214.94KB
大数据在物流管理中应用Word文档格式.docx
《大数据在物流管理中应用Word文档格式.docx》由会员分享,可在线阅读,更多相关《大数据在物流管理中应用Word文档格式.docx(19页珍藏版)》请在冰点文库上搜索。
(三)大数据应用于物流管理的重要意义 12
五、总结与展望 13
致谢语 16
参考文献 17
引言
电子商务已越来越深入人心,随之发展的首要问题就是物流的问题。
当前,我国的物流业也保持着高速的增长,物流的各个环节产生的数据正已爆炸性的增长。
在现今物联网、云计算、大数据等技术的发展下。
如何运用大数据技术运用到物流管理上,对物流数据进行挖掘、分析、提炼、整合,以便了解物流的状况和业务情况,并进行战略规划,制定物流企业决策,提升物流业的服务水平。
本文介绍大数据的相关术语和技术;
介绍现代物流管理以及分析物流管理的现状;
分析大数据在物流管理的前景,研究大数据技术可运用在物流管理的技术;
发现如今在物流管理中存在的问题并提出相关的对策建议。
一、大数据概述
(一)大数据的定义
大数据技术(Bigdata)[1],或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
在维克托·
迈尔-舍恩伯格及肯尼斯·
库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。
(二)大数据的特征
(1)体重(Volume):
体重是大数据的空间属性。
数据体量巨大,非结构化数据的超大规模和增长,从TB级别跃升到PB级别。
(2)多样性(Variety):
多样式大数据的结构属性。
数据类型繁多,有很多不同类型的数据,如文本、图像、视频、机器数据、地理位置信息等。
(3)价值密度(Value):
价值密度是大数据的内容属性。
价值密度低,商业价值高。
以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
(4)速度(Velocity):
速度是大数据的时间属性。
处理速度快,遵循1秒定律,实时分析而非批量式分析。
(三)大数据的关键技术
大数据的基本处理流程与传统数据处理流程并无太大差异,主要区别在于:
由于大数据要处理大量、非结构化的数据,所以在各个处理环节中都可以采用MapReduce[2]等处理。
如下图1所示:
图1适用MapReduce的各环节处理
1.大数据的并行处理利器——MapReduce如下图2所示
大数据可以通过MapReduce这一并行处理技术来提高数据的处理速度。
MapReduce的设计初衷是通过大量廉价服务器实现大数据并行处理,对数据一致性要求不高,其突出优势是具有扩展性和可用性,特别适用于海量的结构化、半结构化及非结构化数据的混合处理。
MapReduce将传统的查询、分解及数据分析进行分布式处理,将处理任务分配到不同的处理节点,因此具有更强的并行处理能力。
作为一个简化的并行处理的编程模型,
MapReduce还降低了开发并行应用的门槛。
MapReduce是一套软件框架,包括Map(映射)和Reduce(化简)两个阶段,可以进行海量数据分割、任务分解与结果汇总,从而完成海量数据的并行处理。
图2MapReduce工作流程
MapReduce的工作原理其实是先分后合的数据处理方式。
Map即“分解”,把海量数据分割成了若干部分,分给多台处理器并行处理;
Reduce即“合并”,把各台处理器处理后的结果进行汇总操作以得到最终结果。
如右图所示,如果采用MapReduce来统计不同几何形状的数量,它会先把任务分配到两个节点,由两个节点分别并行统计,然后再
把它们的结果汇总,得到最终的计算结果。
数据处理方式如下图3所示:
MapReduce适合进行数据分析、日志分析、商业智能分析、客户营销、大规模索引等业务,并具有非常明显的效果。
通过结合MapReduce技术进行实时分析,某家电公司的信用计算时间从33小时缩短到8秒,而MKI的基因分析时间从数天缩短到20分钟。
图3使用MapReduce进行形状计数
2.大数据技术在数据采集方面采用的方法
(1)系统日志采集方法
很多互联网企业都有自己的海量数据采集工具,多用于系统日志采集,如Hadoop的Chukwa,Cloudera的Flume,Facebook的Scribe等,这些工具均采用分布式架构,能满足每秒数百MB的日志数据采集和传输需求。
(2)网络数据采集方法:
对非结构化数据的采集
网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。
该方法可以将非结构化数据从网页中抽取出来,将其存储为统一的本地数据文件,并以结构化的方式存储。
它支持图片、音频、视频等文件或附件的采集,附件与正文可以自动关联。
除了网络中包含的内容之外,对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。
(3)其他数据采集方法
对于企业生产经营数据或学科研究数据等保密性要求较高的数据,可以通过与企业或研究机构合作,使用特定系统接口等相关方式采集数据。
二、物流管理概述
(一)物流管理的定义
物流管理(LogisticsManagement)[3]是指在社会再生产过程中,根据物质资料实体流动的规律,应用管理的基本原理和科学方法,对物流活动进行计划、组织、指挥、协调、控制和监督,使各项物流活动实现最佳的协调与配合,以降低物流成本,提高物流效率和经济效益。
现代物流管理是建立在系统论、信息论和控制论的基础上的。
(二)物流管理的特点
(1)以实现客户满意为第一目标;
(2)以企业整体最优为目的;
(3)以信息为中心;
(4)重效率更重效果。
(三)物流管理的基本内容
1.物流作业管理
物流作业管理是指对物流活动或功能要素的管理,主要包括运输与配送管理、仓储与物料管理、包装管理、装卸搬运管理、流通加工管理、物流信息管理等等。
2.物流战略管理
[4]
物流战略管理(logisticsstrategymanagement)是对企业的物流活动实行的总体性管理,是企业制定、实施、控制和评价物流战略的一系列管理决策与行动,其核心问题是使企业的物流活动与环境相适应,以实现物流的长期、可持续发展。
3.物流成本管理
物流成本管理是指有关物流成本方面的一切管理工作的总称,即对物流成本所进行的计划、组织、指挥、监督和调控。
物流成本管理的主要内容包括物流成本核算、物流成本预测、物流成本计划、物流成本决策、物流成本分析、物流成本控制等等。
4.物流服务管理
所谓物流服务,是指物流企业或企业的物流部门从处理客户订货开始,直至商品送交客户过程中,为满足客户的要求,有效地完成商品供应、减轻客户的物流作业负荷,所进行的全部活动。
5.物流组织与人力资源管理
物流组织是指专门从事物流经营和管理活动的组织机构,既包括企业内部的物流管理和运作部门、企业间的物流联盟组织,也包括从事物流及其中介服务的部门、企业以
及政府物流管理机构。
6.供应链管理
供应链管理(SupplyChainManagement),是用系统的观点通过对供应链中的物流、信息流和资金流进行设计、规划、控制与优化,以寻求建立供、产、销企业以及客户间的战略合作伙伴关系,最大程度地减少内耗与浪费,实现供应链整体效率的最优化并保证供应链成员取得相应的绩效和利益,来满足顾客需求的整个管理过程。
(四)物流管理系统
1.物流管理系统结构设计
物流管理系统[5]是信息的主要组成部分,对物流信息经过收集、储存、加工、处理和传输来实现对物流活动的有效控制和管理,并通过对数据的挖掘、分析,为物流企业提供战略规划、沟通协调、运营管理、行为分析和决策支持的交互系统。
系统由基础管理、仓储管理、销售管理和结算管理四大子系统构成,主要功能如下:
(1)基础管理:
对货主进行身份注册、验证、注销等管理,及时将产品物流相关信息通过网页、论坛、微博、微信等方式进行发布。
基础管理保证物流管理的操作和有效的运行。
(2)仓储管理:
对仓库内的物资进行入库、出库、作业、流程、安全和库存进行管理,根据销售管理系统提供的数据,对库存进行补货或订货劝告,适时适量调整订货的信息。
仓储管理是物流管理系统的功能模块,实现企业及货主实时对仓库的状况掌握相关信息,不盲目的进行进货,保证仓库安全等事宜。
(3)销售管理:
对订货信息的完整及其准确度进行校验,并对订单的相关制约条件进行审查。
根据销售的产品销售情况和客户询价情况,及时反馈给仓储管理系统,适当控制存库。
销售管理是物流管理系统的功能模块,利于企业及其使用者掌握销售信息,做出正确的决定,降低商业风险。
(4)结算管理:
对合同进行管理,对合同的订立、履行、解除、转让等情况进行管理。
根据数据分析结果、客户行为分析和市场导向,合理设定费率和费用,并根据设定的费率和费用,计算相关产品物流管理费用。
合同管理是物流管理系统的一个至关重要的模块,有效的帮助企业规避风险等重要事宜。
物流管理系统如下图4所示:
图4物流管理系统
2.物流管理系统工作流程
1.信息采集
物流管理系统首先通过GPS、无线射频、条码扫描等方式从运输载体、人员、货物中实时采集数据输入到系统中,在处理之前,保存在系统数据库中,以保证数据的完整性、实时性和准确性。
1.信息处理
有些数据在处理之后还有利用价值,要将其保存下来,以供以后分析使用。
同时,物流数据在系统中,要准确、及时地传输到各个职能环节,保证数据的使用价值。
之后,系统将输入的数据加工处理成系统所需要的物流信息,并进行数据挖掘、分析和利用,形成大数据价值链。
3.信息发布
信息发布是通过网站、微博、微信等方式实现物流信息发布,力求在输出形式上力求易读易懂,直观醒目。
工作流程如下图5所示:
图5物流管理工作流程
三、目前物流管理的基本现状
1.企业对物流管理没有足够重视
目前很多企业对物流的管理理解不深,认为物流管理只是简单的运输和仓储,忽略了
[6]
现代物流管理的重要目标,即最大限度地满足顾客要求,提高企业经济效益。
随着社会
经济分工的细化,客户对物流服务的要求也越来越高,追求个性化与多样化的服务。
企业对物流管理的不重视,会使企业物流管理缺乏宏观上的把握,管理松懈,不利于提高物流服务的质量。
2企业物流基础设施陈旧落后
大多数企业的物流基础设施没有足够的资金投入,也没有纳入到企业的发展战略之中,在物流管理方面也没有引起足够的重视,最终导致物流设施的陈旧、落后,企业的物流基础也得不到完善。
企业规划时多数是以生产为主线的,没能在整体上考虑物流基础设施,最终导致企业内部存在交叉作业、无效运输、移动等现象。
很多企业不借助第三方物流来实现运输,依靠自身经营物流,而自营物流硬件设施不完善,在此情况下,就需要人力来完成物流过程。
3.企业物流管理机构设置不当,部门协调不充分
我国企业在物流管理方面还没有建立专门的物流管理部门,当然也就谈不上对物流管理系统中的每一个环节的规划和管理,这使得物流管理系统分散,不利于企业物流的整合[7]。
职能分散还会使得企业在采购、生产、运输、仓储等方面很难同时达到规模经
济,造成资源浪费。
4.企业物流管理中信息技术落后
目前,我国物流管理水平相对较低,手段比较单一,现代信息化技术在管理中没有得到充分的应用,对网络信息技术的应用还停留在低级阶段,信息技术网络还不健全,不利于及时反映出物流服务的需求信息。
有一些企业在物流管理中也配备了信息系统,但只在物流过程中的几个环节使用,还没有有效地实现物流供应链信息集成。
5.物流管理专业人才短缺
物流是一种综合性强、技术含量高、覆盖范围广的行业,所以其对物流管理人员的专业素质要求也就比较高,除熟悉物流管理环节外,还要有必备的物流管理专业知识,并且精通物流各环节技术运作。
特别是随着国际物流系统的形成,现代企业急需的是熟知电子商务、海关业务、进出口贸易、国际法、供应链管理、采购系统等方面的复合型物流管理人才。
但目前,我国企业在物流管理方面还缺乏专业技能人才,和现代物流企业现代化建设差距较远。
尤其一些中小型企业不重视物流管理,也没有计划性地培养专业人才,造成了人才短缺的现象。
再者,我国职业教育培训体系相对落后,使得专业的物流管理人才数量远远不能满足市场的需求,阻碍了我国企业物流管理的发展。
5.物流管理技术落后
当今世界,企业的竞争是综合实力的竞争,物流职能是企业主要职能之一,因此被誉为“第三方利润源泉”,也受到了越来越多企业的关注[8]。
物流过程实质上是“物流、资金流和信息流”的“三流一体化”过程,只有将三者有效地结合,才能真正达到降低流通成本、提高物流工作效率的目的。
因此,信息化管理已成为现代企业的基本模式,企业的物流管理信息化已大势所趋。
然而我国大多数企业信息收集、处理的效率非常低,很多企业停留在纸笔时代,有些企业配备了电脑,但是没有形成系统,更没有形成网络。
信息对企业来说非常重要,他是协调各部门的基础。
信息技术被视为是提高生产率和竞争力的主要手段,它在不断地提高速度和能力,同时又在降低成本,新技术日新月异,现在被广泛应用的有电子数据交换(EDI)、个人电脑、人工智能/专家系统、通信、条形码和扫描技术,这些在中国企业中的应用都很低。
我国国民经济已经历了20余年的高速发展,积累了雄厚的物质基础,各主要行业的标准化建设,也已形成各自的一套体系,而这些体系的形成,并没有考虑到现代物流发展的需要。
现有技术标准存在多方面的差异,制约了物流的协调运作,突出表现在托盘、包装、信息技术等通用设备与技术上面。
铁路、公路、海运、民航、工业部门物流系统,都有自己的或选择不同的物流标准,形式多样,版本不一。
除了经济上的直接损失,还造成人力、时间、效率等方面
无法估算的损失。
物流标准化的市场基础比较薄弱,直接影响到物流标准化的实施。
国家标准《储运单元条码》颁布后,实际应用正确率不足15%,没有实现规范物流条码的预期目的。
如我国集装箱运输仅占总货运量的20%,而世界平均水平是65%。
6.传统的数据处理技术满足不了现在的需求
现代物流与传统物流的最本质区别就是现代信息技术的应用,因此现代物流离不开计算机网络技术和信息技术的支撑,要具有系统化、信息化、自动化、网络化、智能化、标准化、社会化的几个基本特征[9]。
中国的物流尚没有以现代信息技术为基础,把运输、包装、储存、流通加工、配送、信息处理等功能结合起来,形成一个高效、畅通的综合物流体系。
近年来,信息技术开始在物流领域开始应用和发展。
但由于历史的以及现代发展的种种原因,比如物流不被重视,从业人员素质较低,电脑应用较少,对信息化的意识不强等原因,我国物流的总体信息化程度还比较低,全国范围内尚未构成有机协调的物流网络体系。
因此应用数据挖掘对现代农业物流管理决策进行研究具有非常重要的意义。
四、大数据在物流管理系统中的应用
物流管理系统产生的数据分散存储、数据模型不统一、标准化程度低、无法支持非结构化和半结构化数据处理、数据未能有效地进行商业利用等特点,给予大数据的物流管理系统构建数据集中、数据模型标准化、数据统一存储和处理、多结构化数据处理的模式、对产品搜索引擎和询价日志进行收集并管理,对海量数据进行计算和分布式处理,实现海量管理系统数据的实时快速加载、实时复杂查询和数据的实时入库,结合用户上网日志和互联网网页内容,进行深度数据挖掘和分析,为企业把我用户行为偏好、改善用户体验、精准行销、产品竞争力分析提供数据支持。
(一)物流管理系统数据库
1.Hadoop介绍
前文已经介绍了MapReduce模式,其中心思想就是分而治之。
MapReduce集群由普通PC机构成,为无共享式架构。
在处理之前,将数据集分布至各个节点。
处理时,每个节点就近读取本地存储的数据处理(map),将处理后的数据进行合并(combine)、排序(shuffleandsort)后再分发(至reduce节点),避免了大量数据的传输,提高了处理效率。
无共享式架构的另一个好处是配合复制(replication)策略,集群可以具有良好的容错性,一部分节点的死机不会对集群的正常工作造成影响。
云计算及架构Hadoop
HDFSF分布式文件系统
MapReduceAPI
HBase分布式数据库
(Map,Reduce)
Hadoop[10]是一个基于Java的分布式密集数据处理和数据分析的软件框架。
它是一个基于分布式系统(HDFS)及其分布式数据库(HBase)用来将数据存储或部署到各个计算节点。
用我们通俗的数学语言来表述,它大致上是:
Hadoop=HDFS(文件系统,数据存储相关技术)+HBase(数据库)+MapReduce(数据处理)。
其框架如下表1所示:
2.Hbase分布式数据库
表1Hadoop框架结构
HBase[11]是一个分布式的、面向列的开源数据库,它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。
另一个不同的是HBase基于列的而不是基于行的模式。
HBase使用和BigTable 非常相同的数据模型。
用户存储数据行在一个表里。
一个数据行拥有一个可选择的键和任意数量的列,一个或多个列组成一个ColumnFamily,一个Fmaily下的列位于一个HFile中,易于缓存数据。
3.物流管理系统数据库
系统采取以Hadoop为代表的NOSQL[12]数据库技术和基于SQL的分布式数据库技术,采用Hadoop和数据仓库混搭的方式,对结构化和非结构化的海量数据和复杂数据进行存储与处理。
将结构化、不需要关联分析、查询较少的数据保存在NOSQL数据库或Hadoop平台中;
将结构化、需要关联分析或经常查询的数据保存在关系型数据库中,短期高价值数据放在高性能平台,中长期的数据放在低成本平台中,以实现数据高效率低成本的存储和处理。
Hbase模型如下图7所示:
图7Hadoop模型
(二)物流管理系统中大数据技术的应用
物流销售管理系统中的统计分析子系统[13]通过对用户信息提取、访问热点分析、产品竞争力对比分析,结合用户上网日志及互联网网页内容,仔细对客户进行细分,分析用户决策因素、购物偏好、价格承受范围,为准确把握用户购买心理,产品发展趋势,企业战略规划,系统运营管理提供决策支持。
子系统如下图6所示:
图6物流销售分析中的大数据运用
由上图所示,即物流管理大数据的架构,在此来一一剖析与解读:
物流管理大数据的架构,从上至下分为五个层次,它们分别是:
用户接口、分类模块、计算模块、存储模块、查询模块。
(1)用户接口。
用来与用户对接,方便使用者管理运用,也是数据的来源,在这个模块上产生输入数据。
(2)分类模块。
数据由此进入存储中心,分类管理。
利用用户接口传输来的数据再传送到下面的计算模块。
分门别类的对应空间管理、仓储管理、销售管理和结算管理。
(3)计算模块。
在这个计算模块,物流管理采用的是Hadoop集群,这个集群是计算模块的主要组成部分。
在这个集群上,系统每天会对物流管理数据进行不同的
MapReduce计算。
利用数据挖掘、空间分析、运筹等算法进行数据的分类、整合,进行可视化的处理。
(4)存储模块。
在存储模块,采用HBase分布式关系型数据库的集群,是基于Hadoop
HBase技术的一个NoSQL的存储集群,其中还包括了数据交换中心和分布式文件系统
(HDFSF)。
(5)查询模块。
在这一模块,通过操作系统和数据库进行对于经过大数据技术处理
过的数据进行查询、分析。
(三)大数据应用于物流管理的重要意义
1.降低物流成本
大数据技术应用于物流管理决策可以提高物品流通速度,降低物流成本。
尤其对一些特定产品来说,对时间、新鲜程度的要求很高,发展现代物流,关键是能够充分运用专业化现代化的运输工具迅速及时地运往消费地,提高商品流通速度,降低商品积压在产地所占据的成本,同时通过大规模的作业降低作业成本,减少多次装卸搬运所产生的产品破损,从而有效地降低物流成本。
2.提升商品价值
大数据技术应用于现代物流管理决策可以促进专业化物流增值服务提升产品价值,是提高国际竞争力的需要[14]。
有些商品本身的价值不高,可以通过发展专业的第三方物流组织,为商品提供专业的物流增值服务,来发掘商品的内在价值。
现实中,我国不少商品不仅在质量和外观上缺乏竞争力,而且在流通过程中的产品配送和分销能力不足,交易成本高,损耗和浪费大。
大数据应用于现代物流管理决策就是使商品通过低成本、高效率的物流体系送达消费者手中。
此外,应用大数据技术对现代农业物流管理决策进行研究也是发展物流产业和降低物流成本的需要,有利于大大提高企业的收入。
应用大数据技术对现代物流管理决策不仅可以进行集约化物流,在一定范围内实现物流合理化,从而大量节约物流费用,而且可以节约大量的社会流动资金,实现资金流动的合理性,既提高经济效益,又提高社会效益。
显然,完善和发展现代物流是流通国际化,缩小同发达国家之间的差距和提高我国国际竞争力的必要手段。
3.做出科学决策
物流管理的信息化、网络化发展到一定程度就产生了智能化的需要,因此物流管理的智能化是物流信息化、网络化的高层应用。
物流管理中,不管是管理部门还是生产经营单位,不管是产品配送企业还是农户,都涉及到运筹和决策的问题,例如产品储存库存水平的确定,运输路线的选择,产品配送中心的经营管理等决策问题都需要借助大量的管理知识、经验和信息来解决。
物流管理的智能化就需要有一系列智能的物流管理信息系统的支持,如物流专家系统、物流预测系统、物流配送中心管理决策系统等。
当今的一些物流管理信息系统只为管理者提供普通的业务处理数据和简单的分析数据,不具备数据挖掘和知识发现的功能,不能提供立体的、多视角
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 物流 管理 应用
![提示](https://static.bingdoc.com/images/bang_tan.gif)