智慧交通大数据一体化管理平台整体建设方案V6.0.docx
- 文档编号:563429
- 上传时间:2023-04-29
- 格式:DOCX
- 页数:458
- 大小:5.78MB
智慧交通大数据一体化管理平台整体建设方案V6.0.docx
《智慧交通大数据一体化管理平台整体建设方案V6.0.docx》由会员分享,可在线阅读,更多相关《智慧交通大数据一体化管理平台整体建设方案V6.0.docx(458页珍藏版)》请在冰点文库上搜索。
智慧交通大数据一体化管理平台整体建设方案V6.0
智慧交通大数据一体化管理平台
建设方案
16
目录
第1章
前言...........................................................................................................
10
第2章
总体设计....................................................................................................
11
2.1、
系统概述 11
2.2、
系统设计原则 13
2.3、
系统框架 15
第3章
3.1、
交通大数据采集子系统...............................................................................
前端采集技术 19
19
3.2、
数据共享和交换平台 21
3.3、
框架支撑平台 22
3.3.1、基础网络服务平台 22
3.3.2、架构 23
3.3.3、服务端/NetServer 24
3.3.4、NetBusiness 24
3.3.5、NetClient 25
3.3.6、核心技术 25
3.3.7、共享内存数据库 28
3.3.8、概述 28
3.3.9、设计思路 29
3.3.10、消息组件 39
3.3.11、日志管理 43
3.3.12、系统预警及系统告警与状态管理 44
3.3.13、一致性哈希分发 45
第4章 大数据资源整合存储子系统........................................................................ 57
4.1、 基础交通数据 57
4.1.1、城市路网数据 58
4.1.2、公交线路数据 105
4.1.3、公交车辆数据 108
4.1.4、长途客运车数据 109
4.1.5、出租车数据 112
4.1.6、危化品车数据 113
4.1.7、共享单车数据 114
4.1.8、火车客运数据 115
4.1.9、民航客运数据 118
4.1.10、交通资产数据 120
4.1.11、出行需求数据 121
4.1.12、公路费用数据 126
4.1.13、气象数据 126
4.1.14、监控设备数据 127
4.1.15、追逃车辆数据 128
4.2、 实时采集数据 128
4.3、 实时计算数据 128
4.3.1、城市交通运行数据 129
4.3.2、公交车实时位置数据 132
4.3.3、公交(地铁)卡刷卡数据 133
4.3.4、长途客车实时数据 134
4.3.5、出租车实时数据 135
4.3.6、危化品车实时数据 136
4.3.7、共享单车实时数据 137
4.3.8、路口通行量 138
4.3.9、套牌嫌疑车数据 138
4.3.10、基于车辆识别的OD分析数据 139
4.3.11、基于车辆识别的车辆数据 140
第5章 大数据清洗子系统.................................................................................... 143
5.1、 概述 143
5.1.1、数据清洗 143
5.1.2、缺失值处理 144
5.1.3、数据选择 145
5.1.4、数据变换 145
5.1.5、数据集成 146
5.1.6、数据削减 147
5.1.7、数据清洗评估 148
5.1.8、在交通领域的应用 149
5.2、 数据清洗方法 151
5.2.1、错误数据的判别和修正 151
5.2.2、丢失数据补齐 162
5.2.3、冗余数据简约 171
5.2.4、基于Hadoop的分布式数据清洗 176
第6章 大数据融合分析子系统............................................................................. 209
6.1、 交通调查指标数据计算 210
6.1.1、概述 210
6.1.2、处理流程 213
6.2、 交通运行指数计算 220
6.2.1、概述 220
6.2.2、交通运行指数各项指标计算 223
6.3、 信号优化 231
6.3.1、自适应信控配时计算 231
6.4、 基于大数据的OD分析 283
6.4.1、概述 283
6.4.2、基于Hadoop大数据OD分析 288
6.4.3、基于移动通信手机定位数据的OD分析 300
6.5、 基于车辆识别的大数据套牌车分析 341
6.5.1、概述 342
6.5.2、流式计算Storm简介 344
6.5.3、框架 348
6.5.4、技术实现 350
6.5.5、实时数据 351
6.5.6、基于Strom流式计算的数据分析 353
6.6、 尾气排放分析 357
6.6.1、概述 357
6.6.2、传统的计算模型 358
6.6.3、基于Hadoop的城市交通尾气计算模型 365
6.7、 交通信息发布系统 368
6.7.1、设计原则 368
6.7.2、总体诱导方案设计 369
6.7.3、杆件及基础 372
6.7.4、主要设备技术参数 373
第7章 统一消息服务子系统................................................................................ 377
7.1、 概述 377
7.2、 服务接口 378
7.2.1、公交优先通行系统接口 378
7.2.2、城市交通运行监测平台接口 380
第8章 三维GIS平台子系统................................................................................ 384
8.1、 概述 384
8.1.1、国内外应用现状 384
8.1.2、建设需求分析 386
8.1.3、建设范围 387
8.1.4、建设内容 387
8.1.5、建设目标 388
8.2、 三维系统平台介绍 388
8.2.1、三维GIS系统平台构成 389
8.2.2、三维GIS地图特点 390
8.3、 三维地图模型设计与建设 391
8.3.1、三维GIS地图模型设计 391
8.3.2、三维系统的建设 397
8.3.3、三维数据的建设 400
8.3.4、系统软硬件环境 404
第9章 系统规划和平台建设................................................................................ 407
9.1、 存储规划 407
9.1.1、数据库存储 407
9.1.2、视频云存储 411
9.2、 数据库规划 422
9.2.1、Oracle数据库规划 422
9.2.2、数据对象的命名规范 422
9.2.3、Hbase数据库规划 429
9.3、 主机规划 430
9.3.1、采集主机规划 431
9.3.2、Hadoop集群主机规划 433
9.3.3、Storm集群主机规划 435
9.3.4、统一消息服务平台主机规划 436
9.4、 云平台建设 437
9.4.1、云平台总体架构 438
9.4.2、云平台资源池设计 440
9.4.3、虚拟数据中心VDC设计 443
9.4.4、存储资源池设计 446
9.4.5、配置清单 450
第10章 大数据支撑平台系统的性能设计要求........................................................ 452
10.1、系统的处理能力 452
10.2、系统的可用性 453
10.3、系统的安全性 453
第1章前言
智慧交通大数据平台是将先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术及计算机处理技术等有效的集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的、实时、准确、高效的综合交通运输管理系统。
智慧交通大数据平台作为智慧交通建设的核心和数据采集、处理、融合、应用的枢纽,将智能交通建设的各个外场子系统的数据进行实时的采集、转换、处理及存储,并在数据集成、融合、分析挖掘的基础上,汇聚于公安交通的智慧应用中,大大推进了交通业务的智能化和智慧化,提高了交警各部门人员的工作效率。
智慧交通大数据平台集成了信息化、流程化、规范化的集成管理与指挥调度、接处警、设施维护管理、运营服务等智慧交通业务功能。
指挥中心指挥调度人员可以基于GIS电子地图实时监控城市道路的实时路况、警情在地图上的实时位置、处理过程的监控、警力实时位置的监控、设施设备的实时运行状态,还实现了监控视频的实时访问、信号控制设备的远程控制以及诱导屏的实时发布等功能。
第2章总体设计
2.1、系统概述
城市交通服务提供全面的路况,需要交通监测网对城市道路交通状况、交通流信息、交通违法行为等的全面监测,采集、处理及分析大量的实时监测数据,具有数据量巨大的特点;随着城市机动车保有量不断提高,城市道路交通状况日趋复杂化,交通流特性呈现随时间变化大、区域关联性强的特点,需要根据实时的交通流数据及时全面采集、处理和分析等,因此具有系统负载时变性高、波动大的特点应支持低延迟、高并发事务;公众出行服务对交通信息发布的时效性要求高,需将准确的信息及时提供给不同的需求主体,信息处理、分析时效性要求高,这给交通大数据支撑平台提出了挑战。
交通大数据支撑平台面对海量数据,系统不能仅依靠少数几台机器的升级满足数据量的增长,必须做到横向可扩展,既满足性能的要求,也满足存储的要求;由于服务需求的多样化,平台既要支持交通数据流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。
平台需具有高度容错性,大数据的容错性要求在作业执行的过程中,一个参与节点失效不需要重做整个作业。
另外平台应支持异构环境,交通大数据平台的建设是分步骤的,分阶段进行的。
大数据支撑平台囊括了城市交通运行的基本数据,大数据支撑平台系统的设计、实施,按照一切从实际出发,遵循经济实用的原则,对于整个城市交通运行状态检测的整个过程可以分为确定数据采集目标、采集数据、分析数据和功能实现四个阶段。
第一阶段,确定数据采集目标。
目标就是监测的对象,首先要定义哪些对象是城市交通运行需要检测采集数据的,从社会经济、城市基础设施和人民生活等多个方面进行考虑。
第二阶段,采集数据。
确定好城市交通运行需要检测采集的数据目标之后,可以从相关部门或者采用相关仪器设备及手段进行数据采集。
第三阶段,分析数据。
城市交通运行特征处于“常态”和“非常态”,需要对采集的数据进行全方位的分析,由“常态”到“非常态”的一个动态过程,包括很多特殊情况的孕育、发展、扩大和爆发。
通过对采集到的数据进行建模等方式来统计分析其诱发因素,以各相关管理部门、工作人员能迅速清晰掌握了解情况的方式进行展现。
第四阶段,功能实现。
展示城市运行实时监测状况,显示各项数据分析结果,及多种系统功能。
交通大数据支撑平台应具有如下的特性:
高度可扩展性,横向大规模可扩展,大规模并行处理;
实时性,对交通数据流,事件的实时处理;
高性能、低延迟分析,快速响应复杂查询和深度分析、实时分析结果;
高度容错性,系统在硬件级、软件级实现容错;可用性,系统具有相当高的可用性;
支持异构环境,对硬件平台一致性不高,适应能力强;开放性、易用性,系统之间可实现数据共享,服务集成;较低成本,较高的性价比。
2.2、系统设计原则
1)安全性原则
本系统要实现基于大型数据中心、强大信息处理环境和高速网络为一体,可为交通信息管理的获取、共享和处理服务,支持实时网上数据信息处理,支持协同工作及虚拟办公环境的新一代信息基础设施支撑平台。
由于整个系统涉及大量的保密数据,而且部分数据共享基于网络环境,在设计过程中,必须考虑信息安全及保密措施,确保系统中的信息资源不被非法窃取和篡改,数据中心不被破坏,同时还要保证用户能够正常使用系统中的共享资源,提供应有的信息服务。
为了确保该系统的安全性,在建立健全安全管理制度基础上,还必须采用有效的安全保密技术。
本
系统采用一整套科学、便利的安全管理模式,系统对终端用户的权限严格界定,终端用户的权限细化到每一个模块的每一个功能,在此基础上系统灵活地使用组的管理方式,很大程度上简化了系统管理人员的工作复杂度。
2)集成统一性、开放性和标准化原则
各个不同方面的机房需求应组成一个完整的机房信息系统。
并在系统安全性、资源共享、工作协同和系统管理及其开销、系统升级等方面进行规划和设计,所以系统必须具有开放性,标准化。
系统的开放性是关系到系统生命周期长短重要问题,只有开放的系统才能满足互操作性、可移植性以及可伸缩性的要求,不断为系统的扩展、升级创造条件。
3)先进性和实用性原则
系统设计立足于高起点,采用国际先进、成熟和实用的技术,构建合理并适当超前的技术体系架构,用以确保长时间的技术领先。
各系统通过集成,实现资源和信息共享。
系统软、硬件配置采用模块化、开放式结构,以适应系统灵活组织、扩展和系统集成整体提升的需要。
4)经济性、投资保护性原则
应以较高的性能价格比建设整个系统,使资金的产出投入比达到最大值。
能以较低的成本、较少的人员投入来维持系统运转,
提供高效能与高效益。
尽可能保留并延长已有系统的投资,充分利用以往在资金与技术、设备方面的投入。
2.3、系统框架
用户
应用层
智慧交通信息指挥中心
交通局信息指挥中心
公众
企业
管理部门
城市交通运行监测平台
公交及特种车辆优先出行系统
智能公交站台
智慧交通通用功能平台
服务总线
工作流服务消息队列 GIS地图服务接口统一身份认证 统一鉴权 统一消息服务
大数据分析平台
大数据仿真预测平台(数据挖掘\模拟仿真\分析预测\辅助决策)
标准
大数据
数据整合管理平台
数据共享交换平台
体
系支撑平台
及
数据采集与清洗平台
数据资产管理与服务平台
数据库及共享平台
安全体系
空间地理数据库 动态信息数据库 出行服务数据库 公共信息数据库 业务中间数据库
基础环境
OS
3DGIS引擎和模型
DBMS
云计算
数据中心硬件环境
2DGIS引擎和模型
通用接入
交通物联网通用接入平台
网络层
3G/4G/WIFI
光纤/双绞线
专网(政务网、交通专网、公安专网等)
智慧交通网升级改造(其他)
感知层
城市道路截面采集
城市高点监控
城市交通现状调查
浮动车
电子警察
气象信息 RFID等
大数据支撑平台框架图如下所示,主要由如下几个子系统组成:
图2.1大数据及支撑平台框架
交通大数据采集子系统
交通大数据采集子系统基于基础网络服务平台,采集前端感知设备传输的信息,通过统一的采集服务将数据接入到大数据支
撑平台,进行后续的分析处理,基础网络服务平台可满足各种数据接入,同时支持大量客户端的并行处理。
交通大数据资源整合存储子系统
交通大数据资源整合子系统整合了整个交通相关的数据,包括前端采集的实时交通数据、路网数据、公交车数据、交警数据中心、交通运输管理数据中心和城市管理数据中心的数据通过数据交换平台也整合到该系统中。
交通大数据清洗子系统
交通大数据清洗子系统负责交通数据清洗和规整,剔除无用、错误和冗余的数据,保证数据的质量。
大数据融合分析子系统
大数据计算是整个系统的核心,基于Hadoop分布式计算以及基于Strom流式计算可满足不同的计算需求。
统一消息服务子系统
统一消息服务子系统为各种综合应用提供服务接口,可满足各种系统的接入查询。
三维GIS平台子系统
三维GIS系统是用于空间基础信息三维数据浏览显示与查询分析的应用系统,三维GIS系统为用户提供了一个三维可视化的
智慧交通大数据一体化管理平台整体建设方案V6.0
数据浏览、查询的信息平台,通过三维GIS系统可以浏览和查询平台基础信息数据库中的DEM、城市景观、遥感影像、城市绿化、城市公共设施分布等数据。
系统可以导入各种常用的二维以及三维地理信息数据文件,兼容大多数开放的标准格式。
采集主机
计算主机
Netgear(
雷达)
数据清洗
Netgear(
视频)
Netgear(
车辆识
别)
消息队列
NetClient
NetServer
数据规整
计算
前端感知设备
车辆识别车辆
信息
规整后
的信息
Handoop集群主机
HDFS存储
Redis集群&Oracle主机
Oracle存储
统一消息服务平台
hdfs
hdfs
hdfs
hdfs
oracl
e
oracl
e
oracl
e
oracl
e
mapreduce计算
OD分析
尾气排放
分析
Strom流式计算
套牌车分析
Redis集群
电子围栏
监测
Redis
Redis
Redis
Redis
系统数据流图如下:
图2.2大数据及支撑平台数据流
1、前端感知设备采集的交通数据通过专网发送到大数据及支撑平台采集主机,采集子系统将处理后的数据一部分发给hadoop集群主机,一部分发给计算主机。
2、计算主机进行数据的规整和清洗并进行一些基本的计算,包括交通运行指数、交通指标数据等的计算,计算后的结果保存
17
智慧交通大数据一体化管理平台整体建设方案V6.0
到oracle和redis集群中。
3、Hadoop集群主机上进行大数据融合分析,包括基于大数据的OD分析,套牌车分析,尾气排放分析等。
4、统一消息服务平台将数据以服务的形式提供给各个应用子系统。
城管数据中心
交通局
交警局
城管局
前端展示
前端展示
路由器
智慧徐州云计算中心
防火墙
交通局数据中心
应用层
城市运行监测平台
公交信号优先系统
专网
路由器
徐州智慧交通大数据及支撑平台
计算服务器集群
其他支撑平台
交警数据中心
存储服务器集群
防火墙
路由器
专网
防火墙
专网
专网
新增的前端采集设备
现有的前端感知设备
感应线圈
视频设备
雷达设备
红外设备
视频
感圈应线
雷达
交通数据及支撑平台物理架构如下图:
图2.3大数据及支撑平台物理架构
智慧交通大数据及支撑平台部署在智慧城市云计算中心。
现有的前端感知设备采集的交通数据还是通过原有的方式将
186
数据汇集到各业务部门数据中心,再通过数据共享和交换平台将数据共享到大数据及支撑平台,新增的前端采集设备直接将数据传送到大数据及支撑平台。
交警、交通以及城管现有的业务数据通过数据共享和交换平台共享到大数据及支撑平台,大数据及支撑平台计算分析后的数据通过数据共享和交换平台共享给交警、交通和城管数据中心。
大数据及支撑平台以服务的方式将数据提供给各个应用系统,比如城市交通运行监测平台。
第3章交通大数据采集子系统
3.1、前端采集技术
通常根据信息的变化程度,将交通信息分为2种:
静态交通信息和动态交通信息。
其中,静态交通信息指短期内不会发生太大变化的交通信息,如路网信息、交通基础设施信息等;动态交通信息是指随时间变化的交通信息,如交通流信息、交通事故信息和环境状况信息等。
而智能交通的信息采集主要关注的是动态交通信息中的交通流信息,如车流量、平均车速、车辆类型、车辆定位以及行程时间等。
对于上述不同类型的交通信息,采集技术种类很多,动态交通信息采集可分为非自动采集和自动采集两大类。
非自动采集需要人工干预才能完成交通信息的采集,需要
大量的人力和物力,不适用于长时间的观测,而且人工采集获得的动态交通信息很难满足ITS对交通信息的实时性要求。
自动采集技术完全依靠采集设备自动感知道路上车辆的存在和通过,实现对交通流信息全方位、实时的采集。
下图为一些常用的动态交通采集的方式:
雷达设备
视频设备
出租车
客车
..
信息采集(基础网络服务平台)
公交车
危化品车
图3.1常用的动态交通采集的方式
1、采集公交车实时定位数据,数据经过处理可以提供给公交车信息以及路线查询服务使用,实时公交车数据可以提供给公交优先通行系统使用。
2、雷达设备采集基本的交通指标数据,后期可用于交通运行指数的计算。
3、视频设备一方面可以采集车辆的排队长度等交通信息,一方面可以实时监控道路交通状况。
基于车辆识别的视频设备可以采集社会车辆的实时位置信息,这部分数据后期可以用于OD分
析以及黑车、套牌车的分析。
4、出租车通过安装车载GPS设备,采集到的出租车实时位置信息可以用来分析道路拥堵情况。
5、客车以及危险品车的实时GPS定位数据可以用于两客一危系统的建设。
3.2、数据共享和交换平台
通过数据共享和交换平台,将交警局、交通局、城管局以及其他单位的基础数据和业务数据及时、准确、可靠的采集到大数据及支撑平台,同样,通过共享平台将大数据及支撑平台汇聚和计算到的数据共享给其他业务系统,共享平台的架构图如下:
各基础库
各业务库
交换平台管理中心
ETL工具
消息中DXP交换
间件
节点
中心前置库
网络传输
网络传输
消息中间件
DXP交换节点
消息中间件
DXP交换节点
消息中间件
DXP交换节点
消息中间件
DXP交换节点
数据采集
数据采集
数据采集
数据采集
前置机1
前置机2
前置机N-1
前置机N
数据库
文件系
统
数据库
文件系
统
数据库
文件系
统
数据库
文件系
统
标准化
标准化
标准化
标准
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智慧 交通 数据 一体化 管理 平台 整体 建设 方案 V6