数据共享交换平台需求规格说明书Word下载.docx
- 文档编号:830890
- 上传时间:2023-04-29
- 格式:DOCX
- 页数:49
- 大小:2.29MB
数据共享交换平台需求规格说明书Word下载.docx
《数据共享交换平台需求规格说明书Word下载.docx》由会员分享,可在线阅读,更多相关《数据共享交换平台需求规格说明书Word下载.docx(49页珍藏版)》请在冰点文库上搜索。
5.2.2 功能结构.....................................................................2.8..
5.2.3 界面原型.....................................................................2.9..
5.3数据主题管理 32
5.3.1 功能描述.....................................................................3.2..
5.3.2 功能结构.....................................................................3.2..
5.3.3 界面原型.....................................................................3.2..
5.4统计分析 35
5.4.1 功能描述.....................................................................3.5..
5.4.2 功能结构.....................................................................3.6..
5.4.3 界面原型.....................................................................3.6..
5.5数据质量管理 36
5.5.1 功能描述.....................................................................3.6..
5.5.2 功能结构.....................................................................3.7..
5.5.3 界面原型 3.7..
5.6运维管理 41
5.6.1 功能描述.....................................................................4.1..
5.6.2 功能结构.....................................................................4.1..
5.6.3 界面原型.....................................................................4.2..
产品需求规格说明书
第18页
1.引言
1.1文档编制目的
根据《XX项目招标文件》关于数据共享交互平台及需要调研
后甲方对《数据共享交换平台的》功能需求编写此文档,目的是从总体上描述乙方对甲方需求的理解,使双方根系人对项目建设的理解保持一致,保证项目能够顺利进行,为项目的工作开展起到指导的作用。
1.2阅读对象
本文档的读者是建设单位、专家团队、项目组、承建单位及其
他相关人员。
1.3项目建设背景
依据国家“十三五”规划纲要和XX园区“十三五”规划目标,围绕XX园区“三区一极”发展定位,以科学发展观为统领,以新一代信息技术为支撑,以促进XX园区和谐发展、满足园区服务智慧化需求为宗旨,以构建企业发展、政务服务和民生应用等三大业务应用体系和智慧园区运营管理中心、互联网+一站式服务中心为抓手,以强企、优政、便民为目标,以大力推进园区社会服务管理信息化为着力点,以园区社交媒体和园区服务O2O为两翼,着力打造“智慧XX园区+”公共服务体系,达到智慧城市2.0水平,引领皖西地区智慧化新业态发展。
项目以XX园区顶层设计制定的技术规范和规章制度为保障措施,
立足现状,梳理并整合数据资源、应用系统及基础软硬件等信息化资
源,逐步实现XX园区智慧园区统一技术标准、统一运行环境、统一安全保障、统一管理流程、统一运营管理的要求,促进XX信息化良性发展。
统筹规划建设目标、架构和资源,分步推进智慧园区建设进度,通过人口库、法人库、地理信息库、业务库等核心库的建设,实现智慧园区的大数据集中,为智慧园区建设提供数据支撑;
通过构建智慧园区32311体系,将XX园区各个部门在垂直领域的系统有机连接起来,实现各业务系统数据的充分共享、开放、融合,做到业务的互联、互通、互补。
通过引入虚拟化技术,构建智慧园区云计算平台,实现统一运行环境的目标,做到平台的可扩展、可伸缩、可管理。
在大数据集中、系统互联互通、云计算平台等基础上,借助大数据分析和挖掘技术,辅助日常管理决策,发现和解决XX园区发展过程中面临的深层次问题,优化管理。
通过管理任务的综合集中调度,实现智慧园区的智慧式管理和运行,为企业、居民和业务部门提供智慧化服务,促进XX园区的和谐与可持续发展,达到强企、便民、优政的目标。
词汇名称
ETL
词汇含义
是Extract(抽取)、Transform(转换)、Load(加载)的缩写,是数据仓库中进行数据的清洗、转换、整合的重要工
1.4术语表
元数据
(metadata)
数据抽取
(dataextraction)
数据清洗
(datacleaning)
数据转换
(datatransformation)
数据加载
(dataloading)数据挖掘
(datamining)
Web服务
(webservice)
具,比如DataExchange(简称DXP)。
描述数据的数据。
从指定的数据源中获取数据的过程。
通过指定的规则发现及纠正数据中可识别的错误,检查数据的一致性、处理无效值和缺失值等。
将数据从一种组织形式变为另一种组织形式的过程。
将清洗、转换好的数据保存到目标数据库的过程和行为。
根据数据间特殊的隐藏关系,按照某种设定的规则,从大量数据中自动搜索有价值信息的过程。
是一种应用程序组件,使用开放协议进行通信,是独立的(self-contained)并可自我描述、可通过使用UDDI来发现、可被其他应用程序使用的面向服务的程序接口。
通过XML实现跨平台、跨编程语言
中文分词
(ChineseWordSegmentation)大数据(big
data)
的对象接口调用方式。
指的是将一个汉字序列切分成若干个具备单独语义的词。
或称巨量资料,是指所涉及的资料量规模巨大到无法通过传统软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策的信息。
大数据技术 从各类巨量数据中,快速获得有价值
信息的技术。
虚拟化技术 是一种逻辑角度出发的资源配置技术,是物理实际的逻辑抽象。
1.5参考资料
1.《XX项目招标文件》
2.《XX项目投标文件》
3.《XX项目实施方案》
4.《XX项目总体集成建设方案》
5.《XX项目数据接口标准》
2.概述
2.1项目建设目标
强企、便民、优政。
即营造园区智慧服务环境,实现踏入XX园区辖区,自动感触到“智慧”,区内区外智慧界限分明。
构建智慧园区32311体系:
3个基础平台(云计算、大数据和地理信息平台)
2个保障体系(标准规范体系和信息安全体系)
3个业务应用(企业发展、政务服务、民生应用)
1个智慧园区运营管理中心
1个服务中心(互联网+一站式服务中心)
通过2-3年的智慧园区建设实现32311体系,即2018年达
到智慧城市1.0水平,2020年达到智慧城市2.0水平。
再通过2
年的运营和再投入争取到2022年达到智慧城市3.0水平
2.2项目建设内容
数据共享交换平台是支撑全XX园区各部门开展工作信息
资源交换共享的基础设施,应具有基础信息资源服务、信息交换服务等功能。
具体功能如下:
1、 数据采集
通过数据交换共享平台,实现将政务数据(包括基础数据库数据和主题数据库数据)采集入库。
内容包括业务接口适配、采集任务管理、对数据进行清洗比对、文件传输管理。
2、 模型管理
数据数据进行建模,并对模型进行管理。
包括目录管理、数据模型管理。
3、 数据主题管理
通过数据主题管理对数据进行按主题规划。
内容包括主题管理、主题订阅管理、数据获取管理。
4、 数据质量管理
对数据质量进行控制和管理。
包括数据质量规则管理、任务管理、质量报告生成。
5、 统计分析
共享交换统计分析:
包括访问数量统计、目录情况统计、资源情况统计、接入情况统计、申请订阅统计、使用方、提供方情况统计。
6、 运维管理
内容包括监控管理、公共管理、配置管理。
2.3与其他系统关系
数据共享交换平台是支撑全XX园区各部门开展工作信息资源交
换共享的基础设施,应具有基础信息资源服务、信息交换服务等功能。
2.4系统运行环境
2.4.1服务器端运行环境
序 设备名
号 称
应用系
1
统服务器
数据库
2
服务器
推荐硬件环境配置
Intel(R)Xeon(R)CPUE5-2650v4@2.20GHz,4CPU,
1CORE/CPU,内存
16G,
推荐软件环境配
置
RedHat7_x64
序
名称
设备
推荐硬件环境配
号
推荐软件环境配置
PC机
内存1G
Windows7版本
2.4.2客户端运行环境
2.4.3支撑软件
操作系统:
数据库:
oracle
中间件:
SaCaDataquality、SaCaDataExchange、SaCaDatacatalog、
SaCaDataCompare、SaCaDataTransform、SaCaDataconnecter、Aclome
3.业务需求
3.1总体业务流程
数据共享交换平台是支撑全XX园区各部门开展工作信息资源交换共享的基础设施,应具有基础信息资源服务、信息交换服务等功能。
整体业务流程如下图。
图3.1-1业务架构图
1、数据采集:
使用数据交换、数据接口、ETL工具、页面抓取和手工填报等多种方式,将各部门数据包括数据库类、文档类、数据接口类、表格类、其他数据格式的数据采集、交换到数据交换区进行下
一步处理;
2、数据交换区:
通过事先制定的规则,存储采集过来的数据,原则上按照部门数据,并按照基础库的分类进行存储,需要保持数据内容与前置机上数据源中的数据保持一致,以便后续的数据追溯;
3、数据处理:
对数据交换区中的数据数据进行转换、清洗、比对等数据处理后,形成一套质量较高的基础库数据、主题库数据存储在核心数据区,处理后的数据共享交换平台对外提供服务;
4、数据共享及服务:
可以通过共享交换平台共享已开放的数据,政府各部门通过共享交换平台可以查看到共享的数据内容,通过平台可以订阅自己需要的数据内容,交换平台根据订阅条件自动生成所需要的数据推送给订阅者。
共享交换平台也可以对接其他部门系统,将需要的数据推送到部门系统中,部门之间数据共享也可通过共享交换平台来完成。
3.2总体数据流程
共享交换平台数据架构如下图所示:
图3.2-1数据架构图
数据包括数据前置区、数据交换区、核心数据区、数据服务区。
数据前置区,存储各部分前置机中的数据,包括数据库数据,表
格数据,其他数据等。
通过共享交换平台数据采集系统将前置机中数
据采集到数据交换区。
数据交换区,存储各部门数据。
通过事先制定的规则,存储采集
过来的数据,原则上按照部门数据,并按照基础库的分类进行存储,
需要保持数据内容与前置机上数据源中的数据保持一致,以便后续的数据追溯。
核心数据区,对数据交换区中的数据数据进行转换、清洗、比对等数据处理后,形成一套质量较高的基础库数据、主题库数据存储在核心数据区,处理后的数据共享交换平台对外提供服务。
数据服务区,可以通过共享交换平台共享已开放的数据,政府各部门通过共享交换平台可以查看到共享的数据内容,通过平台可以订阅自己需要的数据内容,交换平台根据订阅条件自动生成所需要的数据推送给订阅者。
这里存储包括共享数据、订阅数据、脱敏数据、推送数据。
3.3总体业务结构
共享交换平台总体业务结构如下图所示:
图3.3-1共享交换平台功能架构图
数据共享交换平台主要功能包括:
数据采集、模型管理、数据主题管理、统计分析、数据质量管理、运维管理等。
1、数据采集
2、模型管理
3、数据主题管理
4、数据质量管理
5、统计分析
6、运维管理
3.4用户业务需求
用户需
求编号
Dse_yh
需求描述
数据上报至上级平台
对应功
能编号
Dse_01_
_001
006
_002
002
_003
数据对比
004
4.系统功能规划
4.1系统功能架构
共享交换平台总体功能如下图所示:
图4.1-1共享交换平台功能架构图
功能
模
编号
块
功能描述
4.2功能需求列表
Dse_01
业务接
抓取机(前置机)支持多种
资源接口适配,包括
口适配
FTP/DB/Webservice/FORM
数
等,支持新类型接口的适配
据采集
采集任务及流程
采集数
采集任务新建、启动、停止、监控,任务时间策略,导入导出
支持结构化和非结构化
_003 据种类 数据采集
提供丰富的数据转换组
_004
_005
_006
_007
_008
Dse_02
清洗比
对
数据转
入
交换传
输
抓取机(前置机)和中心服务器之间通信
支持分布式ETL集群
模 目录管型管理 理
件,对数据进行计算转换,提供比对功能,记录变更数据
抓取机(前置机)获取共享资源数据,生成文件上传至中心服务器
采用ESB连接抓取机(前置机)和中心服务器,ESB负责抓取机(前置机)和中心服务器之间的消息路由、数据传输
抓取机(前置机)和中心服务器之间消息通过HTTP加密协议,数据传输采用SFTP
提供分布式集群功能,在多台服务器上部署ETL服务,分担ETL任务压力,提高执行任务执行效率
包含数据模型的管理,数据编目,以及对目录信息进行维护操作
目录信息同步
数据模型管理
目录相关信息存储安全
中心服务器和抓取机(前置机)之间目录状态的同步
包含数据模型的增、删、改、查,导入、导出
对目录信息、订阅信息提供DES算法加密
Dse_03
理
主题管
包含数据主题增、删、改、
查,主题订阅申请、审批,主题订阅查询
除了数据交换要求之外,
数据共
还需要支持住建部公共信息
享模式
平台建设指南中要求的数据
共享模式
据主题
管理
订阅管
包含目录订阅,权限审批
流程管理,目录订阅维护管
理。
支持订阅结构化和非结构
化数据
数据获
订阅申请通过后,可以通过客户端查询共享数据,或者
取
第三方应用通过SOAP接口
方式获取共享数据
接口方式接入安全
用户用接口方式访问共
享数据,接入认证采用RSA
算法加密
数据主
题查询支持集群方式
支持将主题查询任务分
散到ETL分布式集群中执行,提高性能
Dse_04
统计分析
共享交换统计分析
提供数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 共享 交换 平台 需求 规格 说明书
![提示](https://static.bingdoc.com/images/bang_tan.gif)