企业数据仓库解决方案.docx
- 文档编号:15067071
- 上传时间:2023-06-30
- 格式:DOCX
- 页数:9
- 大小:778.62KB
企业数据仓库解决方案.docx
《企业数据仓库解决方案.docx》由会员分享,可在线阅读,更多相关《企业数据仓库解决方案.docx(9页珍藏版)》请在冰点文库上搜索。
企业数据仓库解决方案
文件编号:
SMSI-BSM-SMSIOA-
保密级别:
□公司级□部门级■项目级□普通级
采纳标准:
CMMI
企业数据仓库实施解决方案
V1.0.0
作者:
许少鹏
FujianSinomythSystemIntegrationCO.,LTD
鑫信迈(福州)系统集成有限公司
版权所有
一.目录
一.目录2
二.文档更新说明3
三.术语说明3
四.数据仓库总体解决方案3
4.1.数据仓库定义3
4.2.数据仓库完整架构图4
4.3.数据仓库技术平台5
4.3.1.数据转换技术实现6
4.3.2.数据展示技术实现7
二.文档更新说明
更新内容
版本
更新人员
日期
文档创建
V1.0.0
许少鹏
2011-2-12
文档修改
文档审核
三.术语说明
术语全称
简称
说明
OracleWareHouseBuilder
OWB
OWB、ODI是针对数据仓库设计、部署管理的工具
OracleDataIntegrator
ODI
四.数据仓库总体解决方案
4.1.数据仓库定义
数据仓库是一个建设过程,而不是产品。
数据仓库是通过对来自不同的数据源进行统一的处理及管理,通过灵活的展示方法来帮助决策支持。
4.2.数据仓库完整架构图
Ø数据获取层
实现如何从所有源系统中获得原始的业务数据,并对其进行一致性处理,按主题进行数据重组和格式转换,然后传送并装载到数据仓库系统中。
数据仓库系统需要从多个源数据系统中抽取和汇总各个业务数据,这些数据源系统是数据仓库系统的数据来源。
系统按照满足分析需求的原则,把上述数据源系统中的数据按照主题进行划分和组织,然后抽取并装载到数据仓库系统中。
从上述这些系统中获取数据需要三个过程:
数据抽取、数据转换、数据装载。
这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接(包括网络协议标准的转换、不同平台之间的接口)的前提下实现的。
这三个过程主要完成确定从哪个系统中抽取什么样的数据,如何保证来自不同的源数据系统的同类数据的一致性和完整性,如何把转换完成的数据装载到数据仓库系统中,以及如何处理在转换和装载过程中出现的错误。
Ø数据管理层
把数据存储到企业级数据仓库系统中进行集中管理。
在数据存储层,数据是存放在两类数据库中:
关系型数据库和多维数据库。
数据存储是数据仓库系统的中心。
取自多个数据源系统的明细数据,以及用于分析的集成汇总数据都存储在这个中心。
它在逻辑上是一个完整的库。
Ø数据使用层
实现如何把数据仓库系统中的数据和分析结果提供给最终用户。
按照用户的分析需求、使用报表、随即查询、多维度分析和数据挖掘进行数据展现。
数据输出层的功能是使最终用户通过报表、图形和其他分析工具的方式简便、快捷地访问数据仓库系统中的各种数据,得到分析结果。
Oracle为企业提供多种数据分析方法,包括标准报表、即席查询报表、动态分析报表,预测,假设分析和数据挖掘等。
◆标准报表、即席查询报表
标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出,标准报表是一种格式固定,内容仅依据预定义的条件变化的报表,是在系统开发时根据用户需求定制的,最终用户无法修改。
即席查询报表的格式和内容可以由最终用户自由选择,即支持即席查询。
允许最终用户控制数据的访问方法,定义报表格式和报表中的数据内容。
◆动态分析报表
动态分析报表支持客户对数据进行旋转、切片和分层,并从各个角度对数据进行分析和比较。
◆预测,假设分析
预测主要是根据历史数据推断将来的数据趋势。
假设分析允许用户设定一些假设条件,观察条件成立的情况下相关指标的变化。
◆数据挖掘
数据挖掘是利用多种数学的分析方法建立模型,找出隐含的业务规律。
4.3.数据仓库技术平台
4.3.1.数据转换技术实现
4.3.1.1.数据转换工具
数据仓库设计、部署、管理工具采用OWB/ODI技术,OWB/ODI都是使用E-LT的理念设计出来的数据抽取/数据转换工具。
ODI和OWB是互为补充的。
ODI特点:
1)对于需要异构数据支持:
当数据源或者目的不是Oracle数据库,ODI能够生成针对那个数据源的native的SQL操纵语句。
2)对于需要实时数据集成的环境:
ODI能够检测事件,一个事件可以触发ODI的一个接口流程。
从而完成近实时的数据集成。
下图是ODI提供的一些检测事件的工具,可以用在package里(ODIworkflow的代名词)如OdiFileWait是等待文件到达,OdiSleep类似于许多系统里的Sleep等待轮询,OdiWaitForLogData则可以用于捕获增量数据的捕获的事件。
这里的组件都是实现实时数据集成的关键部分。
3)在数据抽取集成过程中需要和SOA集成,ODI本身提供了callwebservice的机制,并且ODI的接口也可以暴露为webService,从而可以和SOA环境进行交互。
4)一致的CDC(ChangeDataCapture)支持,不同的数据源(Oracle,DB2等)对于变化数据获取都提供了不一样的技术框架,ODI把这些不同的技术框架屏蔽了,以一个统一的接口方式提供统一的CDC的设置框架,并提供订阅者的功能。
OWB特点:
1)丰富的Oracle数据运算符,能够提供Oracle数据库之间的高速转换抽取。
2)从11g开始,OWB会作为Oracle的标准选件来提供,OWB本身会通过Oracle数据库的安装盘来安装,和所有的其他Oracle选项一样,都会和数据库核心紧密集成。
3)数据质量管理:
OWB的dataprofiling是一个相当强的数据质量管理工具,原理和流程是数据采样-》分析采用数据的错误和规则-》生成纠正采样数据的mapping流程-》验证流程-》把流程应用到所有的数据上的循环。
总结:
ODI跟OWB都有各自的特点,但在建设一个数据中心的项目里使用这两个工具的话,可以使用ODI来完成从异构数据源到stagingOracle数据的生成,或者用ODI完成需要实时数据同步的工作。
4.3.1.2.OWB/ODI原理
1)设计:
图形化建模、映射关系定义
2)构造:
生成数据仓库、生成抽取转换过程、元数据集成
3)管理:
基于元数据的数据仓库管理
4.3.1.3.OWB/ODI模型设计
通过连接不同数据库,从不同数据库中的表字段内容抽取到数据仓库中统一的表进行管理。
模型设计如下:
4.3.2.数据展示技术实现
数据展示方式:
图形+表格形式
图形包括:
柱状图、线状图、条形图、饼图、点图、面积图,需要具有大量深入的数理统计的功能,如最大值、最小值、增幅、排名、比重、同比、环比等,并支持TOPN、TOP%、结构分析、离散分析、弹性分析、相关分析、方差分析、聚类分析等高级的数据统计分析方法
表格包括:
固定报表、动态浮动报表、交叉浮动报表、多维度动态展开报表等。
1)图形展示
图形展示可用免费版FusionCharts控件来展示,使用方法简单,灵活,界面美观
2)报表展示模型:
表格展示主要通过table+css来实现。
可以自由地实现任意表格方式。
固定报表:
固定报表是分析报表展现的一种形式,是常用的一类报表,这一类报表的特点是,行列数固定不变,即使设置了不同的报表期参数,计算后,报表值可以变化,但行列数不会变化。
浮动报表:
浮动报表是相对固定报表而言的,其行、列数不是固定,可以根据一定的条件浮动产生多行、多列数据。
交叉报表:
可以同时向下浮动和向右浮动。
多维度动态展开报表:
多个维度浮动产生数据,维度是可以动态展开的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 企业 数据仓库 解决方案
![提示](https://static.bingdoc.com/images/bang_tan.gif)