数据仓库实践系列课程(3)——BI数据架构.pptx
- 文档编号:15122974
- 上传时间:2023-07-01
- 格式:PPTX
- 页数:42
- 大小:1.62MB
数据仓库实践系列课程(3)——BI数据架构.pptx
《数据仓库实践系列课程(3)——BI数据架构.pptx》由会员分享,可在线阅读,更多相关《数据仓库实践系列课程(3)——BI数据架构.pptx(42页珍藏版)》请在冰点文库上搜索。
数据仓库实践系列课程(3)BI数据架构,文思海辉,总体数据架构,课程大纲,引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A,课程大纲,引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A,银行有多少数据?
-范围,出生日期,婚姻状况,投资组合,联系电话,咨询/投诉,存取款,信用评级,供养人口,称谓,姓名,是否进入黑名单,还款/迟缴,职业,收入,学历,关联客户,科目,消费,账户余额,房产,理财产品,促销活动,联系地址,证件信息,偏好渠道,开户机构,内部机构,产品,渠道,交易,资源/资产,营销/策略,性别,财务,汽车,其他投资,交易渠道,网银转账,积分明细,兑换历史,管理机构,客户经理,房贷,存款,信用卡,贷款还款情况,总帐,协议/账户,客户,银行有多少数据?
-数量,特点:
数量多分布广内容庞杂挑战:
这么多的数据怎么管?
重点是什么?
数据应该怎么分类?
每类的定义和特点是什么?
跨系统同类数据是否遵循同样的标准?
实施分类管理,贷记卡系统,卡片信息,授信信息,利率信息,额度信息,储蓄系统,客户信息,机构信息,账户信息,利率信息,贷款核销,产品信息,信贷系统,客户信息,机构信息,授信信息,账户信息,利率信息,贷款展期,贷款核销,产品信息,客户信息,机构信息,额度信息,积分信息,账户信息,产品信息,银保通,客户信息,机构信息,账户信息,利率信息,保单信息,产品信息,网上银行,客户信息,账户信息,转账信息,支付信息,产品信息,机构信息,数据模型,7,将各系统、各部门分散、重复的业务概念进行统筹、整合。
从企业级视角进行结构化、规范化的设计,统一数据定义,明晰数据之间的关系。
数据主题,客户,账户,交易,机构,渠道,资产,财务,数据模型设计示例,以“客户”为例不同的数据模型设计,没有绝对的对错,合适的就是最好的。
课程大纲,引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A,BI数据架构各层次数据模型的定位与特点各层次数据模型示例,一个相对完整的BI数据架构,应用集市层面向应用按需定制,共性加工层初级的数据加工依赖对应用的提炼,技术缓冲层ETL专用的纯技术层完全与源系统结构一致,近源模型层基本依照源系统建模尽量保持业务数据原貌,整合模型层面向整合主题设计提供规范和共享,技术缓冲层,定位服务于数据加载和转换的需要,不对外提供数据服务特点数据原样加载,与源系统结构一致有增量,有全量可能需要保留数天历史(重加/查数),技术缓冲层示例,表外帐户,贷款户明细,近源模型层,定位尽量保持源系统数据原貌,提供基于业务数据原貌的访问特点简单处理不考虑整合保留较短期历史(重点考虑保留策略),近源模型层示例,开始日期结束日期。
整合模型层,定位长期的,细节的,整合的数据存储,为各类业务需求提供支持特点面向主题,数据整合提供规范和共享中性设计,偏范式化,灵活可扩展细节信息,保留长期历史,整合模型层示例,共性加工层,定位提供相对中性,具有业务意义的初级加工数据,支持上层应用的数据加工,或供业务人员的访问特点全局考虑,提炼需求共性多层次设计,多种数据粒度侧重业务理解,蕴含丰富的业务规则,共性加工层示例:
汇总,加工出常用的变量,方便数据处理与查询遵循业务常用原则,共性加工层示例:
统计信息,蕴含一定业务规则的复杂加工,应用集市层,定位提供特定应用支持特点面向应用形式各异,各自独立按需定制,满足特定业务的需求,报表模型示例:
常见表样,多维模型示例:
卡交易量分析,事实表,数据挖掘示例,复杂加工的变量,技术缓冲层,近源模型层,整合模型层,共性加工层,应用集市层,各数据层次的定位,课程大纲,引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A,整合模型层共性加工层应用集市层,重点关注的层次,近源模型层基本依照源系统建模尽量保持业务数据原貌,整合模型层面向整合主题设计提供规范和共享,应用集市层面向应用按需定制,共性加工层初级的数据加工依赖对应用的提炼,技术缓冲层ETL专用的纯技术层完全与源系统结构一致,各层设计重点,整合模型层设计主题定义,项目目标是什么?
可参考主题都有哪些?
该主题在当前环境下是否适用?
是否需要其他修改?
目标达成!
项目目标是什么?
总是有这些共通的主题:
客户、协议(账户)、产品、事件(交易),其他业务信息的归纳,使用业务熟悉的主题词汇,目标达成!
整合模型层设计框架设计,框架设计体现了模型设计原则框架决定了模型的整体结构,主实体及其关系,主实体分类,关键实体及重要关系,整合后的对象标识选择已有标识还是新建?
整合前信息是否保留?
选择单一信息源(系统)?
还是多个源?
是否整合依赖业务现状,需要确定影响性?
整合模型层设计整合策略,是否整合,同一业务对象有多种实例,确定信息源,源保留策略,整合标识选择,确定业务对象整合策略,共性加工层设计设计目标,技术层面避免相同汇总数据的重复计算和存储,减少系统开销实现共享,降低应用开发和数据查询的复杂度避免数据加工口径的不一致业务层面实现对常用统计口径的统一定义和维护便于业务人员理解,直接进行数据分析,共性加工层设计设计理念,共性加工层数据处理方法,33,预计算,预连接,预聚类,Account&Cardlevelsummary卡账户平均余额汇总averagebalance卡账户迟缴历史Delinquent卡账户重要交易汇总importantevents最近三个月卡重要交易汇总eventsinrecent3months最近六个月卡重要交易汇总eventsinrecent6months账户利润组成汇总profitcomponents卡账户利润汇总profit卡账户准备金计提记录riskreservationamount,Customerlevelsummary客户平均余额汇总averagebalance客户持卡信息汇总Cardholdsbycustomer客户迟缴历史Delinquent客户交易汇总events客户重要交易汇总importantevents客户利润汇总profit,Organizationlevelsummary机构平均余额汇总averagebalance机构发卡汇总Cardissuedbyorg机构交易汇总IssuereventsIST事件汇总ISTevents机构利润汇总profit,共性加工层设计示例(信用卡),共性加工层设计示例(逐层汇总),应用集市层设计按需定制,面向应用的模型设计,尽可能使用共性加工层模型实体,整体性,一致性,加工规则应尽量和已有规则保持一致,业务驱动,按需定制,课程大纲,引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A,各数据层次的定位,技术缓冲层,近源模型层,整合模型层,共性加工层,应用集市层,不同类型项目的数据层次建议,技术缓冲层,近源模型层,整合模型层,共性加工层,应用集市层,BI数据架构小结,数据层次仅是建议规范的一种表现形式,并不能够代表所有的情形。
通过层次的标准化,可以帮助理解数据的传递路径和定位、使用方式和服务对象、范围等。
需要重点把握的是每个数据层次的定位、原则和用途。
对于某类项目而言,可能在不同的情况下需要的层次会有差异。
课程大纲,引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A,谢谢,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 实践 系列 课程 BI 数据 架构
![提示](https://static.bingdoc.com/images/bang_tan.gif)