数据仓库和商业智能(DW/BI)
企业数据仓库提供了一种减少数据冗余、提高信息一致性,让企业能够利用数据做出更优决策的方法
定义
通过规划、实施和控制过程,来提供决策支持数据,支持从事报告、查询和分析的知识工作者商业智能的两层含义
理解组织诉求和寻找商业机会的商业分析活动,分析结果用来提高组织决策的成功率支持1这类分析活动的技术合集业务驱动因素
运营支持职能、合规需求和商务职能活动目标
建立和维护提供集成数据所需的技术环境、技术和业务流程,以支持运营功能、合规性要求和商务智能活动支持和赋能只是工作者进行有效的业务分析和决策数仓建设目标
支持商务智能活动赋能商业分析和高效决策基于数据洞察寻找创新方法数仓建设应遵循原则
聚焦业务目标以终为始全局性的思考和设计,局部性的行动和建设总结并持续优化,而不是一开始就这样提升透明度和自助服务与数据仓库一起建立元数据协同不要千篇一律两位思想领袖比尔·恩门(Bill Inmon) 和拉尔夫·金博尔( Ralph Kimball)分别使用范式建模和多维建模来完成数据仓库建模
Inmon和Kimball相似的核心理念
数据仓库存储的数据来自其他系统存储行为包括以提升数据价值的方式来整合数据数据仓库便于数据被访问和分析使用组织建设数据仓库,因为他们需要让授权的利益相关方访问到可靠的、集成的数据数据仓库建设有很多目的,涵盖工作流支持、运营管理和预测分析Inmon企业信息工厂
面向主题的整合的随时间变化的稳定的聚合数据和明细数据历史的比尔·恩门在《数据仓库》(Building the Data Warehouse )中定义:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合
组成部分
应用程序数据暂存区集成和转化操作型数据存储(ODS)数据集市操作型数据集市(OpDM)数据仓库运营报告参考数据、主数据和外部数据数据从左到右流动带来的变化
目标从业务功能的执行转向数据分析系统最重用户从一线业务人员变成企业决策者系统使用从固定操作转向即席查询响应时间的要求不再重要每个操作、查询或流程设计更多数据数据仓库和数据集市的数据与应用程序的数据不同
数据的组织形式是按主题域而不是按功能需要数据是整合的数据,而不是‘孤立’的烟囱数据数据是随时间变化的系列数据,而非仅当前时间的值数据在数据仓库中的延迟比在应用程序中高数据仓库中提供的历史数据比应用程序中提供的历史数据多Kimball多维数据仓库
拉尔夫·金博尔在《数据仓库工具箱》(The DataWarehouse Toolkit)中提出:主张自下而上(DMDW)的方式,力推数据集市建设,他定义为“为查询和分析定制的交易数据的副本
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jYB84y4e-1668067908028)(./kimball.png)]
组件
业务源系统数据暂存区域数据展示区域数据访问工具加载处理方式
历史数据
Inmon类型的数据仓库建议所有数据存储在单个数据仓库层中。这一层中存储已清洗过的、标准化的和受管控的原子级数据。Kimball类型的数据仓库建议,数据仓库由包含已清洗过的、标准化的和受管控数据的部门级数据集市合并而成。数据集市将在原子级别存储历史记录,由一致性维度表和一致性事实表提供企业级信息。Data Vault作为数据暂存处理的一部分,同样进行数据清洗和标准化。历史数据以规范化的原子结构存储,每个维度定义了代理键(Surrogate key)、主键(Primary key)、备用键(Alternate key)批量变更数据捕获
准实时、实时、数据加载
涓流式(源端累积)消息传送(总线累积)流式传送(目标端累积)活动
理解需求定义和维护DW&BI架构(技术架构、管理流程)开发数据仓库和数据集市(数据、技术、工具并行 1.从源映射到目标 2.修正和转换数据)加载数据仓库实施BI产品组合(1.根据需要给用户分组 2.将工具与用户要求相匹配)维护数据产品(1.发布管理 2.管理数据产品开发生命周期 3.监控和调优加载过程 4.监控和调优商务智能活动和性能)工具
元数据存储库数据集成工具商务智能工具常见的OLAP操作
切片(Slise)切块(Dice)向下/向上钻取(Drill down/up)向上卷积(Roll-up)透视三种经典的OLAP实现方法
ROLAP关系型联机分析处理MOLAP多维矩阵型联机分析处理HOLAP混合型联机分析处理方法
驱动需求的原型自助式商务智能可查询的审计数据实施指南
就需评估/风险评估版本路线图配置管理组织与文化变革数据仓库&BI治理
业务接受度客户/用户满意度服务水平协议报表策略度量指标
使用指标主题域覆盖率响应时间和性能指标如果觉得《DAMA数据治理学习笔记-数据仓库和商业智能(DW/BI)》对你有帮助,请点赞、收藏,并留下你的观点哦!