数据仓库与数据挖掘的OLAP技术

1.数据仓库

Ø概念：数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.

Ø关键特征：

v面向主题：围绕一些主题；关注决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理（这是数据库的任务）。排除对于决策无用的数据，提供特定主题的简明视图。

v数据集成：由异种数据源（关系数据库，一般文件，联机事务处理记录）集成构成的；使用数据清理和数据集成技术。

v随时间而变化：数据仓库的时间范围比操作数据库要长的多，每一个关键结构都隐式或显式地包含时间元素。

v数据不易丢失：数据是只读的（除了初始转载），不需要事务处理，恢复，和并发控制。

Ø建立数据仓库

数据集成，数据清理和数据统一

对于异种数据库的集成，传统的数据库做法：包装程序和集成程序--》查询驱动

数据仓库做法：异种源的信息预先集成--》更新驱动

Ø操作数据库系统（OLTP）与数据数据仓库（OLAP）的区别

Ø数据仓库的存在价值

v提高两个系统的性能：操作数据库是为已知的任务和负载设计的，数据仓库涉及大量数据在汇总级的计算，在操作数据库上处理OLAP查询，可能大大降低操作人物的性能。

v系统中数据的结构，内容和用法都不相同：操作数据库只维护详细的原始数据，而数据仓库将一种源的数据统一，产生高质量的，纯净的和集成的数据用于决策

2.多维数据模型

Ø基本概念：

v数据方：允许以多维数据建模和观察，由维和事实定义

v维：记录的视角或视点，每个维都有一个表与之相关联，称为维表。

v事实表：包括事实的名称或度量以及每个相关维表的关键字。

Ø数据库模式：

v星型模型：一个大的事实表+一组小的维表

v雪花模型：对星型模型的维表进行规范化，减少冗余

v事实星座：多个事实表共享维表

Ø数据集市

数据仓库搜集了关于整个组织的主题信息，是企业范围的，采用事实星座模式

数据集市是数据仓库的一个部门子集，针对选定主题，是部门范围的，采用星型模式

Ø数据挖掘查询语言（DMQL）

v原语定义：

立方体定义(事实表)

definecube<cube_name>[<dimension_list>]:

<measure_list>

维定义(维表)

definedimension<dimension_name>as（<attribute_or_subdimension_list>）

v实例（图2.6事实星座模式用DMQL定义）

Ø度量

v概念：数据方的度量是一个数值函数，该函数可以对数据方的每一个点求值，通过对给定的各维-值对聚集数据，计算该店的度量值。

v分类

²分布的：将函数用于n个聚集值得到的结果，与将函数用于所有数据得到的结果一样，则该函数可以用分布方式计算。如，count（），min(),max(),sum()

²代数的：能够由一个具有M个参数的代数函数计算，而每个参数都可以用一个分布聚集函数求得。如，avg()，max()

²整体的：不存在一个具有M个（其中，M是常数）参数的代数函数进行这一计算。如，rank（），median（）

Ø概念分层

定义一个映射序列，将底层概念到更一般的高层概念

v模式分层

v集合分组分层

ØOLAP操作

v上卷：沿概念分层向上攀升，或维规约

v下钻：沿概念分层向下，或引入新的维

v切片和切换：在给定的数据方的一个维进行选择，导致一个子方

v转轴（旋转）：转动数据的视角，提供数据的替代表示

3.数据仓库的系统结构

Ø三层数据仓库结构：

顶层：客户（查询/报告工具，分析工具，数据挖掘工具）

中间层：OLAP服务器（ROLAP，MOLAP）

底层：数据仓库服务器

Ø数据仓库模型

v企业仓库：收集关于主题的所有信息，跨越整个组织

v数据集市：数据集市包含企业范围数据的一个子集，范围限于选定主题

v虚拟仓库：操作数据库在视图上的集合

ØOLAP服务器类型

vROLAP：中间服务器，介于关系后端服务器和用户前端工具之间，使用关系或拓充关系DBMS存放并管理数据仓库，而OLAP中间件支持其余部分。

vMOLAP：基于数组的多维存储引擎，支持数据的多维视图，将多维视图直接映射到数据方数组结构，

vHOLAP：较大的可规模性的ROLAP+快速运算的MOLAP

v特殊的SQL服务器

4.数据仓库的实现

Ø数据方的有效计算

v一个n维数据方的方体，

若每个维都没有分层，则方体总数为：2^n

若每个维不止一层，则方体总数是

v部分物化：方体选择计算

v多路数组聚集（例2.12）

Ø索引OLAP数据

位图索引，连接索引，复合连接索引

Ø元数据

v数据仓库存储的描述：仓库模式，视图，维，层次结构，导出数据的定义等

v操作元数据

v数据仓库结构

v汇总用的算法

v由操作环境到数据仓库的映射

v关于系统性能的数据

v商务元数据

Ø数据仓库后端工具和实用数据

v数据提取

v数据清理

v数据变换

v装入

v刷新

5.数据方技术的进一步发展

Ø发现驱动的探查

预计算的度量指出数据例外，在所有的聚集级指导用户的数据分析过程，我们称这种度量为例外指示符。例外是一个数据方单元值，基于某种统计模型，它显著地不同于预计值。

6.由数据仓库到数据挖掘

Ø数据仓库的运用：

v信息处理：基本查询和基本的统计分析

v分析处理：支持基本的OLAP操作

v数据挖掘：找出隐藏的模式和关联，构造分析模型，进行分类和预测

Ø数据挖掘，信息处理，联机数据分析

v信息处理基于查询，可以发现有用的信息，直接反映存放在数据库中的信息，或通过聚集函数可计算的信息；

vOLAP是数据汇总，聚集工具，帮助简化数据分析；

v数据挖掘是自动发现隐藏在大量数据中的隐含模式和有趣只是。

如果觉得《数据仓库与数据挖掘的OLAP技术----韩家炜教授的《数据挖掘概念与技术》学习笔记》对你有帮助，请点赞、收藏，并留下你的观点哦！