《计算机网络信息系统集成》课程研究报告
姓 名：阳 涛
学 院：湖北工业大学
班 级：控制工程班
学 号：520130114
时 间：2013年8月12日
基于数据仓库的数据挖掘技术分析研究
摘 要
基于数据仓库的数据挖掘技术是一种对数据仓库中的数据进行深层次的加工和处理的过程, 也是一种实现数据仓库决策价值的方法和工具。文中分析了数据仓库、数据挖掘等概念, 并结合数据挖掘在实际决策支持系统中的应用, 说明了数据挖掘的基本方法、主要过程以及发展方向。
关键词：仓库，储存，数据采集
目 录
摘 要 .................................................................. 错误！未定义书签。
目 录 .................................................................................................... 3
引 言 .................................................................................................... 4
1数据仓库及其体系结构 . ................................................................. 5 2基于数据仓库的数据挖掘技术
. .................................................................................................................. 6
3数据挖掘在实际决策支持系统中的应用 ................................. 8
4. 结束语
................................................................................................................................. 9
参考文献 ................................................................................................ 10
引 言
随着数据库技术的广泛应用, 以及人们对当今社会信息
的高层次需求, 以事务处理为核心、支持业务操作环境与平台的数据库技术已不能适应人们在分析和决策层次上的需要。为了有效地为企业和政府的管理与决策过程提供重要的信息, 需要根据决策的需要收集来自企业内外的有关数据, 并加以适当的组织处理, 以形成一个综合的面向决策的环境。
1 数据仓库及其体系结构
20世纪90年代初期,W.H.Inmon 在5Building the Data Warehouse6一书中第一次提出了数据仓库(Data
Warehouse, 简称DW) 的概念, 并将它定义为:面向主题的、集成的、与时间相关的、稳定的数据集合。所谓面向主题, 是指按主题来组织数据, 按不同的决策和分析来综合和归并数据; 所谓集成, 是指将来自不同数据库中的数据进行统一和综合; 所谓与时间相关是指可以根据决策的需要不断地添加一些新的数据, 删除一些旧的数据; 所谓稳定是指集成以后的数据在内容上保持较长时间的不变。
与传统数据库显著不同的是, 数据仓库是一种服务于高层决策的数据库, 它不仅采集、组织和存储大量的来自地理位置分散、构造各异的信息源的数据, 而且还通过对这些历史数据的加工和变换, 得到一系列用于决策分析的数据, 利用这
些数据可以更好地为用户提供决策支持。其次, 数据仓库是一种面向主题的数据库, 它按主题来组织数据, 按决策和分析的需要来提炼和净化数据。另外, 数据仓库是一种包含历史数据的数据库, 其中的数据不仅用于检索等基本操作, 还用于分析整个组织的运行状态, 以及未来的发展趋势。
构建数据仓库的关键是ETL(Extract,Transform,
Loading) 技术, 即如何准确、安全、可靠地从各种不同的业务数据库中抽取数据, 并经转换、清洗以及集成后载入数据仓库。自数据仓库的概念提出以后, 世界上不少著名的计算机公司(如IBM,Oracle 等) 都纷纷对此展开深入的研究, 并相继提出各自的研究方案。虽然这些方案各有特色, 但基本的框架一般都是通过数据采集和处理工具将各数据源的数据集成并载入数据仓库(如图1所示) 。
图1. 数据仓库基本框架图
(1)数据源。可以为普通的业务数据库, 也可以是特定的数据文件或其他的数据源。
(2)数据采集和处理。负责从各数据源中抽取数据, 并经转换、集成后载入数据仓库。
(3)数据仓库。存储两类数据。一类是元数据, 它是数据仓库的基本构成单元, 主要用于记录数据的结构以及数据仓库的变化; 另一类是实视图, 它是供决策人员分析处理用的数据。
(4)应用。主要是服务于决策的在线分析(On-Line Analytical Processing,简称OLAP) 和数据挖掘(Data Mining,简称DM) 。
由上述基本框架图可以看出, 数据仓库不是一种软件产品, 而是一种综合的解决方案。它将原始的数据处理并转换成服务于决策的综合数据, 并提供一组功能强大的分析工具对其进行多层次、多方位的分析处理。其次, 数据仓库要提供高质量的数据和服务, 必须注意数据的一致性、完整性、准确性以及可用性。现有的数据仓库模型未能充分考虑到这一点。通过扩展元数据库的方式, 在元数据库中融入质量维度的质量模型, 建立系统化的测量和提高数据质量的方法体系, 可以较好地解决数据仓库的质量问题。
2 基于数据仓库的数据挖掘技术
构建数据仓库的最终目标是为了从各类海量数据中提取出对有关决策和管理活动具有重要指导意义的规律性知识。但是, 由于各类数据是分散于若干业务数据库或其他数据源中, 因此, 要得到对各类决策分析有用的知识, 必须具有相应的从海量数据中提取价值信息的工具。数据挖掘就是用来挖掘价值信息的工具。
数据挖掘这一概念是由
G.Piatetsky-Shapior,W.J.Frawley 等人在1989年8月召开的第11届国际人工智能学术会议上提出的。它是数据库技术和人工智能、数理统计等学科相结合的产物, 是一个多学科相互交叉的具有广泛应用前景的新兴研究领域, 并利用人工
智能和数理统计中一些较成熟的方法和技术, 如规则推理、人工神经网络、决策树、邻近搜索等。因此, 也有人把它称为数据库中的知识发现(Knowledge Discovery in Database,简称KDD) 。对数据挖掘这一概念的定义, 一般认为是一种从大量数据中获取潜在规律和知识的方法和技术, 是一个从大量数据中发掘潜在的、新颖的、可用的以及最终可理解的模式的高级过程。
面向主题、数据集成、与时间相关以及稳定是数据仓库区别于数据库的显著特点, 实现决策支持是数据仓库的最终应用目标, 而数据挖掘则是实现数据仓库最终目标的有
力工具。因此, 在实际应用中, 数据挖掘和数据仓库密不可分。数据仓库是数据挖掘的基础和平台, 为数据挖掘提供必要的数据准备, 数据挖掘则是在数据仓库的基础上进一步发掘对实际决策过程有益的知识和信息。
数据挖掘系统的基本结构图如图2所示。
图2. 数据挖掘系统结构图
(1)数据采集与处理。根据数据挖掘的目标, 从数据仓库中选取相关的数据集合, 并对其进行数据一致性和数据完整性的检查。
(2)知识库。主要用于数据挖掘和知识评价。利用知识库中提供的有关知识, 可以指导数据挖掘过程中的搜索操作, 以及评价挖掘所得的结果数据(这些数据可以是概念, 也可
以是规则或模式) 的兴趣度。
(3)数据挖掘。主要是对数据仓库中提取的有关数据进行聚类、估值、分类、预言、关联和描述等分析处理。 a. 聚类。将相似的数据置于一类, 目的在于描述数据的共同特征。
b. 估值。处理未知连续变量的输出。
c. 分类。描述离散变量的输出。典型的有线形回归分类、决策树分类、基于规则的分类以及神经网络分类等。 d. 预言。通过估值或分类得到模型, 以用于未来未知变量的评估。
e. 关联。挖掘数据或特征间的内在联系。
f. 描述。表示数据挖掘的结果。
(4)知识评价。以兴趣度作为衡量标准来查找和选择对最终决策活动有益的知识, 并以概念、规则、规律、模式、约束或可视化的形式来表示结果知识。基于数据仓库的数据挖掘是一种对数据仓库中的数据进行深层次的加工和处理过程, 也是一种实现数据仓库决策价值的方法和工具。通过对数据仓库中大量历史数据的更高层次的抽象, 不仅反映了数据间的内在联系和特性, 同时也获得了许多直接用于决策分析的有用信息。
3 数据挖掘在实际决策支持系统中的应用
数据挖掘是在数据仓库的基础上进行的深层的数据分析过程, 它能揭示大量数据中隐含的、潜在的、有用的和感兴趣的信息, 并为用户提供较好的决策支持。
自数据仓库和数据挖掘技术出现至今, 许多大公司、大企业纷纷构建自己的数据仓库, 并通过对数据仓库中大量历史数据的挖掘, 得到许多有用的信息, 以支持企业内部的生产经营管理过程中的决策控制。实际的数据挖掘过程一般包括以下几个步骤:
(1)了解行业背景, 熟悉基本数据;
(2)确定数据挖掘的目标;
(3)选取数据仓库中相应的数据集合;
(4)给出合适的挖掘算法;
(5)进行实际的数据挖掘;
(6)对所得的结果知识进行评价并输出。
目前, 数据挖掘的主要应用领域有:市场分析和预测; 生产过程优化; 股票分析和预测; 金融风险分析; 气象预报等。例如, 针对本单位的人力资源管理需要, 构建本单位的人力资源数据仓库, 并利用选择树分类器对其进行数据挖掘。针对旅游业的管理需要, 构建旅游业数据仓库, 并利用决策树分类器挖掘其中的深层次规则。针对零售连锁业的发展需要, 构建连锁超市数据仓库, 并通过对其进行数据挖掘实现连锁超市销售分析与预测。
虽然这些基于数据仓库和数据挖掘技术的实际决策支持系统的设计各有特色, 但其基本的框架可以用一个简单的模型来刻画, 如图3所示。
图3. 决策支持系统模型图
在实现实际的决策支持系统时, 系统首先通过数据采集与加工模块将各数据源中数据载入数据仓库, 然后各用户再通过数据挖掘和在线分析来分析处理来自数据仓库的数
据, 并得到一系列用于实际决策过程的有用知识和信息。其中, 数据挖掘是系统的核心部件, 是决定数据仓库决策价值的关键环节。
4 结束语
数据挖掘是一个基于数据仓库的有效的辅助决策支持工具, 利用它可以发现数据仓库中许多未知的、潜在的、深层次的和有价值的信息。因此, 在当前的企业和政府等部门的决策活动中发挥着重要的作用。目前, 该技术的一个重要的发展方向是多维数据挖掘(OLDM),它既具有DM 处理的深入性, 又兼有OLAP 的在线分析性和灵活性, 利用该技术来实现决策支持将会具有更大的指导意义和决策价值。
参考文献：
1. 基于数据仓库技术的市场分析系统设计与实现 《清华大
学》
2. 基于数据仓库技术的决策支持系统研究与实现 《电子科
技大学周刊》
《计算机网络信息系统集成》课程研究报告
姓 名：阳 涛
学 院：湖北工业大学
班 级：控制工程班
学 号：520130114
时 间：2013年8月12日
基于数据仓库的数据挖掘技术分析研究
摘 要
基于数据仓库的数据挖掘技术是一种对数据仓库中的数据进行深层次的加工和处理的过程, 也是一种实现数据仓库决策价值的方法和工具。文中分析了数据仓库、数据挖掘等概念, 并结合数据挖掘在实际决策支持系统中的应用, 说明了数据挖掘的基本方法、主要过程以及发展方向。
关键词：仓库，储存，数据采集
目 录
摘 要 .................................................................. 错误！未定义书签。
目 录 .................................................................................................... 3
引 言 .................................................................................................... 4
1数据仓库及其体系结构 . ................................................................. 5 2基于数据仓库的数据挖掘技术
. .................................................................................................................. 6
3数据挖掘在实际决策支持系统中的应用 ................................. 8
4. 结束语
................................................................................................................................. 9
参考文献 ................................................................................................ 10
引 言
随着数据库技术的广泛应用, 以及人们对当今社会信息
的高层次需求, 以事务处理为核心、支持业务操作环境与平台的数据库技术已不能适应人们在分析和决策层次上的需要。为了有效地为企业和政府的管理与决策过程提供重要的信息, 需要根据决策的需要收集来自企业内外的有关数据, 并加以适当的组织处理, 以形成一个综合的面向决策的环境。
1 数据仓库及其体系结构
20世纪90年代初期,W.H.Inmon 在5Building the Data Warehouse6一书中第一次提出了数据仓库(Data
Warehouse, 简称DW) 的概念, 并将它定义为:面向主题的、集成的、与时间相关的、稳定的数据集合。所谓面向主题, 是指按主题来组织数据, 按不同的决策和分析来综合和归并数据; 所谓集成, 是指将来自不同数据库中的数据进行统一和综合; 所谓与时间相关是指可以根据决策的需要不断地添加一些新的数据, 删除一些旧的数据; 所谓稳定是指集成以后的数据在内容上保持较长时间的不变。
与传统数据库显著不同的是, 数据仓库是一种服务于高层决策的数据库, 它不仅采集、组织和存储大量的来自地理位置分散、构造各异的信息源的数据, 而且还通过对这些历史数据的加工和变换, 得到一系列用于决策分析的数据, 利用这
些数据可以更好地为用户提供决策支持。其次, 数据仓库是一种面向主题的数据库, 它按主题来组织数据, 按决策和分析的需要来提炼和净化数据。另外, 数据仓库是一种包含历史数据的数据库, 其中的数据不仅用于检索等基本操作, 还用于分析整个组织的运行状态, 以及未来的发展趋势。
构建数据仓库的关键是ETL(Extract,Transform,
Loading) 技术, 即如何准确、安全、可靠地从各种不同的业务数据库中抽取数据, 并经转换、清洗以及集成后载入数据仓库。自数据仓库的概念提出以后, 世界上不少著名的计算机公司(如IBM,Oracle 等) 都纷纷对此展开深入的研究, 并相继提出各自的研究方案。虽然这些方案各有特色, 但基本的框架一般都是通过数据采集和处理工具将各数据源的数据集成并载入数据仓库(如图1所示) 。
图1. 数据仓库基本框架图
(1)数据源。可以为普通的业务数据库, 也可以是特定的数据文件或其他的数据源。
(2)数据采集和处理。负责从各数据源中抽取数据, 并经转换、集成后载入数据仓库。
(3)数据仓库。存储两类数据。一类是元数据, 它是数据仓库的基本构成单元, 主要用于记录数据的结构以及数据仓库的变化; 另一类是实视图, 它是供决策人员分析处理用的数据。
(4)应用。主要是服务于决策的在线分析(On-Line Analytical Processing,简称OLAP) 和数据挖掘(Data Mining,简称DM) 。
由上述基本框架图可以看出, 数据仓库不是一种软件产品, 而是一种综合的解决方案。它将原始的数据处理并转换成服务于决策的综合数据, 并提供一组功能强大的分析工具对其进行多层次、多方位的分析处理。其次, 数据仓库要提供高质量的数据和服务, 必须注意数据的一致性、完整性、准确性以及可用性。现有的数据仓库模型未能充分考虑到这一点。通过扩展元数据库的方式, 在元数据库中融入质量维度的质量模型, 建立系统化的测量和提高数据质量的方法体系, 可以较好地解决数据仓库的质量问题。
2 基于数据仓库的数据挖掘技术
构建数据仓库的最终目标是为了从各类海量数据中提取出对有关决策和管理活动具有重要指导意义的规律性知识。但是, 由于各类数据是分散于若干业务数据库或其他数据源中, 因此, 要得到对各类决策分析有用的知识, 必须具有相应的从海量数据中提取价值信息的工具。数据挖掘就是用来挖掘价值信息的工具。
数据挖掘这一概念是由
G.Piatetsky-Shapior,W.J.Frawley 等人在1989年8月召开的第11届国际人工智能学术会议上提出的。它是数据库技术和人工智能、数理统计等学科相结合的产物, 是一个多学科相互交叉的具有广泛应用前景的新兴研究领域, 并利用人工
智能和数理统计中一些较成熟的方法和技术, 如规则推理、人工神经网络、决策树、邻近搜索等。因此, 也有人把它称为数据库中的知识发现(Knowledge Discovery in Database,简称KDD) 。对数据挖掘这一概念的定义, 一般认为是一种从大量数据中获取潜在规律和知识的方法和技术, 是一个从大量数据中发掘潜在的、新颖的、可用的以及最终可理解的模式的高级过程。
面向主题、数据集成、与时间相关以及稳定是数据仓库区别于数据库的显著特点, 实现决策支持是数据仓库的最终应用目标, 而数据挖掘则是实现数据仓库最终目标的有
力工具。因此, 在实际应用中, 数据挖掘和数据仓库密不可分。数据仓库是数据挖掘的基础和平台, 为数据挖掘提供必要的数据准备, 数据挖掘则是在数据仓库的基础上进一步发掘对实际决策过程有益的知识和信息。
数据挖掘系统的基本结构图如图2所示。
图2. 数据挖掘系统结构图
(1)数据采集与处理。根据数据挖掘的目标, 从数据仓库中选取相关的数据集合, 并对其进行数据一致性和数据完整性的检查。
(2)知识库。主要用于数据挖掘和知识评价。利用知识库中提供的有关知识, 可以指导数据挖掘过程中的搜索操作, 以及评价挖掘所得的结果数据(这些数据可以是概念, 也可
以是规则或模式) 的兴趣度。
(3)数据挖掘。主要是对数据仓库中提取的有关数据进行聚类、估值、分类、预言、关联和描述等分析处理。 a. 聚类。将相似的数据置于一类, 目的在于描述数据的共同特征。
b. 估值。处理未知连续变量的输出。
c. 分类。描述离散变量的输出。典型的有线形回归分类、决策树分类、基于规则的分类以及神经网络分类等。 d. 预言。通过估值或分类得到模型, 以用于未来未知变量的评估。
e. 关联。挖掘数据或特征间的内在联系。
f. 描述。表示数据挖掘的结果。
(4)知识评价。以兴趣度作为衡量标准来查找和选择对最终决策活动有益的知识, 并以概念、规则、规律、模式、约束或可视化的形式来表示结果知识。基于数据仓库的数据挖掘是一种对数据仓库中的数据进行深层次的加工和处理过程, 也是一种实现数据仓库决策价值的方法和工具。通过对数据仓库中大量历史数据的更高层次的抽象, 不仅反映了数据间的内在联系和特性, 同时也获得了许多直接用于决策分析的有用信息。
3 数据挖掘在实际决策支持系统中的应用
数据挖掘是在数据仓库的基础上进行的深层的数据分析过程, 它能揭示大量数据中隐含的、潜在的、有用的和感兴趣的信息, 并为用户提供较好的决策支持。
自数据仓库和数据挖掘技术出现至今, 许多大公司、大企业纷纷构建自己的数据仓库, 并通过对数据仓库中大量历史数据的挖掘, 得到许多有用的信息, 以支持企业内部的生产经营管理过程中的决策控制。实际的数据挖掘过程一般包括以下几个步骤:
(1)了解行业背景, 熟悉基本数据;
(2)确定数据挖掘的目标;
(3)选取数据仓库中相应的数据集合;
(4)给出合适的挖掘算法;
(5)进行实际的数据挖掘;
(6)对所得的结果知识进行评价并输出。
目前, 数据挖掘的主要应用领域有:市场分析和预测; 生产过程优化; 股票分析和预测; 金融风险分析; 气象预报等。例如, 针对本单位的人力资源管理需要, 构建本单位的人力资源数据仓库, 并利用选择树分类器对其进行数据挖掘。针对旅游业的管理需要, 构建旅游业数据仓库, 并利用决策树分类器挖掘其中的深层次规则。针对零售连锁业的发展需要, 构建连锁超市数据仓库, 并通过对其进行数据挖掘实现连锁超市销售分析与预测。
虽然这些基于数据仓库和数据挖掘技术的实际决策支持系统的设计各有特色, 但其基本的框架可以用一个简单的模型来刻画, 如图3所示。
图3. 决策支持系统模型图
在实现实际的决策支持系统时, 系统首先通过数据采集与加工模块将各数据源中数据载入数据仓库, 然后各用户再通过数据挖掘和在线分析来分析处理来自数据仓库的数
据, 并得到一系列用于实际决策过程的有用知识和信息。其中, 数据挖掘是系统的核心部件, 是决定数据仓库决策价值的关键环节。
4 结束语
数据挖掘是一个基于数据仓库的有效的辅助决策支持工具, 利用它可以发现数据仓库中许多未知的、潜在的、深层次的和有价值的信息。因此, 在当前的企业和政府等部门的决策活动中发挥着重要的作用。目前, 该技术的一个重要的发展方向是多维数据挖掘(OLDM),它既具有DM 处理的深入性, 又兼有OLAP 的在线分析性和灵活性, 利用该技术来实现决策支持将会具有更大的指导意义和决策价值。
参考文献：
1. 基于数据仓库技术的市场分析系统设计与实现 《清华大
学》
2. 基于数据仓库技术的决策支持系统研究与实现 《电子科
技大学周刊》