数据仓库的出现和发展是计算机应用到一定阶段的必然产物。经过多年的计算机应用和市场积累，许多商业企业已保存了大量原始数据和各种业务数据，这些数据真实地反映了商业企业主体和各种业务环境的经济动态。然而由于缺乏集中存储和管理，这些数据不能为本企业进行有效的统计、分析和评估提供帮助。也就是说，无法将这些数据转化成企业有用的信息。
20世纪70年代出现并被广泛应用的关系型数据库技术为解决这一问题提供了强有力的工具。
从20世纪80年代中期开始，随着市场竞争的加剧，商业信息系统用户已经不满足于用计算机管理日复一日的事务数据，他们更需要的是支持决策制定过程的信息。
20世纪80年代中后期，出现了数据仓库思想的萌芽，为数据仓库概念的最终提出和发展打下了基础。
20世纪90年代初期，W.H.Inmon在其里程碑式的著作《建立数据仓库》中提出了“数据仓库”的概念，数据仓库的研究和应用得到了广泛的关注。这对处于激烈竞争中的商业企业，有着非同小可的现实意义。
人们在日常生活中会遇到火灾、地震等灾害，买东西时会遇到的捆绑销售等，对于这些问题，随着数据量的激增，人们越来越希望系统能够提供更高层次的数据分析功能，从而更好地支持决策或科研工作。由此，数据挖掘技术应运而生。
1.数据仓库的概念
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的Building the Data Warehouse（《建立数据仓库》）一书中提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non－Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。
2.数据仓库的特征
（1）数据仓库的数据是面向主题的
与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行组织的。什么是主题呢？首先，主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻划各个分析对象所涉及的企业的各项数据，以及数据之间的联系。所谓较高层次是相对面向应用的数据组织方式而言的，是指按照主题进行数据组织的方式具有更高的数据抽象级别。
（2）数据仓库的数据是集成的
数据仓库的数据是从原有的分散的数据库数据抽取来的。传统数据库的操作型数据与数据仓库中的DSS（Decision Support Systems，决策支持系统）分析型数据之间差别甚大。第一，数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；第二，数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键、最复杂的一步，所要完成的工作如下：
①要统一源数据中所有矛盾之处，如字段的同名异义、异名同义、单位不统一、字长不一致，等等。
②进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成，但许多是在数据仓库内部生成的，即进入数据仓库以后进行综合生成的。
③数据仓库的数据是不可更新的。
数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计、综合和重组的导出数据，而不是联机处理的数据。数据库中进行联机处理的数据经过集成输入数据仓库中，一旦数据仓库存放的数据已经超过数据仓库的数据存储期限，这些数据将从当前的数据仓库中删去。因为数据仓库只进行数据查询操作，所以数据仓库管理系统相比数据库管理系统而言要简单很多。数据库管理系统中许多技术难点，如完整性保护、并发控制等，在数据仓库的管理中几乎可以省去。但是由于数据仓库的查询数据量往往很大，所以就对数据查询提出了更高的要求，它要求采用各种复杂的索引技术；同时由于数据仓库面向的是商业企业的高层管理者，他们会对数据查询的界面友好性和数据表示提出更高的要求。
（3）数据仓库的数据是随时间不断变化的
数据仓库中的数据不可更新是针对应用来说的，也就是说，数据仓库的用户进行分析处理时是不进行数据更新操作的。但并不是说，在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中，所有的数据仓库数据都是永远不变的。
数据仓库的数据是随时间的变化而不断变化的，这是数据仓库数据的第四个特征。这一特征表现在以下三个方面：
①数据仓库随时间变化不断增加新的数据内容。数据仓库系统必须不断捕捉OLTP数据库中变化的数据，追加到数据仓库中去，也就是要不断地生成OLTP数据库的快照，经统一集成后增加到数据仓库中去；但对于确实不再变化的数据库快照，如果捕捉到新的变化数据，则只生成一个新的数据库快照增加进去，而不会对原有的数据库快照进行修改。
②数据仓库随时间变化不断删去旧的数据内容。数据仓库的数据也有存储期限，一旦超过了这一期限，过期数据就要被删除。只是数据仓库内的数据时限要远远长于操作型环境中的数据时限。在操作型环境中一般只保存有60～90天的数据，而在数据仓库中则需要保存较长时限的数据（如5～10年），以适应DSS进行趋势分析的要求。
③数据仓库中包含有大量的综合数据，这些综合数据中很多跟时间有关，如数据经常按照时间段进行综合，或隔一定的时间片进行抽样等。这些数据要随着时间的变化不断地进行重新综合。
因此，数据仓库的数据特征都包含时间项，以标明数据的历史时期。
3.数据挖掘的概念
技术上数据挖掘（Data Mining）的定义是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。商业上数据挖掘的定义是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。
4.数据挖掘的特征
（1）数据源必须是真实的、大量的、含噪声的；
（2）发现的是用户感兴趣的知识；
（3）发现的知识要可接受、可理解、可运用，最好能用自然语言表达发现结果；
（4）并不是要求发现放之四海而皆准的知识，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明，所有发现的知识都是相对的，是有特定前提和约束条件、面向特定领域的。
数据挖掘基于的数据库类型主要有：关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库等。而挖掘后获得的知识包括关联规则、特征规则、区分规则、分类规则、总结规则、偏差规则、聚类规则、模式分析及趋势分析等。
5.数据挖掘的发展历程
从数据库中发现知识（KDD）一词首次出现在1989年举行的第十一届国际联合人工智能学术会议上。从那之后，由美国人工智能协会主办的KDD国际研讨会已经召开了多次，规模由原来的专题讨论会发展到国际学术大会（见表3－7），研究重点也逐渐从发现方法转向系统应用，注重多种发现策略和技术的集成，以及多种学科之间的相互渗透。1999年，亚太地区在北京召开的第三届PAKDD会议收到158篇论文，空前热烈。IEEE的Knowledge and Data Engineering会刊率先在1993年出版了KDD技术专刊。并行计算、计算机网络和信息工程等其他领域的国际学会、学刊也把数据挖掘和知识发现列为专题和专刊讨论，甚至到了脍炙人口的程度。
表3－7 数据挖掘的进化历程
数据挖掘的核心模块技术历经了数十年的发展，其中包括数理统计、人工智能、机器学习。今天，这些成熟的技术，加上高性能的关系数据库引擎以及广泛的数据集成，让数据挖掘技术在当前的数据仓库环境中进入了实用的阶段。
6.数据的预处理
现实世界的数据仓库存在不完整的、含噪声的数据。数据含噪声可能有多种原因，人或机器的输入错误、数据传输中的错误、数据读取时的错误等。数据预处理的方法有很多：数据清理、数据集成和转换、数据归约。
7.数据挖掘的过程
数据挖掘的核心技术是人工智能、机器学习、统计等，但它并非多种技术的简单组合，而是一个不可分割的整体，还需要其他技术的支持，才能挖掘出令用户满意的结果。
过程中各步骤的大体内容如下。
（1）确定业务对象
清晰地定义出业务问题，认清数据挖掘的目的是数据挖掘的重要一步。挖掘的最后结果是不可预测的，但要探索的问题应是有预见的，为了数据挖掘而数据挖掘则带有盲目性，是不会成功的。
（2）数据准备
数据的选择，搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。
数据的预处理，研究数据的质量，为进一步的分析做准备，并确定将要进行的挖掘操作的类型，将数据转换成一个分析模型。这个分析模型是针对挖掘算法建立的，建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。
（3）数据挖掘
对所得到的经过转换的数据进行挖掘，除了选择合适的挖掘算法外，其余一切工作都能自动地完成。
（4）结果分析
解释并评估结果，其使用的分析方法一般应视数据挖掘操作而定，通常会用到可视化技术。
（5）知识的同化
将分析所得到的知识集成到业务信息系统的组织结构中去。
图3－11描述了数据挖掘的基本过程和主要步骤。
图3－11 数据挖掘过程的步骤
8.数据挖掘的任务、功能
数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。
数据挖掘任务有两类：第一类是描述性挖掘任务，刻画数据库中数据的一般特性；第二类是预测性挖掘任务，在当前数据上进行推断，以进行预测。
（1）关联分析（association analysis）。关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性，称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阈值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。
（2）聚类分析（clustering）。聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。
（3）分类（classification）。分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。
（4）预测（predication）。预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。
（5）时序模式（time－series pattern）。时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用已知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。
（6）偏差分析（deviation）。在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。
9.数据挖掘的方法
（1）统计方法
传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为猜测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
（2）关联规则
关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
（3）聚类分析
聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法、凝聚算法、划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
（4）决策树方法
决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
（5）神经网络
神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
（6）遗传算法
遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成：繁殖是从一个旧种群选出生命力强的个体，产生新种群的过程；交叉（重组）选择两个不同个体（染色体）的部分进行交换，形成新个体的过程；变异是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
（7）粗糙集
粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
（8）支持向量机
支持向量机是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为练习多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，哪种方法劣，而是视具体问题而定。
10.数据挖掘工具
目前，世界上比较有影响的典型数据挖掘系统有：SAS公司的Enterprise Miner，IBM公司的Intelligent Miner，SGI公司的SetMiner，SPSS公司的Clementine，Sybase公司的Warehouse Studio，RuleQuest Research公司的See5，还有CoverStory、EXPLORA、Knowledge Discovery Workbench、DBMiner、Quest等。
11.数据挖掘的发展趋势
（1）视频和音频数据挖掘；
（2）科学和统计数据挖掘；
（3）数据挖掘的应用探索；
（4）可伸缩的数据挖掘方法；
（5）数据挖掘与数据库系统、数据仓库和Web数据库系统的集成；
（6）数据挖掘语言的标准化；
（7）可视化数据挖掘；
（8）复杂数据类型挖掘的方法；
（9）Web挖掘；
（10）数据挖掘中的隐私保护与信息安全。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
