商务智能系统的实施

13.2.3　商务智能系统的实施

商业智能系统主要实现将来自不同企业运作系统的数据转换为企业决策信息的过程。与一般的信息系统不同，它在处理海量数据、数据分析和信息展现等多个方面都具有突出性能。商务智能的体系结构可以指导商务智能系统的实施，其步骤为:

1.选择数据源

数据源包括了企业中所有的信息系统，以及根据决策分析需求可能涉及的其他外部数据资源。为了确保商务智能系统的成功，在识别和确定数据源时应遵循一些原则:①保证数据的真实性;②保证数据的针对性;③保证数据的完整性。总体而言，数据源的选择是一个基础性但非常重要的工作，需要持续不断地进行，才能有效地改善数据源的质量。只有有效的数据源才能保证高质量的数据，高质量的数据才能支撑强大的商务智能系统应用，才能保证更好的效果。

2.数据预处理

商务智能系统运行的基础是相互独立、互不兼容的、复杂的源数据系统。现有的业务数据源较多是企业在不同的历史时期所建立的面向不同业务需求的生产系统，其数据结构、格式、定义各不相同。如何保证数据的一致性，真正理解数据的业务含义，跨越多平台、多系统进行数据整合，最大可能提高数据的质量，迎合深层知识挖掘的特性，是商务智能系统必须面对的首要问题。ETL是商务智能系统整合异构数据源的解决方案。简单地讲，ETL就是抽取、转换和装载，同时提供数据质量的管理，并且贯穿整个商务智能解决方案的全过程，完成整个系统的数据处理与调度^［6］。以下主要从实际应用的角度阐述如何使用ETL，包括数据抽取、数据转换、数据清洗与数据装载等。其基本过程见图13-3。

图13-3　数据清洗

(1)数据抽取

主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，规划需要的数据源及数据定义，制定可操作的数据抽取规则以及数据抽取的方案。

(2)数据转换

数据转换是将源数据变为目标数据的关键环节，它包括数据格式转换、数据类型转换、数据汇总计算数据拼接等。数据转换工作可以视具体情况在不同的过程中实现，比如可以在数据抽取时转换，也可以在数据加载时转换。

(3)数据清洗

数据清洗实际就是利用有关技术如数理统计、数据挖掘或预定义的数据清洗规则将脏数据转化成满足数据质量要求的数据。在数据仓库系统中，数据清洗是ETL过程中的一个重要环节，主要任务是检测并删除/改正将装入数据仓库的脏数据。

(4)数据装载

主要是将经过转换和清洗的数据加载到数据仓库里面，即入库。数据装载有两个部分:一部分是把合法数据文件装入回滚表中，该装入过程没有汇总部分;另一部分是把初次汇总表加载到临时汇总表，根据不同类型的数据，可能会有二次汇总。当加载临时汇总表的过程完毕以后，再把临时中间表的数据装入到中间表中。

3.数据存储

数据仓库技术以一种有效的方式逐步整理各个业务处理系统中积累下来的历史数据，并通过灵活有效的方式为各级业务人员提供统一的信息视图，从而在整个企业内实现真正的信息共享。数据仓库是一种语义上一致的数据存储，它是决策支持数据模型的物理实现，并存放企业战略决策所需信息。数据仓库也常常被看作一种体系结构，通过将异种数据源中的数据集成在一起而构造，支持结构化的和专门的查询、分析报告和决策。通过提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理(OLAP)。OLAP操作使用数据的领域背景知识，允许在不同的抽象层提供数据。这些操作适合不同的用户。尽管数据仓库工具对于支持数据分析是有帮助的，但是仍需要更多的数据挖掘工具，以便进行更深入的自动分析。

数据存储的另外一个重要的任务是对元数据的管理。所谓元数据就是管理商业智能系统的数据，其主要部分类似于数据字典，其内容贯穿了商业智能应用的各阶段，记录着从ETL到分析展现各个阶段和各组成部分的管理信息。数据仓库的系统管理提供统一的平台对元数据进行管理和维护，并通过元数据的状态驱动系统各部分的运转。元数据存贮有两种形式^［7］:其一是以数据集为基础，即每一个数据集有一个对应的元数据文档，每一个元数据文件中包含对相应数据集的元数据内容。另一种存在方式是以数据库为基础(即元数据库)，给一个数据库有一个元数据文件，该文件为一表格数据，它由若干项组成，每一项表示元数据的一个要素，其记录为每一个数据集的元数据内容。

4.数据分析

数据分析主要包含三个方面:联机分析处理(On-LineAnalytical Processing，OLAP)、数据挖掘(Data Mining)和联机分析挖掘(OLAP Ming，OLAM)。数据挖掘和联机分析处理都属于分析型工具，数据挖掘主要是通过分析大量的原始数据，做出归纳性的推理，挖掘出潜在的模式或特征，但侧重于自动的过程，与用户的交互少。OLAP是以多维的形式从多维的角度来观察数据的变化，侧重于与用户的交互、快速的响应速度及提供数据的多维视图，但只能从不同抽象级别观察数据的大致走势，不能发现数据间隐藏的知识或特征。而联机分析挖掘，是OLAP和数据挖掘技术有机地结合产生的新技术。它将OLAP的分析结果作为数据挖掘的分析对象，利用数据挖掘技术拓展分析的深度，从而取长补短，可以方便地对任何一部分数据或不同抽象级别的数据进行挖掘，发现OLAP所不能发现的更为复杂细致、更为有用的知识。以数据挖掘为核心的智能分析技术为商务智能提供了快速精准的知识获取与提炼功能。