发现潜在知识的挖掘机制

4.2.2　发现潜在知识的挖掘机制

随着知识库中数据数量的急剧增加，其中埋藏了大量潜在的知识，通过关联数据发现其中的模式和关系、生成新知识，即知识融合是知识转化的重要环节。知识融合的实现需要一定的挖掘机制，挖掘机制是应用智能分析工具从海量数据中发现潜在知识。挖掘机制的构建应确保模式的有效性、新颖性、有用性以及可理解性。模式一个用语言来表示的表达式，它可用来描述数据集的某个子集，所说的知识，是对数据包含的信息更抽象的描述。有效性是指发现的模式对新的数据仍保持一定的可信度；新颖性要求发现的模式应该是新的，是过去没有的；有用性是指发现的知识可以运用到实际当中；可理解性是要求发现的模式能够被用户轻松理解，体现在简单易用方面。数据的巨量性、动态性、噪声性、稀疏性以及模式的可理解性是挖掘机制构建面临的主要挑战，一方面应引进新的数据清洗、数据处理、数据挖掘算法，从技术上确保先进性；另一方面加强对知识专家的培养和深造同样关键，知识专家的经验和能力对挖掘结果具有重要影响，毕竟挖掘过程不是完全自动化的，需要知识专家的参与，数据、算法、参数的恰当选择与经验密切相关。具体而言，挖掘机制的构建可以从以下三个方面进行：

（1）建立数据仓库

针对知识转化中产生的海量数据，可以通过建立数据仓库进行集中管理形成数据集市便于管理和利用。数据仓库是面向主题的、集成的、稳定的及随时间变化的数据集合，用以支持经营管理中的决策制定过程。建立数据仓库可以提供一种体系化的数据存储环境，将用于挖掘的大量数据从传统的操作环境中分离出来，使分散的、不一致的操作数据转换成集成的、统一的数据模式。建立数据仓库的基本步骤是：①收集和分析业务需求；②建立数据模型和数据仓库的物理设计；③定义数据源；④选择数据仓库技术和平台；⑤从操作型数据库中抽取、净化和转换数据到数据仓库；⑥选择访问和报表工具；⑦选择数据库连接软件；⑧选择数据分析和数据展示软件；⑨更新数据仓库。建立数据仓库是一个长期工程，需要定时进行更新，不断向其中加入新的操作数据。

（2）利用OLAP技术

OLAP是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。OLAP的一个重要特点是多维数据分析，这与数据仓库的多维数据组织正好形成相互结合、相互补充的关系（张瑞玲和贾燕，2005）。OLAP技术与数据仓库相结合可以方便地处理大量数据并进行大量的数值计算。OLAP的基本多维分析操作包括钻取（Drill-up和Drill-down）、切片（Slice）和切块（Dice）以及旋转（Pivot）等。

（3）开展Web挖掘

伴随着B/S系统模式的流行，知识转化平台也存在大量Web数据源。如何从这些数据中发现潜在知识也是挖掘机制需要特别关注的。Web知识挖掘可分为对网络知识的挖掘和对用户知识的挖掘。对网络知识的挖掘主要是指通过对网络知识的增值处理，找出知识分布的规律，发现知识内在的关联性，挖掘隐藏在网络信息中的知识并形成知识模型。对用户知识的挖掘是指对用户访问平台时的信息和用户个人信息的挖掘。服务器的日志文件会记录用户访问和交互的信息，通过筛选、转换并进行分析和挖掘，能够掌握用户获取知识的相关活动，了解用户的知识需求，从中得出用户的访问模式和访问兴趣，从而改进转化平台的组织结构模式，为用户提供个性化的知识服务。