评价策略及关键技术

7.3　评价策略及关键技术

目前多数的评价方法主要借鉴信息检索和自然语言处理技术的部分成果，侧重于两方面的研究，一是对本体应用中的某些属性进行定量计算，二是研究本体评价和排序的工具，以方便用户选择最适合的本体。

7.3.1　评价策略

（1）基于特定应用的本体评价策略^{［3］［10］}

本体质量最直接的体现就是基于本体应用的性能的优劣，例如应用于文本聚类、信息检索等。基于特定应用的本体评价策略其基本思想是直接将构建的本体用于解决实际问题中去检验本体的质量，这种评价策略简单、直观，但存在一定的问题，如应用的质量难于评估，而且难于建立一种没有其他干扰因素，只有本体影响的“纯净”测评环境，也就是说通过这种方法得到的测试结果实际上是多种因素共同作用的结果。

（2）基于“黄金标准”的本体评价策略^{［3］［11］}

这种本体评价策略是将待测试本体与事先建立的“黄金标准本体”进行相似度计算，这种方法的难点在于两个本体的比较是比较困难的。目前变通的方法是在字面和概念两个不同层面对两个本体进行评价。字面层面的评价主要是本体间术语、词汇的比较。概念层面的评估主要是对本体的等级关系和领域关系进行比较。

（3）基于数据驱动的本体评价策略^［12］

这种本体评价策略是通过测试本体在特定语料库中的主题覆盖程度来评价本体术语的完备程度。评价的基本思想是一种字面相似度层面测评的方法，通过借鉴信息检索领域的检全率和检准率指标，将从特定语料库中抽取出来的本体三元组（triple）视为信息检索的文献库，通过对特定提问式的检索结果来计算本体术语的覆盖情况。

（4）基于PageRank的本体评价策略^［7—9］

这种本体评价策略的基本思想源自搜索引擎中的PageRank算法，越重要的网页被引用的频次就越高。考虑到本体间的链接关系（包括引入、扩展和继承关系），如果一个本体被其他本体参考的次数越多，该本体的质量就越高。这种评价策略主要应用于本体的排序，对用户进行本体推荐。

7.3.2　关键技术

（1）AKTiveRank^{［8］［9］}

目前已经建成了一些本体资源库（Ontology Library），如Ontoligua、ProtégéOWL Library等包含了一定量的本体。如果用户需要复用关于某个领域的本体，可以对资源库中的本体进行检索。AKTiveRank算法正是根据用户的检索需求，对符合要求的本体进行排序，把最符合用户要求的本体挑选出来。

AKTiveRank算法采用四种测度对本体进行评价：①类目匹配测度（Class Match Measure，CMM）是对用户检索词在本体中的覆盖情况进行评价。②中央测度（Centrality Measure，CEM）认为在“中间位置”的概念最有表达能力且应具有合理的层次，CEM计算根节点到某概念c以及根节点到其他经由概念c的路径到其他各个节点的最长路径来判断本体中类目的情况。③密度测度（Density Measure，DM）用来检验给定概念在本体中的被描述程度，通过与该概念相关的父类、子类、兄弟类、实例和各种关系的加权统计来计算。④语义相似度测度（Semantic Similarity Measure，SSM）是测评与查询要求相关的概念在本体中的位置关系（紧密程度）。因为一个良好的本体应该是相关概念在本体中的一个模块中，而不是分散在本体的不同等级关系中。最后，通过对以上四个参数CMM、CEM、DM、SSM的加权处理来对待评价本体进行打分，分数越高代表该本体质量越高，越符合用户的需求。

（2）自然语言处理技术^［10］

自然语言处理技术应用于本体评价主要是对本体学习的结果进行及时动态评价以便及时调整学习的算法和效率。主要方法是通过信息抽取技术抽取出测试语料库（代表某领域）中最核心的概念。通过本体学习的三元组（triple）与核心概念的比较来计算本体的质量，该方法通常使用四个参数：

·Coverage：抽取到的本体三元组是否代表了该领域。

·Accuracy：抽取到的本体三元组反应该领域的专指度情况。

·Recall：抽取到的本体三元组在测试语料库中被检索到的情况。

·Precision：在测试语料库中被检索到的三元组的正确相关情况。

计算的方法基于词频统计，Recall和Precision的计算方法类似于信息检索领域的召回率和检准率的计算方法。Accuracy的计算方法源自齐普夫定律，中频词最具有表达能力，高频和低频词的表达能力较弱，因此，反映在Accuracy（本体专指度）计算中就是如果一个类目包含了大量的中频词（领域典型词），那么这个类目则被认为是本体学习的有效类目。各参数的计算公式详见参考文献［3］。

（3）OntoClean^［14］

OntoClean是一种基于哲学概念的本体形式化评价方法，这种方法主要是对本体的等级结构进行形式化评价，集中于对本体等级结构的“清洗”。目前已经被应用于对WordNet的上层等级结构的清洗。OntoClean方法的基本原理基于四个参数：稳固度（rigidity）、联合度（Unity）、确认度（identity）以及依存度（dependency）。如果一个属性是所有实例的充要条件时，那么这个属性则是稳固的，即为（＋R），否则为（－R）。如果一个实例对于某个属性来说是不可再分的，那么这个属性是联合的，即为（＋U），否则（－U）。OntoClean技术正是通过对上述四个参数值来作为等级结构中概念间的元关系来衡量概念的表达能力。

OntoClean方法首先需要一个元本体作为评价参考的标准，对元本体进行概念的形式化约束，制定一些公理，利用上述四个参数对元本体进行元关系约束。继而待评价本体就可以与定义好的等级结构的参考本体进行对比测评来得到待评价本体的不一致程度。OntoClean方法能够对语义模型进行深入的分析，然而这种分析并未对本体的可用性作更多的考虑，处理方法比较抽象，因此，目前将OntoClean集成在OntoEdit^［13］环境中使用，一来可以使用图形化方法来表示抽象模型，二来提供了较为友好的用户操作界面。由于OntoClean的抽象性和不易操作性使得它目前只能作为本体评价的一种辅助方法。

（4）OntoMeric^{［4］［15］}

OntoMeric是基于层次分析法（AHP）的多标准决策方法，它提供了针对不同需求对本体质量进行测评的一系列指标，需要知识工程师根据指标进行人工打分。OntoMeric适用于在众多本体中选出最合适的本体和评估特定本体在项目中的适用性。该方法提供了几个最基本的决策标准：

·本体表示的内容

·本体应用的语言

·本体开发的方法

·构建本体所用的软件环境

·在系统中使用本体的开销

以上几个基本决策标准中又包含了160个决策因子，分别对应不用的属性值，共同构成一个多层次决策树，用户可以根据自己的要求扩展或者缩减决策树中的因子个数。使用OntoMeric方法评价本体，需要有明确项目目标，包括本体中的核心概念、定义的精度以及开发方法等，进而根据最基本的MTC来组建评估该本体的MTC，系统将针对每个决策因子建立矩阵，矩阵中的值表示该节点与标准节点值的相似度，由知识工程师给定分值，最后通过矩阵的分值来测评本体的性能。

OntoMeric改变了过去由知识工程师根据自身的经验和直觉来对本体进行测评的方法，使本体的评价由定性评价转为定量评价。OntoMeric虽然需要人工打分，比较耗时，但对目前来说提供了一套规范框架来量化本体的质量（或适用性），具有很强的可操作性。