知识组织系统评价指标体系构建

7.2　知识组织系统评价指标体系构建

网络时代发展起来的知识组织系统，具有不同于传统分类法、叙词表的特点和功能。对网络知识组织系统的评价也引起了不少学者的关注，Dagobert Soergel提出应从知识组织系统构建目的、概念和语词的主题范围、概念分析和概念结构、先组度、获取和显示形式、更新情况等方面描述和评价知识组织系统^［18］；Gail Hodge则提出，应从内容、结构、用户和功能四个方面来进行评价^［19］。而英国格拉摩根大学的Douglas Tudhope则提出一个更加精细的描述和评价模板^［20］。分析这些学者的研究可知，对于知识组织系统的综合评价，一方面可继续沿用传统分类法、叙词表的评价方法，另一方面应结合网络环境下知识组织系统构建、管理和应用的特点采用一些新的评价指标。

本书拟分别从功能、内容和结构三个方面来构建知识组织系统评价指标体系，从而从宏观和微观两个层面对其进行定性评价和定量评价。

7.2.1　知识组织系统功能评价指标

出于建立领域知识框架、提供信息存储与检索服务、辅助用户文献理解、辅助翻译和语言学习等不同目的，可选择构建不同类型的知识组织系统，但描述、定义、翻译和导航是知识组织系统应具备的最基本的四大功能。这些功能的实现依赖于知识组织系统的内容和结构，可通过其内容评价和结构评价来揭示。

除了知识组织系统自身功能的评价外，其功能评价还体现在管理维护系统上。作为网络环境下建立起来的知识组织工具，知识组织系统都拥有一套计算机管理平台，知识组织系统管理平台的功能，系统的健壮性、自动化程度、易用性、易获取性、协作性、互操作性等也应作为其功能评价的参考。

此外，还可从知识组织系统的用户来评价，传统的分类法、叙词表创建者是人，用户也是人；目前我们完成的知识组织系统，以人机交互来创建，用户是机器；完全由机器创建、由机器使用的高级知识组织系统尚未产生，这可以说是一个方向，但前途未为可知。

7.2.2　知识组织系统内容评价指标

内容评价是知识组织系统评价的核心，从实体（语词或概念）层面作微观评价，主要包括主题覆盖度和专指度、概念新颖性、语词的颗粒度、语词的组配性能、概念的入口率、概念的清晰度、关联度、形式化程度等影响因素^［21］。

①主题覆盖度和专指度，反映了知识组织系统覆盖学科领域的宽度和深度，是衡量知识组织系统主题完备性和专指性的重要指标，一般采用总词量作为定量指标，但这受到知识组织系统所包含的学科范围、文献数量、先组度等诸多因素的制约。

②概念新颖性，反映了知识组织系统中词汇的更新程度，可根据词汇更新频率或周期来衡量。

③语词的颗粒度，如是字、词还是词串，一般可用平均词长或平均词素数来衡量。

④语词的组配性能，多采用语词先组度，即固定组合概念占总概念数的比值。

⑤概念的入口率，反映同一概念不同语词表达形式的揭示程度，可以参考同义术语的个数、是否多语种表达等指标。

⑥概念的清晰度，以是否提供定义、各种注释或层次关系来衡量。

⑦概念的关联度，主要通过计算概念之间（语词之间）关系数量和关系类型来衡量，关系越多，揭示程度越好；类型越丰富，揭示深度越精细。

⑧概念的形式化程度，知识组织系统要实现机器可处理和可理解，必需形式化的概念描述方式，因此形式化程度的高低也是衡量知识组织系统的一个重要指标，本体是目前形式化程度最高的知识组织系统类型。

7.2.3　知识组织系统结构评价指标

知识组织系统的结构化程度与其受控程度和功能密切相关，因此，结构评价是衡量知识组织系统的主要方面，包括宏观结构和微观结构。

宏观结构反映了知识组织系统显示形式的多样性，如字顺显示、分类显示、词族显示、分面显示以及是否提供了各种可视化途径、各种显示形式之间的联动等。

微观结构主要体现了概念或语词之间的关系形式，主要指标有：

①概念结构体系的类型，是一维、二维还是多维结构，结构维数越多反映了概念揭示程度越细致。

②层级关系类型，是单层次关系，还是多层次关系，即是否允许一个概念拥有多个父类，多层级等级关系能更加真实地揭示概念关联，体现知识获取的多途径、多入口。

③结构原理的类型，是列举式还是分面式，从结构性能和概念形式化表示角度来说，分面式性能更优。

④实体单元形式，是基于语词单元还是基于概念单元，新型知识组织系统应以概念作为知识单元。

除此之外，还应从应用实践的角度来测评知识组织系统内容资源各方面功能发挥的情况，这个同样可以借助前文所述及的标引专指度、标引网罗度、用户保障率、词强等指标。