专家评审机制的必要性

9.2　专家评审机制的必要性

9.2.1　专家评审机制概述

专家评审也叫德尔菲法，德尔菲(Delphi)是古希腊的一座城市，位于费西斯境内，帕尔那索斯山南坡，是“神场灵验”的阿波罗(希腊神话中的太阳神)神殿所在地，相传阿波罗神有很高的预见未来的能力。后人就以德尔菲比喻神的高超预见能力，故将其引用。

德尔菲法是在专家个人判断和专家会议调查的基础上发展起来的。专家个人判断法仅仅依靠专家个人的分析和判断进行预测，容易受到专家个人的经历、知识面、时间和所占有的资料的限制，因此片面性和误差较大;专家会议调查法在某种程度上弥补了专家个人判断的不足，但仍存在如下缺陷:召集的会议代表缺乏代表性;专家发表个人意见时易受心理因素的影响(如屈服于“权威”、受会议“气氛”和“潮流”的影响);由于自尊心的影响而不愿公开修正已发表的意见;缺乏足够的时间和资料来考虑和佐证自己的发言，等等。德尔菲法针对这些缺陷作了重大改进，它是一种技术规定程序向专家进行调查的方法，能够比较精确地反映出专家的主观判断能力。

德尔菲法本质上是建立在诸多专家的专业知识、经验和主观判断能力的基础上的，因而特别适用于缺少信息资料和历史数据，而又较多地受到社会的、政治的、人为的因素影响的信息分析与预测课题。实践证明，采用德尔菲法进行信息分析与预测，可以较好地揭示出研究对象本身所固有的规律，并可据以对研究对象的未来发展做出概率估计。

归纳起来，德尔菲法主要有以下五个方面的用途:

①对达到某一目标的条件、途径、手段及它们的相对重要程度做出估计;

②对未来事件实现的时间做出概率估计;

③对某一方案(技术、产品等)在总体方案中所占的最佳比重做出概率估计;

④对研究对象的动向和在未来某个时间所能达到的状况、性能等做出估计;

⑤对方案(技术、产品等)做出评价。或对若干个备选方案(技术、产品等)评价出相对名次，选出最优者。

根据叙词本体演化自身的特点和存在的问题，专家评审方案的应用恰恰能够很好地满足其要求。叙词本体是随着领域、时间、应用环境等的变化而不断发生着变化和演变。叙词增删改，词间参照关系修改校对是必不可少的基本工作，然而叙词本体的词汇本身具有很大的不确定性，对于选择作为叙词的词汇又因人而异，具有一定的随机性和主观性，对于词间的关系，越发复杂，更是变幻不定。专家评审方法以上五个方面的用途，对这一问题的解决提供了较好的思路。

具体的来说，在叙词本体的演化过程中，不同的叙词本体之间动态的互相共享和交换信息，同一叙词本体在演化过程中会出现各种版本，如果不能有效地解决这些动态变化所带来的本体的一致性和兼容性问题，这些用叙词本体所表示的信息将会出现错误或者失效，将无法实现本体的继续共享和重用。因此，如何有效的表达这些本体的动态变化，描述不同的本体版本之间的差异，建立同一本体的不同版本之间的关联等将是非常重要的一些问题。这些有关演化的问题之中，一个重要的问题是叙词本体作为规范性的词表，它自身的词汇、词间关系、词语的描述等都必须具有权威性。因此，对于发现的新词汇，必须经过专家的评审之后，才可以添加到叙词本体之中。叙词本体演化过程中专家评审主要包括专家评审在演化过程中所处的环节、评审专家的组成、专家评审的程序及评审结果的表达这几部分的内容。

9.2.2　保持叙词表本身的规范性

叙词表可分为专业叙词表、多学科叙词表和综合性叙词表。不论是何种类型的叙词表，都必须遵循一定的规范性。叙词的规范化处理包括词义规范，即对同义词、近义词、学名和俗名、不同译名、简称与全称、不同写法等进行选择，对多义词、同形异义词进行限定说明;词类规范，即确定词类的范围，能用作叙词的词类一般要求控制在具有实质意义的名词或动名词的范围之内;词形规范，即对词的繁简体、词序、字母符号等的规定。在叙词表中，所有的叙词都采用了全面的、严格的规划措施，以达到一个叙词与一个概念严格对应的要求，保证叙词作为一种概念标签的高质量。

叙词本体除了本身作为一个叙词表之外，而且利用了本体的技术对叙词表的内容进行扩充和丰富。所以叙词本体在演化时，不仅会涉及叙词的增加、删除、修改这一系列的工作，还会遇到运用技术上去实现叙词本体的过程中遇到的一系列问题，不过这些技术在处理叙词本体进化工作时，归根结底，也是对叙词的增删改的工作，因而，我们可以看到，叙词本体的演化本身就是一个对叙词表进行维护的过程，不仅仅是维护叙词本身，同时也是对技术实现的一种控制过程。

叙词本体演化时，各种词汇及关系的演变，主要是靠爬虫技术自动抓取的，具有很大的随机性，如果对这一过程不加以控制，添加进去的词汇或是关系可能不符合叙词表本身的规范，会带来一系列的问题，最突出的问题是叙词表自身的规范性会不会遭到破坏。这点是毋庸置疑的，语词之间复杂的语义关系，语词的多指向性导致语义的不确定性，语词的复杂性等，在目前的计算机水平下，这些复杂的问题都是人工编制的算法所不能完全考虑或是覆盖到的，因而机器在处理这些问题上不能完全胜任，自然会使得叙词表的规范性受到严厉的冲击。

同时，对于叙词表本身的维护工作，如果是仅仅依靠图书情报领域专家、编辑人员、熟悉计算机操作的人员来完成，这项工作的最终效果可能不会令人满意。尽管这些专家和编辑操作人员会尽量保证词表的质量，比如说为了达到实现这一目标，图书情报领域专家会通过一定数据对词表进行控制，包括标引频率、检索频率以及词表有关数据(如等同率、关联比、参照度等)。无疑这些数据对于词表的维护工作是至关重要的，但叙词表是某一领域或是所有领域的一个专业性较强的词表，对一些专业词汇的增补，如果缺乏专业领域专家的指导意见，可能会犯一些常识性的错误，这对于叙词表的规范性而言，称得上是致命的打击，所以在叙词表的维护中，还应注意征求相应主题领域专家的意见。

虽然我们不能简单地将规范性的控制作为叙词表的全部，不过规范性无疑是一个叙词表灵魂，如果连规范性都不能保证的叙词表，我们无法称其为一个叙词表。从以上两点，我们可以看出，专家评审机制对于叙词表规范性的控制起着很大的作用，在叙词本体演化中占据着重要的位置。

9.2.3　变更需求的确定

任何一种叙词表，都要随着事物本身的发展变化以及人们对客观事物认识的步步深入而不断修订，以自然语言的词汇为基础的，以语词直接表达文献主题概念的叙词系统。更有必要不断补充新词和删除某些多余无用的词，以及调整叙词之间的语义关系，以适应这种变化。此外，叙词表之所以必须不断修订，还因为它不可能一经编成，就成为一个完整无缺的体系，而需要有一个在使用中不断完善的过程。所以，对叙词表不断地进行修订，是使叙词表保持高度质量的重要措施。

在叙词表进行演化中，确定叙词表的变更需求是第一个环节，也是至关重要的一个步骤。变更需求的表达，我们可以将其分为对叙词本体增、删、改三个方面的需求。

在增补新的叙词本体时，必须对其实用价位进行审查，考虑这个词目前应用的广泛性、热点程度、是否规范、是否该作为叙词、有没有可替代词汇等，这些不确定性因素，自然为添补新的叙词本体带来了不少的麻烦，为此，最好在试用一段时间之后再作决定。

删除叙词表中原有叙词，一般只限于在标引中从未被使用过并已查明确属无用的词，对于要删除叙词的确定也是比较麻烦的事情，需要考虑该词汇是否随着时代的变迁和发展，逐步被某种形式所替代，渐渐弃之不用，只有当这个词汇对于标引工作已经完全没有价值的情况下，才能考虑将这个叙词删除，同时还得做好记录存档工作，如果出现误删，也能及时恢复。

修改叙词表中的原有叙词，可以是合并已被使用过但频率过低或重复多余的叙词，可以是订正已被使用过的叙词的字面意思，可以是修正词与词之间的参照关系，不过无论是哪种情况，都得考虑做这些修订的前提，也就是为什么要做这些修订，这些工作的完成既得考虑叙词本体的使用情况，也得考虑叙词语义的变化情况。

我们从变更需求确定的三项内容中，可以看出一个共同点:变更需求的确定，是依赖于外部条件变化的。而对于这些外部变化条件的把握，离不开相关领域的专家的支持，无论是叙词本体增删改的哪种工作，都是在真正把握叙词本体的使用情况和叙词本体语义及其变化情况的基础上，做出的变更决定，学科领域专家对该领域知识的透彻了解和把握，正好弥补了这一缺陷，无疑可以作为管理叙词本体演化的中坚力量。同时，我们也可以看到，在计算机上，通过编制一定的程序，加上高效的算法，程序可以自行发现新的叙词本体，统计词表中叙词本体使用情况，从而找出已经弃之不用的旧词，不过这些都是在变更需求确定之后由计算机来执行的任务，主要目的是为了减轻人为发现新词和旧词的工作量，而对于变更需求的确定，却显得无能为力。因而，对于变更需求的确定，少不了具备该领域丰富知识的学科领域专家的参与，也极力需要他们的参与。

9.2.4　保持一致性

前文已经提到，叙词本体演化的目的是根据变更需求执行相应的变更操作，同时保证演化前后叙词本体的一致性。通常，一致性是指某种论断符合历史的结论，也满足当前的事实，而不一致性指的是历史的结论与当前的事实相互矛盾。从本体论意义上说，一致性指术语之间关系逻辑上应一致;不一致性是指本体的一部分与其他部分冲突，如将粮食作物和经济作物作为作物类中两个不相交的分类，如果出现小麦既是粮食作物，又是经济作物，那么就产生知识不一致。

借鉴本体论的一致性定义，我们说叙词本体的一致性，包括本体定义和基于框架的知识性定义一致性，是指用其他的定义和公理不能推出相矛盾的知识。一般来讲，知识库中的知识是否具有一致性，应该看叙词本体以及其词表是否准备以下条件:

①定义内涵一致性。即形式化后的定义应该与非形式化前含义一致。如，概念狗，形式化后的狗定义与猫定义一致，这就导致前后不一致性。

②定义外延一致性。无论从形式化还是非形式化上说，定义通过解释(包括推理)后不存在与当前冲突。如，猫会捉老鼠，但不能有老鼠会捉猫解释。

③公理一致性。它是指公理系统不会推出相互排斥的论断。

从知识利用角度来看，知识库中的知识能否正确地指导用户做出正确的决策，保证知识利用过程中不会出现混淆的结论。总之，一致性是评价一个基于本体的知识库重要标准，知识不一致导致提供服务是不可靠的，从而知识正确性受到了威胁。所以维系叙词本体的一致性是本体演化过程中要解决好的一项重要工作。

在叙词本体演化的过程中，捕捉到变化的叙词本体之后，必须确定为了保证本体一致性而产生的额外变化，同时要形式化和显式地表示本体的变化，在任何的变化之后，会有一个变化传递的过程，这一系列的叙词本体演化过程，都会使叙词本体一致性发生变化。

虽然对于其中的某些动态变化的一致性控制可以通过编制相应的程序得到一定的控制，但是，在动态领域本体的变化检测以及本体模型演化和传播问题的一致性控制机制上，仍然没有能够提出一种较好的思路和方法来给予解决，从而在一定程度上限制了领域本体应用上的灵活性和时效性。这一过程需要较大程度的人为方式来进行协调，特别是熟知某学科领域的专家参与到叙词本体演化中来，只有领域专家才具有特定领域的丰富知识，对于叙词本体的概念模型以及其中蕴涵的公理更为了解，他们所具备的这些能力正好与叙词本体一致性控制的需求相匹配，因而，叙词演化中叙词的一致性控制也亟待引入专家评审机制。

9.2.5　控制影响范围

在第4章，我们在分析了目前流行的本体编辑工具特点上，如Protégé、Ontoedit、OilEd、KAON等，选用Protégé作为我们的叙词本体项目构建的一个编辑工具，这个工具本身提供执行本体变更的能力，解决了部分本体演化的功能。文献Ontology Evolution within Ontology Editors对大部分本体编辑工具进行了分析，其中包括Protégé，文中指出它们所提供的变更执行能力还较为薄弱。这些本体编辑工具的变更执行策略通常较为简单，它们一般会为每一个支持的变更类型预定义一个执行策略，而且这个执行策略追求的往往只是逻辑上的简单性。这意味着变更在执行时不会考虑造成的影响等复杂因素，使得得到的结果往往并非是最优的。例如我们对一些概念类做些变更，绝大多数本体编辑工具都会选择删除所有子概念来保证变更后本体的一致性。这种解决方案虽然实现简单，但它通常意味着无法得到最好的结果。根据前文关于本体演化的分析，可以看出将这个概念类的所有子概念变为其祖先的子概念就可以有效减轻变更造成的影响，从而得到更好的变更结果。

显然这些编辑工具的自动变更功能并不能妥善的解决本体演变时带来的影响，如果在每一个变更之前，将这个变更的影响列表通过一定的方式提交给学科领域专家。学科领域专家凭借自身扎实的专业知识，再加上丰富的经验，在理解了这个列表的含义之后，确定是执行或是取消这个变更。这种方式能够非常有效的解决叙词本体在演化过程中带来的影响问题，特别是当本体规模较大时，在整个叙词本体及其组成元素间的关系复杂多变的情况下，更是少不了特定学科领域专家的支持。同样，对于一些跨学科的叙词本体词条的引进，机器本身并不能有效地识别这类词条的正确归属，词条之间的多变的语义关系也显得无能为力，不同领域专家拥有着不同的知识背景和不同的认识，他们可以在相互协商讨论的基础上，得出一套最优解决方案。对于变更的影响，学科领域专家可以更好的识别各类影响的大小，正确的对这些影响进行归类，这些工作对于未来采用一定的机器算法来控制叙词本体演化的影响也能提供一定的指导。