信息资源共享系统绩效评估理论与实践研究进展

信息资源共享系统绩效评估理论与实践研究进展⁽¹⁾

肖希明　戴艳清　张新兴

(武汉大学信息资源研究中心)

【摘　要】文章在大量文献调研的基础上，从信息资源共享系统绩效评估的作用、评估要素、评估方法、评估指标体系、实证研究以及最新的实践进展六个方面，对2000年以来国内外信息资源共享系统绩效评估领域的理论研究与实践进展进行了系统阐述。

【关键词】信息资源共享系统　绩效评估　理论研究　实践　进展

Research Progress on Information Resources Sharing System Performance Evaluation Theory and Practice

Xiao Ximing，DaiYanqing;Zhang Xinxing

(Center for the Studies of Information Resources of Wuhan University)

【Abstract】On the basis of extensive literature research，thispapermakes a systemic review on theoretical researches and practical development in the areas of performance evaluation of information resources sharing system since 2000 at home and abroad，involving the six topics as follows：the function，appraisal essential factor，appraisal method，appraisal indicator system，empirical study and recent practical development.

【Keywords】information resources sharing system performance evaluation theoretical research practical development

进入新世纪以来，随着信息技术的迅速发展和社会信息化进程的加快，信息资源共享在全球越来越广泛深入地开展。在国外，以OCLC、OhioLINK、RLIN等为代表的信息资源共享系统卓有成效，在国内，信息资源共享近年来也取得了实质性的进展，CALIS、CSDL、NSTL等国家级的信息资源共享系统成功启动并运行。各国对信息资源共享系统建设都十分重视，投入不断增加。而与此同时，信息资源共享系统运行的效率、系统建设和维护的投入产出、系统提供的服务所产生的经济效益和社会效益、用户获取和利用信息资源的满意度等信息资源共享系统绩效评估问题也成为业界关注的问题。本文拟对近年来国内外信息资源共享系统绩效评估理论与实践研究进展进行梳理，以期为信息资源共享系统绩效评估提供某些参考。

1　关于信息资源共享系统绩效评估作用的研究

绩效评估由效力与效率评价、资源使用评价、服务质量评价整合发展而来^［1］，是“运用数理统计、运筹学原理和特定指标体系，对照统一的标准，按照一定的程序，通过定量定性对比分析，对项目在一定经营期间的经营效益和经营者业绩做出客观、公正和准确的综合评判”。^［2］信息资源共享系统绩效评估则是“根据信息资源共享系统绩效评价指标体系，以事实和数据为依据，通过定量定性对比分析，对信息资源共享系统的有效性和运作效率是否达到预期目标做出客观、公正与准确的评判及分析”。^［3］

作为信息资源共享系统发展的重要环节，绩效评估是政府科学决策、财政投资绩效管理和社会公共投资项目加强公众监督的需要^［4］。其目的是实现系统目标，使信息资源共享系统实现规范化管理和良性循环，实现以评促建、以评促改、以评促优，提高系统满足用户需求的能力，推动信息资源共享的进一步发展^［5］。

绩效评估可以在连续、快速和剧烈的变化环境中支持策略制定和策略调整，如果成功实施，便能以经济的方式促进共享系统连续不断地提供以客户为中心的高质量的服务，因而是证明信息资源共享系统服务价值和实现系统目标的手段^［6］。Anu Nuut具体分析了绩效评估的作用：①评价——评价信息资源共享系统运作效率;②确定基准线——测试、确定信息资源共享系统存在差距的环节和高风险区，加强问责制;③管理——改进系统决策，减少风险，解决系统中存在的问题，评估系统用户需求;④比较——通过磋商，产出与投入比较，对信息资源共享系统各要素进行统筹规划、防止重复;⑤制定战略——制定系统预算，规划项目，设定目标，确保共享系统成效^［7］。

2　信息资源共享系统绩效评估要素研究

要素是指构成事物必不可少的因素，每一个要素都是组成系统的基本单元。从不同的角度来看，信息资源共享系统绩效评估要素的构成是不同的。

图书馆联盟是信息资源共享系统的典型形式。王鑫认为，图书馆联盟绩效评估的目标应定位在评估联盟运行过程的有效性和各联盟馆对联盟运行过程的满意程度，以及评估联盟对实现各联盟馆目标的贡献和联盟目标的实现程度。以该目标定位为基础，图书馆联盟绩效评估的评估要素应是财务、用户、内部业务流程、学习与成长四个方面。相应地，该文借鉴平衡记分卡的方法，来评估图书馆联盟给各成员馆这四个方面带来的变化^［8］。

杨梁彬等对CALIS评估在宏观和微观上进行了探讨。从宏观上，CALIS绩效评估应该包括各个子项目建设情况、成员馆的资源建设情况、成员馆提供的服务情况等;而从微观上，则包括门户网站、资源保障率的评估等^［9］。肖珑、李浩凌等则从CALIS数字资源评估的角度，在确定评估要素时强调资源的联合建设与共享评估，包括：①通过集团采购或者各馆单独采购引进的国内外文献数据库;②通过馆际合作或者各馆单独加工建设的数字资源;③资源的共享体系和共享能力。与之相对应，作者认为，其评估的具体内容包括①数量和规模评估;②内容与质量评估;③体系与结构优化评估(包括学科结构、类型结构、级别结构、文种结构、媒介结构、来源结构);④数字资源获取与信息组织能力评估;⑤可持续发展能力评估(具体包括资源发展战略评估、永久使用评估、存档);⑥效益评估(包括资源的经费投入、资源的使用情况、资源的成本核算、资源的文献保障率);⑦资源共享能力评估(包括资源共享评估、服务共享评估)。^［10］

史永强和齐玉强结合天津高校数字化图书馆建设实践，从建设项目投资效益的角度分析，认为图书馆联盟的绩效评估应包括联合图书馆自动化系统(Unicorn Consortia)建设效益分析(包括软件购置经费、设备费用、管理费用、使用效益)、电子文献资源联合建设效益分析、中文图书版本库建设效益分析、读者服务体系建设效益分析、图书馆工作人员联合培训效益分析和投入产出分析等^［11］。

在国内，有的研究者对信息资源共享系统绩效评估的要素进行了深入的分析。李卓卓认为，从不同的视角出发，信息资源共享系统绩效评估的要素也各不相同。第一，从系统论的视角来看，McClure率先提出信息资源共享系统有六大绩效评估要素：①用户——利用信息资源共享系统网络的用户数量、类型和频次;②成本——花费到信息资源共享系统实际运作的财政资本的数量和类型;③系统网络传输——整个信息资源共享系统传输的数量和类型;④利用——支撑信息资源共享系统运作的利用数量和类型;⑤服务——信息资源共享系统所提供的服务和实际的利用;⑥支持——信息资源共享系统管理者为用户利用所提供帮助的类型。也有学者将图书馆联盟的绩效评估要素确定为读者满意度、服务效果、信息获取、联盟敏捷性、盟员合作能力、联盟效益六个要素，其中前三个为定性指标，后三个为定量指标。系统观的信息资源共享系统要素确立的关键是要将评估的要素覆盖到信息资源共享系统的各个方面，用静态的要素反映绩效动态的变化以及如何确立要素之间的关系来反映和体现评估的目标。第二，从信息资源共享系统资源体系的视角出发，有的学者将资源的可知晓性(Accessible)、可获取性(Acquirable)和获取便利性(Attainable)作为考量信息资源服务共享水平的关键(简称“3A要素”)。资源观强调的是信息资源共享系统理想状态下的静态“能力”，而弱化了系统的实际动态变化“绩效”。第三，从功能观的视角出发，相关学者认为信息资源共享系统绩效评估要素应包括：①藏书协调和合作资源建设;②馆际互借和文献传递;③电子资源集团采购;④联机合作编目;⑤联合参考咨询;⑥系统资源共享;⑦联盟管理和交流。功能观是关于信息资源共享系统绩效来源的绩效评估，能有效反映系统具体共享活动的绩效，不过在某种程度上，它分割了系统整体的功能对系统。这三种视角虽然侧重点不同，却为信息资源共享系统绩效评估要素的确定提供了丰富的思路^［12］。

在国外，对信息资源共享系统的绩效评估更多的是对数字图书馆的评估。数字图书馆是网络时代信息资源共享的产物，因而对数字图书馆的评估可以认为是对信息资源共享系统的绩效评估。Norbert Fuhr等认为数字图书馆绩效评估包括三个方面的内容：①可用性(即用户与系统之间交互程度)，它可以帮助用户熟练有效地操作系统，以其喜好的方式使用系统所有可用的功能;②有用性(即用户与内容构成的关系)。内容的可用性与用户需求的相关性是一个数字图书馆是否有用的主要原因，这种相关性转化为实际意义上的相关性，称为资源类型和标准的相关性以及检索任务的相关性;③功能(即内容与系统的关系)系统功能的发挥与内容的设计、结构和表现形式息息相关^［13］。

Alireza等与Norbert Fuhr等人的观点有异曲同工之妙，他们认为，数字图书馆评估包括四个方面的内容：可用性(Usability)、功能(Functionality)、可获取性(Accessibility)以及质量(Quality)评估^［14］。

首先，他们指出，数字图书馆评估的重点主要在可用性研究上。可用性是多维度的。在“因特网组织标准”中，规定有用性的定义为“一种产品被特殊用户，在特殊的环境中使用并有效、高效达到其特殊的目的”。据Dalrymple and Zweizig(1992)和Hert(2001)的观点，对于有用性评估，其目的在于评估用户对项目有何种反应，允许用户对资源表达个人看法，如满意度、可用性、价值、帮助性、利益、困难、效率。在已完成的有关可用性研究中，像Van House et al.(1996)，Bishop et al.(2000)和Kassim and Kochtanek(2003)等，运用观察法和调查法，试图去了解用户的需求，找出问题和特征所在，以评价所有用户的满意度。

其次，Alireza等还非常重视功能评估。功能是指数字图书馆完成信息服务和提供其设计预期服务内容的程度。Bertot(2006)认为，功能测试从整体上或部分决定数字图书馆能够完成预期活动的程度。对功能评估的理论和实践研究最多的学者有Hill(2000)，Wallace(2001)，Moen and Murray(2002)，Bertot(2002)，Bertot(2003)，Hartson(2004)and Clark(2004)。此外，DLs，Zabihi(2006)在最近的研究工作中，将用户需求和用户可以从数字图书馆所获取的信息联合在一起，进行了一项以用户为导向的研究，可以决定用户对于数字图书馆功能的需求。结论表明，用户的期望如下：数字图书馆的书和文章中的内容应该能够搜寻并获取;数字图书馆应与其他图书馆进行链接;图书馆应该展示所有可获取信息项目的细节;用户应该可以保存他们之前的搜索记录—用户可以浏览其他用户对于数字图书馆项目的反馈消息;数字搜索引擎应该直接带领用户找到其实际搜索的内容;数字图书馆应该对其资源进行主题分类，以及种类分类，比如，期刊和书籍;当预订的资料可用时，数字图书馆应该及时发送电子邮件或SMS告知用户;所有由实体图书馆提供的服务，数字图书馆也应该提供;在相关的信息搜索阶段，数字图书馆应该嵌插帮助内容，以指导用户顺利进行信息搜索活动。

信息的可获取性是数字图书馆绩效评估的第三项内容。有用性和可获取性是不同的。可获取性意味着使数字信息内容可以获取并能被弱势群体所利用(Nadler and Furman，2001)。做到这一点，数字图书馆必须以一种接纳所有用户(包括残疾人)的方式来提供其部分甚至所有信息和服务，从视觉、听觉、知觉和其他方面。Bawden和Vilar(2006)认为，可获取性是指使所有服务被大范围内的用户立即使用和获取。

最后，质量评估也是研究者们非常关注的一个问题。他们重视一些特征如响应时间(效率)，迁移成本(保护性)、服务失效的次数(信息获取的可靠性)的评估。

应该指出的是，数字图书馆虽然以信息资源共享为目的，但是，数字图书馆绩效评估更多关注的是数字图书馆本身的资源、功能与服务。这种绩效评估与若干图书馆通过开展合作与协调，形成信息资源共享系统，从而带来的资源与服务效益，以及给参与成员带来的减负效益的评估还是有区别的。

3　信息资源共享系统绩效评估的方法研究

信息资源共享系统绩效较之一般组织绩效的评估具有更大的复杂性和难度，目前，信息资源共享绩效评估方法较有代表性的有：多指标综合评价方法、层次分析法、德尔菲法、抽样调查法、主成分法、因子分析法、DEA法(数据包络分析)等^［15］。

对于一个某个信息资源共享系统的绩效评估，如何从众多的评估方法中选择出合适的方法加以评估，得到客观合理的评估结果呢?杨梁彬等从各种评估方法和特点出发，对其适应领域总结，如表1。如果希望找到一种最优的评估方法，可以采用等级相关系数法对于不同评估方法所得的评估排序结果计算两两之间等级相关系数，如果某方法的结果与其他方法结果之间的等级相关系数都较大，则认为这一方法最优，也就是用该方法评估结果作为最终的评估结果。

表1　评估方法适用情况汇总表

对于信息资源共享系统绩效评估方法的适用性问题，卢娅等在介绍CIPP(即背景评估、输入评估、过程评估、成果评估的缩写)、标杆分析法、平衡记分卡、绩效参考模型法等四种评估方法的基础上，提出了以下观点：CIPP有利于决策制定，适用于信息资源共享系统尝试进行绩效评估的阶段以及开展常规性的绩效评估活动;标杆分析法是以最好的信息资源共享系统为参照体进行的评估方法，有利于信息资源共享系统的持续改进，适用于系统阶段性的绩效改进;平衡记分卡是一种基于战略管理的方法，适合于在某一阶段内系统和成员围绕特定战略的绩效评估;而绩效参考模型法较为全面，适合于系统进行全流程的绩效评估^［16］。

王芬林等依据不同标准对文化共享工程绩效考评进行了分类。①比较法：通过对绩效目标与绩效结果、历史情况和考评期情况、不同单位和地区同类支出等指标的比较，综合分析考评绩效目标完成情况。②因素分析法：通过分析影响文化共享工程目标、结果及成本等内外因素，综合分析考评文化共享工程的绩效目标完成情况。③公众评价法：通过专家评估、公众问卷及抽样调查，对各项绩效考评内容完成情况进行打分，并根据分值考评绩效目标完成情况。④成本效益分析法：将文化共享工程在一定时间段的支出与效益进行对比分析，考评绩效目标的完成情况^［17］。

王鑫认为图书馆联盟绩效评估方法较有代表性的有客观评估法、主观评估法、主客观综合评估法以及基于平衡记分卡的评估方法。①客观评估法。主要采用如生存、终止、持续期、财务等客观容易计量的指标来衡量联盟的绩效，这种方法主要采用如馆藏、读者人数、费用支出、服务站点等客观容易计量的指标来衡量图书馆联盟的绩效。不过，图书馆联盟绩效评价指标体系中也有不少难以量化的指标，如用户满意度、服务控制能力等非客观性指标，这些指标的评估在客观评估法中无法体现出来。②主观评估法。主要是通过被调查人对联盟的满意度、联盟目标的实现程度、联盟对盟员能力的提高程度、联盟对盟员风险的降低程度、联盟对盟员各项经营指标的改进程度等衡量指标进行打分来评估联盟绩效。在图书馆联盟领域，主观评估法也被广泛应用，比如美国著名的地区性图书馆联盟OhioLink采用LIBQULA的评估方法对OhioLink的成员馆的用户进行了调查，从信息的存取、服务的效果、图书馆场所、自我控制能力四个方面评估图书馆联盟的服务质量。这种主观评估方法解决了评估联盟绩效时许多非客观性指标难以衡量的难题，但是，该评估方法的结果会直接受到被调查者的知识结构及偏好的影响，被调查者不同，得出的结果可能差别也很大。③主客观综合评估法。在联盟绩效评估的实践中，越来越多的学者都使用主客观综合评估法，如在评价图书馆联盟时把营运成本与读者满意度等主客观指标结合在一起，对图书馆联盟进行绩效评价。图书馆联盟绩效评估从单一指标向多指标转变，主观评价和客观评价的结合，代表了图书馆联盟绩效评估方法的发展趋势。④基于平衡记分卡(BSC，Balanced Score Card)的评估方法。在对战略联盟绩效的研究资料中，很多都是采取基于平衡记分卡的评估方法。“平衡记分卡提供了一种全面的评估体系，它分别从财务、内部业务流程、学习与成长四个视角向组织内各层次的人员传递组织的以及每一步骤中他们各自的使命，最终帮助组织达成其目标^［18］。

事实上，以上各位研究者的绩效评估方法体系取决于不同的分类标准。对不同信息共享系统来说，其方法的适用程度也是参差不一的。因此，应该针对多样化的信息资源共享系统采取不同的评估方法，才能达到预期的效果。

4　信息资源共享系统绩效评估指标体系研究

信息资源共享系统绩效评估指标是指反映绩效评估对象某一特征的概念及其数量表现，绩效评估指标体系则是根据评估目的的需要，能够全面系统地反映信息资源共享系统的评估对象的较为完整的、相互联系的评估指标的集合^［19］。信息资源共享系统一般具有庞大的系统结构，包含了人员、设备、技术、信息资源等多种因素，构建绩效评估指标体系是一项浩繁的工程，是目前信息资源共享系统绩效评估研究的焦点，国内外都对此进行了一系列的研究。

4.1　国内研究

绩效评估指标又称投资效益评估指标。信息资源共建共享投资的领域很多，范围很广，不同的投资领域(项目)都会产生经济效益、生态效益和社会效益。有的学者从上述三方面构建信息资源共建共享投资效益评估指标体系(见表2)。从指标内容看，既有定量指标又有定性指标，既有直接效益的评估指标又有间接效益的评估指标^［20］。这套指标体系将信息资源共享系统的投资效益划分为经济效益、生态效益和社会效益三方面，并分别设计下级指标的做法为信息资源共享系统绩效评估提供了一种有益的思路和方法。

表2　信息资源共建共享投资效益评估指标体系

张璇、肖希明构建的评估信息资源共享系统绩效的指标体系包括三个层次。第一层由资源建设和资源利用效率、直接服务效益和延伸服务效益、减负效益和社会效益6个一级指标组成，第二层由18个二级指标组成，第三层由40个三级指标组成。通过对NSTL进行实证分析，对评估指标体系的科学性和可行性进行了验证^［21］。该指标体系遵循评估指标选择的原则选取有意义的绩效评估要素，整体性、综合性较强，并且符合数字环境下信息资源共享规律、切实可行。

图书馆联盟是信息资源共享系统一种重要的组织形式，因而对图书馆联盟绩效评估指标体系的研究实际上就是对信息资源共享系统绩效评估指标的研究。常红将反映图书馆联盟绩效的各类信息与资料进行归类与整理，提出了包括读者满意度、服务效果信息获取、联盟敏捷性、盟员合作能力和联盟效益6个一级指标和20个二级指标的指标体系^［22］。王鑫借鉴基于平衡记分卡的战略联盟绩效评估框架，在平衡记分卡财务、用户、内部业务流程、学习与成长四个方面的基础上，增加了联盟成员层面，把联盟成员因素作为修正因素来评估图书馆联盟绩效，并在此基础上设计了相关的二级指标^［23］。这一指标体系是对传统绩效评估方法的一种突破，但是也存在一些缺点，如指标间的因果关系很难做到真实、明确，部分指标的量化工作难以落实，实施成本大等。

徐晓林在层次分析方法的基础上，建立了图书馆联盟绩效的多层次评价指标体系。该指标体系在目前的信息资源共享系统绩效评估指标体系构建研究中具有一定的代表性，并且指标层次清晰，涉及的内容也比较全面，包括了图书馆联盟战略整合能力、组织协调能力、服务控制能力、敏捷性、用户满意度5个一级指标，21个二级指标，35个三级指标^［24］。王芬林以设计依据、遵循原则、组织实施为立足点，根据考评内容，从业务考评和财务考评两个方面设计构建了文化共享工程绩效考评指标体系，并且以文化共享工程国家中心为例构建了绩效评估指标体系^［25］。该指标体系共有四级，其中二级指标就有立项目标完成程度、立项目标的合理性、项目验收的有效性、项目组织管理水平、项目的社会效益、项目可持续性影响、资金落实情况、实际支出情况、财务信息质量、财务管理状况10项，而且规定了各级指标的分值。该指标体系为信息资源共享系统具体项目的绩效评估提供了一个很好的典范。

有的学者根据国外已有相关研究总结出22个可用于数字图书馆绩效评估的指标，并将这些指标分为六大类：用户可获取的资源类、电子资源和服务的使用类、电子资源和相关基础设施的费用类、用户培训类、专门从事电子和网络资源服务的图书馆员类、用户满意度类。并以“211工程”高校数字图书馆为研究对象，以问卷调查为主要研究方法，对这些指标在我国的适用性进行了调查和分析。调查结果发现“22个指标中的大多数指标已经或正在被较为普遍地使用，在尚未开展评估的图书馆中，大多数指标也都得到了较为广泛的认可”^［26］。该研究是目前国内较少的实证性研究之一，为信息资源共享系统绩效评估指标体系的构建提供了一种切实可行的思路，即通过问卷调查等方式筛选出适合于信息资源共享系统绩效评估的指标，进而构建指标体系，有助于保证指标的科学性与指标数据的可获取性。

刘磊等研究者通过对北京、上海、广州、南京等地区高校图书馆信息资源共享系统进行用户调查，并结合专家和主管部门的意见，构建了以定量评估为主、定性评估为辅且动态发展的地区信息资源共享系统评估指标体系，包括资源共享、服务共享、技术共享、科学管理4个一级指标，文献保障、资源整合、资源共知、数据库服务、馆际互借、文献传递、信息咨询、网络互联、互操作、共享范围、易用程度、宣传培训、用户互动13个二级指标。该指标体系适用于“单个高校图书馆资源共享系统综合评估;单个或多个高校图书馆资源共享系统某一专项指标评估，如资源、服务、网络技术、管理等各方面的评估。”^［27］该研究的可贵之处在于综合采用了用户调查和专家调查，并且选择具有代表性的图书馆实体、高校图书馆资源共享系统进行模拟评估与分析，深化认识，完善指标体系。

刘彦丽和梁南燕则通过对中国高等教育文献保障系统(CALIS)、中国高校人文社会科学文献中心(CASHL)和江苏省高等教育文献保障系统(JALIS)三个信息资源共享系统服务绩效评估案例的分析，综合三者绩效评估指标体系的共性，归纳出以下指标：读者满意度，包括对共享体系运作的满意程度、跨馆需求被满足程度、对共享体系成果的满意程度3项二级指标;共建共享体系敏捷度，包括采购速度、文献传递时间、馆际互借满足率3个二级指标;共建共享体系服务效果，具体包括服务范围、服务态度、服务效果;信息共建共享的效益，具体包括采购成本降低率和营运成本降低率^［28］。

4.2　国外研究

国外方面，艾伯特公共图书馆电子网络(APLEN)经过测试提出了一套绩效评估指标体系并被实际采用。这一指标体系由核心指标和选择性指标构成。核心指标包括用户对电子图书馆服务及资源的满意度、每个互联网工作站服务人数、电子参考咨询占所有参考咨询的比例、图书馆网站与图书馆目录的虚拟访问量、公共技术用户培训会议的数量、用户主导的数据库会议的数量等;选择性指标有图书馆网页访问量、员工培训、图书馆用户使用因特网的原因等。此外Bruce T.Fraser等认为APLEN应该根据需要增加附加的绩效指标^［29］，体现了国外信息资源共享系统绩效评估指标体系强调可操作性的特点，很值得国内研究借鉴。

由英国电子图书馆项目资助，中兰开夏大学图书馆与信息管理中心的Peter Brophy等主持的M IEL2项目电子图书馆的管理信息系统和绩效评估，制定了电子资源服务评估指标体系，包括5个方面：整体、服务质量/用户满意度、传递、效率、经济。该项目是世界范围内较早进行信息资源共享系统绩效评估的研究项目，项目制定的电子资源服务评估指标体系为共享系统服务绩效评估提供了一个框架，具有很重要的参考价值。

欧盟图书馆信息通信计划中的图书馆绩效评价质量管理系统EQUINOX项目设计的数字图书馆绩效评价体系包含14个指标，分别反映了电子资源的使用、费用、配套设施、用户培训、用户满意度等，现已被英国的高校数字图书馆和复合图书馆广泛采用^{［30］［31］}。EQUINOX项目致力于推进信息资源共享系统绩效评估指标的国际通用化，设计绩效评估指标体系并被广泛采用，初步实现了其初衷。

信息资源共享系统绩效具有多因性、多维性和动态性三重特征，只有从发展变化的角度去研究和考察信息资源共享系统绩效的各种影响因素，制定能够揭示其错综复杂的关系及其影响方向和影响后果的指标，才能客观地反映实际情况^［32］。同时，信息资源共享系统绩效评估指标体系有着很强的导向性，它将在很大程度上决定评估的客观性和可靠性。在构建信息资源共享系统绩效评估指标体系时要做到以国家信息化指标体系为指导和依据，根据国内信息资源共享系统的现状和特点，参照国外的相关成果和工具，确定符合中国国情的绩效评价指标体系的设立准则，研究绩效评价指标的类型、内容、层级结构和测算模型。在建立评价指标体系时，宏观上应涉及与系统活动紧密关联的目标任务、管理模式、组织结构、资源和资金配置、投资收益以及反映系统综合能力和过程控制状况等的相关内容;微观上应对系统各项功能和活动，如资源发展、虚拟参考咨询、人员培训、用户满意度等方面均设立定性或定量的专门评价指标及方法^［33］。通过层次分析法、德尔菲法、因子分析法、主成分法等筛选和简化指标，选取有代表性的信息资源共享系统进行模拟评估与分析，增强研究的可操作性，完善指标体系。

5　信息资源共享系统绩效评估的实证研究

在过去几年的时间里，国外在绩效评估领域取得一些实质性进展。ARL统计和评估项目(2003)已成为绩效评估和指标的国际性标准。EQUINOX项目(2002)已在英国产生对数字图书馆和复合图书馆的学术图书馆服务层面的评估指标。COUNTER(2003)项目处理电子期刊和其使用时遇到的困难。

HyLiFe项目(The Hybrid Library of the Future Project)由英国JISC(联合信息系统委员会)资助，是数字图书馆项目第三期工程^［34］。该项目为用户群开发了一系列以用户为导向的电子图书馆界面，用户群包括全日制学生、研究者、分布式环境中的用户以及各种类型的项目组。项目HyLiFe历经三年时间，有7家学术机构参与了该项目。其满足用户需求程度的界面有效性包括三个层面：界面的设计、其提供的服务、信息技术基础设施。评估的最终结果是学生和老师等对该界面持满意态度。

Maureen指出，我们应该非常乐观地认为，“虽然还没有达到理想的效果，但绩效评估已展示其数据收集、分析及其在管理中的应用。通过绩效评估我们还意识到许多问题，我们不仅需要有效理解和使用数据的技巧，还需要懂得其组织结构以便于应用于实践当中”。^［35］

国内信息资源共享系统绩效评估的实证研究相对薄弱。从已有的文献来看，部分研究者对影响力较大的信息共享系统如CALIS、NSTL、天津高校数字图书馆联盟等进行了绩效评估的实证研究。

肖珑等对其设计的指标体系的应用层面及应用方法进行了系统的研究，包括：对单种资源进行评估，如CALIS于文理中心2006年完成的对“EBSCO公司ASP、BSP数据库评估报告”;对单个图书馆的数字资源作整体性评估;对图书馆自建的数字资源进行评估;对CALIS联合共建的数字资源进行评估;对数字资源共享性进行评估，如CALIS集团采购工作组曾三次进行“CALIS引进数据库用户满意度调查”，其中最重要的调查有两项：一是调查成员馆用户对CALIS集团采购库的满意度，二是调查成员馆用户对CALIS引进和各个资源的满意度，包括数据库内容与质量、数据库的使用情况、检索系统与功能等。^［36］

史永强等重点分析天津高校在应用联合图书馆系统、电子资源建设、中文图书库版本建设、服务体系建设及工作人员能力培养五方面的投资效益，探讨电子资源的设入产出，提出在电子资源拥有量，使用率和论文出产率之间存在着正相关系。结果表明，天津高校数字化图书馆在设备费用、管理费用和使用效益上，大大节约了人力物力，并保证了检索效率的大幅度提高;在电子资源联合建设方面，联合建立数据库镜像站，在资金投入、管理人员的投入上大大节约了成本，并扩大了高校用户的访问率;中文图书版本库提供中文图书编目数据并在联合图书馆自动化管理系统上运行，供全市读者查询使用，同时为高校读者提供现场阅览、复印、扫描服务，为高校图书馆提供现场采购图书服务，并与书商进行全面合作，每年投入200万即可保证中文图书查全率达到95%以上，使天津市高校中文图书保障率显著提高;在图书馆工作人员培训方面，有计划、分层次地组织图书馆长、技术骨干和一般工作人员培训，在3年时间内，使各高校图书馆工作人员的服务能力和服务水平得到很大提高，基本适应数字化图书馆建设的需要^［37］。

NSTL外文科技文献资源评价指标体系的总体结构分为三个部分：①文献利用部分;②学术评价部分;③在联合共建共享中缺藏的薄弱学科文献，即NSTL外文科技文献资源建设中的薄弱学科的文献^［38］。潘淑春等对NSTL资源评价指标体系测试的对象数据进行了遴选，选择了综合农业科学期刊62种，畜牧、兽医60种，生物科学161种，食品科学43种，对期刊利用评价、学术水平和收藏评价等指标进行了评价与分析。结果表明，各期刊品种在其学术性、权威性、实用性和共享性方面都得到基本的认定，期刊评价指标基本合理，对满足学术指标较多和利用率较高的期刊基本都位列前端，评价结果符合期刊实际水平和利用效果，达到了预期的测试目标。

6　信息资源共享系统绩效评估实践进展

20世纪90年代中期以后，各国和国际组织开展了一系列有关信息资源共享系统绩效评估的研究项目，召开了一些国际会议，制订了相关的标准和指南，取得了一定的阶段性成果。

6.1　评估项目

美国研究图书馆协会(ARL)的E—METRICS项目(2000—2003)，其总目标是为ARL成员馆制定描述电子信息资源和电子信息服务的统计标准和绩效评估指标。该项目分为三个阶段：第一阶段(2000年5—10月)：了解ARL成员馆对网络化资源和服务的统计、测度的过程和当前的活动状况;第二阶段(2000年11月—2001年6月)：基于第一阶段的研究成果和实地测试，提出一系列适用于网络资源和服务的统计标准和绩效指标;第三阶段(2001年7—12月)编订了一个网络统计和绩效测度数据收集手册^［39］。E-METRICS通过对数据收集技术、统计和性能测量方法的实地测试，经过反复修订，确定了一个包括20项评价指标的指标体系，划分为用户可获取的信息资源、网络资源和相关基础设施的使用、网络和相关基础设施的成本支出、图书馆数字化活动和性能测度5大类^［40］。现在已有49所ARL成员馆采用E-METRICS统计标准。E-METRICS项目的研究过程充分体现了成立项目组进行信息资源共享系统绩效评估研究的优势：雄厚的资金支持、专业的研究团队、缜密的研究规划、权威实用的研究成果。

由英国联合信息系统委员会投资的JUBILEE项目(2000—2002)，侧重于研究通过对用户行为的调查来评估电子信息服务质量。JUBILEE的用户调查主要通过网络问卷调查、面对面直接用户调查、电话调查、电子邮件调查以及特定用户调查等几种方式。经过三年的用户调查、数据分析及评估方法的改进，2002年JUBILEE项目集中了11个英国高等教育院校，6个学科的数据，研发出建立在用户特性基础上的包含标杆基准工具的工具包^［41］。JUBILEE项目最主要的特点就是以用户为调查对象和数据来源，从用户视角对信息资源共享系统绩效进行评估，实施方法简单易行，并且研发出了工具包，为信息资源共享系统绩效评估提供了一种有效的工具。

网络电子资源在线使用统计项目COUNTER项目，启动于2002年3月，目的在于通过简化在线使用统计的记录和交换过程，为图书馆员、出版商和中间商服务。项目最初把电子期刊和数据库作为重点，因此主要适用于研究图书馆。2002年12月，COUNTER发布了行动章程之一，对需要测度的数据元素及其定义、数据报告内容和形式以及数据处理进行了描述。2004年及以后的主要目标则是提高该章程对于其他类型图书馆的适用性^［42］。

受英国高等教育资助委员会(HEFCE)资助，由中央英格兰大学信息研究中心(CIRT)承担的EVALUED项目(2001—2004)，其目标是为电子图书馆评估生成一个通用模型并提供电子图书馆评估的培训和推广。该项目的最终成果是一个在线工具包，包括了评价过程的很多方面，突出了电子信息服务^［43］。信息资源共享系统绩效评估项目研究成果的一种重要形式便是绩效评估模型，并且多以在线工具包的形式出现，屏蔽了复杂的评估原理和程序设计，方便其他共享系统进行使用，凸显了研究成果的实用价值。

信息资源共享系统绩效评估研究的最主要的一种形式就是课题项目，这种形式可获取持续稳定的基金资助，吸引专业的研究团队，并且研究成果具有很强的针对性与实用性，上述研究项目在评估体系、使用统计、数据收集和评估方法上都取得了一定的突破。

6.2　学术会议

国际会议是信息资源共享系统绩效评估研究的另一重要平台。国际会议一方面可以集思广益，另一方面其研究成果一般具有国际通用性或者为世界范围内的信息资源共享系统绩效评估提供标准规范。

Northumbria绩效评估国际研讨会和IFLA馆际互借与文献传递(ILDS)国际会议等都十分关注信息资源共享系统的绩效评估问题。Northumbria绩效评估国际会议主要讨论图书馆和信息服务的绩效评估问题，如2005年8月22—25日在达勒姆召开的第六届会议的议题为图书馆与信息服务的影响与成效：变化的信息环境中的绩效评估^［44］;2009年8月17—20日在佛罗伦萨召开的第八届会议。

议题包括图书馆与信息服务的成效与价值，数字图书馆评估，绩效评估评价等^［45］。

第五届馆际互借与文献传递国际会议的会议录收录了Mary E.Jackson提交的论文“ARL馆际互借/文献传递绩效评估研究”。2003年英国拉夫堡大学图书馆和信息统计小组(LISU)主办了以“统计实践——量度及管理”为主题的绩效管理实践研讨会。美国国家图书馆和信息学委员会(NCLIS)一直从事在线数据库使用统计和报告机制的标准化方面的工作，该组织到目前已经召开了四次研讨会讨论网络绩效评估问题^［46］。

7　结语

网络信息时代，随着信息资源共享程度的提高，信息资源共享系统的绩效评估手段、方法、指标体系建设也将随之更为完善。然而，一方面，国内的实证和实践研究还有待加强。另一方面，在实践中，缺乏统一的标准将是科学绩效评估前进路上的一大障碍。因此，信息资源共享系统绩效评估指标体系的标准化将是未来的研究中亟需解决的问题。

【注释】

［1］Anu Nuut.Evaluation of Library Performance：Current Developments in Estonia［J］.Performance Measurement and Metrics，2006，7(3)：163-172.

［2］索传军.电子资源服务绩效评估的含义及影响因素分析［J］.图书情报知识，2005(6)：66-69.

［3］肖希明，文甜.信息资源共享系统绩效评估的理论意义与实践原则［J］.图书情报工作，2009(19)：10-13，79.

［4］陈洁，章昌平，周力青，吕艳娥，李俊.试论文献信息资源共建共享绩效评估体系的设计［J］.科技信息，2009(13)： 397-398.

［5］刘磊，王启云，穆丽娜，唐惠燕.网络环境下基于需求的地区信息资源共享系统评估研究［J］.图书馆理论与实践，2007(2)：1-3.

［6］Jane Barton.Digital Directions Measurement，Management and the Digital Library［J］.Library Review，2004，53(3)：138-141.

［7］Anu Nuut.Evaluation of Library Performance：Current Developments in Estonia［J］.Performance Measurement and Metrics，2006，7(3)：163-172.

［8］王鑫.图书馆联盟绩效评估研究［D］.天津工业大学.2007：21.

［9］杨梁彬，姚晓霞等.CALIS评估指标体系构架初探［J］.大学图书馆学报，2006(4)：42-47.

［10］肖珑，李浩凌，徐成.CALIS数字资源评估指标体系及其应用指南［J］.大学图书馆学报，2008(3)：2-8.

［11］史永强，齐玉强.天津高校数字化图书馆联盟投资效益分析的几个问题［J］.图书情报工作，2005(12)：43-47.

［12］李卓卓.信息资源共享系统绩效评估要素的分析与确定［J］.图书情报工作，2009(19)：14-17.

［13］Norbert Fuhr，Giannis Tsakonas，Trond Aalberg，Maristella Agosti，Preben Hansen，Sarantos Kapidakis，Claus-Peter Klas，L︶szlóKov︶cs，Monica Landoni，Andr︶s Micsik，Christos Papatheodorou，CarolPeters，Ingeborg Sōlvberg.Evaluation ofDigital Libraries［J］.Int J Digit Libr，2007，(8)：21-38.

［14］Alireza Isfandyari-Moghaddam，Behrooz Bayat.Digital Libraries in the Mirror of the Literature：Issues and Considerations［J］.TheElectronic Library，2008，26(6)：844-862.

［15］杨梁彬，姚晓霞，冯英，陈凌.CALIS评估指标体系构架初探［J］.大学图书馆学报，2006(4)：42-47.

［16］卢娅，李卓卓.关于信息资源共享系统绩效评估方法适用性的探讨［J］.图书情报工作，2009(19)：18-21.

［17］王芬林.全国文化信息资源共享工程绩效考评体系设计构想［J］.图书馆建设，2008(2)：38-41.

［18］王鑫.图书馆联盟绩效评估研究［J］.天津工业大学，2007： 18-20.

［19］刘磊，王启云，穆丽娜，唐惠燕.网络环境下基于需求的地区信息资源共享系统评估研究［J］.图书馆理论与实践，2007(2)：1-3.

［20］陈兰杰，侯鹏娟.信息资源共建共享投资效益评估指标体系研究［J］.情报杂志，2008(11)：18-19，23.

［21］张璇，肖希明.信息资源共享系统绩效评估指标体系的构建［J］.图书情报工作，2009(19)：22-26.

［22］常红.图书馆联盟绩效评价体系构建［J］.图书馆学研究，2006(3)：39-41.

［23］王鑫.图书馆联盟绩效评估研究［D］.天津工业大学，2007： 24-27.

［24］徐晓琳.图书馆联盟运作绩效评价研究［J］.图书馆建设，2006(2)：99-101.

［25］王芬林.全国文化信息资源共享工程绩效考评体系设计构想［J］.图书馆建设，2008(2)：38-41，48.

［26］刘文梅，唐淑娟.我国“211工程”高校数字图书馆绩效评估研究——已有研究提出的指标在我国的适用性［J］.大学图书馆学报，2005(5)：13-18.

［27］刘磊，朱锁玲，李晓红.网络环境下基于需求的高校图书馆地区资源共享系统评估指标研究［J］.图书馆理论与实践，2009(2)：1-6.

［28］刘彦丽，梁南燕.服务绩效评估促进信息资源共建共享的可持续发展［J］.图书情报工作，2008(5)：20-23.

［29］Performance Measures＆Strategies for the Alberta Public Library Electronic Network(APLEN)［EB/OL］.［2009-10-13］.http://www.ii.fsu.edu/content/view/full/6466.

［30］王益兵.EQUINOX数字图书馆服务绩效指标的特征与应用［J］.图书馆理论与实践，2005(4)：89-90.

［31］王咏梅.从研究走向实践的国外数字图书馆绩效评估［J］.新世纪图书馆，2005(1)：75-77.

［32］肖希明.数字信息资源建设与服务研究［M］.武汉：武汉大学出版社，2008.

［33］谢春枝，燕今伟.图书馆联盟绩效评价的研究实践及思考［J］.图书情报知识，2007(2)：96-99.

［34］Maureen Jackson.A User-centred Approach to the Evaluation of a Hybrid Library Project［J］.Performance Measurement and Metrics，2001，8(2)：97-107.

［35］Jane Barton.Measurement，Management and the Digital Library［J］.Library Review 2004，53：138-141.

［36］肖珑，李浩凌，徐成.CALIS数字资源评估指标体系及其应用指南［J］.大学图书馆学报，2008(3)：2-8.

［37］史永强，齐玉强.天津高校数字化图书馆联盟投资效益分析的几个问题［J］.图书情报工作，2005(12)：43-47.

［38］潘淑春，潘薇，李黎黎.NSTL外文科技文献资源评价指标体系研究［J］.农业网络信息，2007(3)：47-51.

［39］刘文梅.国外数字图书馆绩效评估研究述评［J］.津图学刊，2003(6)：37-43.

［40］肖希明.数字信息资源建设与服务研究［M］.武汉：武汉大学出版社，2008.

［41］王咏梅.从研究走向实践的国外数字图书馆绩效评估［J］.新世纪图书馆，2005(1)：75-77.

［42］刘文梅.国外数字图书馆绩效评估研究述评［J］.津图学刊，2003(6)：37-43.

［43］Thebridge，S.，Hartland-Fox，R..Evaluating in the E lectronic World［J］.Library+Information Update，2003，2(3)：48-49.

［44］8th Performance Measurement Conference.［EB/OL］.［2009-10-13］.http://www.northumbria.ac.uk/sd/academic/ceis/re/isrc/conf/pm6/?view=Standard.

［45］8th Performance Measurement Conference.［EB/OL］.［2009-10-13］.http://www.northumbria.ac.uk/sd/academic/ceis/re/isrc/conf/pm8/?view=Standard.

［46］刘文梅，唐淑娟.我国“211工程”高校数字图书馆绩效评估研究——已有研究提出的指标在我国的适用性［J］.大学图书馆学报，2005(5)：13-18.

【作者简介】

肖希明，男，1955年生，武汉大学信息管理学院、武汉大学信息资源研究中心教授，博士生导师。兼任中国图书馆学会学术研究委员会副主任委员，资源建设与共享专业委员会主任委员，教育部高等学校图书馆学教学指导委员会委员，《中国图书馆学报》编委等。主要研究领域为信息资源建设、图书馆管理等。出版著作7部，发表论文110余篇。

戴艳清，女，1982年生，博士研究生。

张新兴，男，1982年生，博士研究生。

【注释】

(1)国家社会科学基金资助项目(项目编号：08BTQ030)“文献资源共享系统的绩效评估研究”课题成果之一。