9.4 数字信息服务绩效评价的技术与方法
在绩效评价领域，根据已有的经验和研究成果，可以采用的方法和技术十分丰富。即使是数字信息服务的绩效评价，也没有万能的、固定的技术和方法。目前，被普遍采用的或可供借鉴的评价技术与方法，通常被划分为定性评价方法、半定量评价方法、定量评价方法等。但是如果与实际的评价活动进行对照，就会发现这种划分方式其实意义不大。因为现行的绩效评价项目一般不太可能单纯采用定性或定量的方法，多种方法联合运用的情况非常多见。如果从评价活动的阶段和步骤的角度来考察技术和方法，可能会更加具有参考价值。
9.4.1 指标体系的构建技术和方法
绩效评价指标体系的构建是评价活动的中心环节，也是评价活动开展的前提。指标的选择和系统化构架确保了评价活动的目的和基准，一般都需要遵循客观性、代表性、相关性等原则。实际运用中，可以采用的方法如下。
(1)参照现行评价标准或规范性文件
参照现行标准或规范来筛选指标的做法本质上不是一种技术，却是十分有效的途径。其优点是省时省力，不会出现重大失误;缺点是缺乏灵活性和创新性。实际上无论采用什么方法来构建指标体系，事先参考有关标准和规范，应该说都是必要的。目前可以作为参考的标准有:
●国际标准化组织ISO(International Organization for Standardization)制定的ISO11620:1998(Information and Documentation—Library Performance Indicators:信息与文献工作——图书馆绩效指标);
●国际标准化组织制定的国际图书馆统计数据标准ISO2789(InformationandDocumentation—InternationalLibrary Statistics)附录A:图书馆电子服务使用评价，主要针对图书馆电子服务的统计及评价;
●美国国家标准局制的ANSI/NISO Z39.7/1995，在Library Statistics中专门设有“Service and Activity Measures”一节;
●英国文化部2001年公布并实施的《全面高效的现代化公共图书馆——标准与评估》;
●美国图书馆协会出版的《公共图书馆服务成效评估》及《评估学术图书馆的绩效》;
●我国的《普通高等学校图书馆评价指标体系》和《公共图书馆评估指标体系》;
●我国国家图书馆的《国家图书馆绩效评估指标体系》等。
以上都是数字信息服务绩效评价在指标筛选和体系构架环节可以利用的重要参考源。其中有的面向图书馆全局，有的则专门针对数字信息服务，具体操作过程中，都需要做出适当的调整。
(2)层次分析法
层次分析法(Analytical Hierarchy Process，AHP)本来是系统工程中对非定量事件做定量分析的一种简便方法，也是对人们的主观判断做客观描述，将半定性、半定量的问题转化为定量计算的一种行之有效的方法(44)。其基本思路和原理是:把要解决的问题，根据其性质和要达到的目标分层系列化，形成一个递阶的、有序的层次模型;对模型中每一层次因素的相对重要性，依据人们对客观现实的判断给予定量表示，再利用数学方法确定每一层次全部因素相对重要性次序的权值来构造判断矩阵;通过综合计算各因素相对重要性的权值，得到最底层(指标层)相对最高层(目标层)重要性次序的组合权重，以此作为评价和选择方案的依据。
运用层次分析法，可以为信息服务质量的综合评价建立一个包含目标层、准则层和指标层的层次分明的结构模型。其中，目标层是指实施评估的出发点或目标，即以信息服务质量评估为总目标;准则层是指采取某种准则来实现预定总目标所涉及的中间环节，在对信息服务质量进行总体评估时，主要考察服务水平、价值特性、服务效能和服务效益等四个方面的质量，故以这四个方面作为四项评价准则;指标层是指对应于评价准则的各种具体评价指标，整个评估过程就是将待评估的信息服务运用具体指标进行综合评价、比较和计量的过程(45)。
完整的层次分析法，在指标体系的基础之上，还要构造判断矩阵、计算矩阵的特征向量以确定各层评价指标的比例权重、层次排序及一致性检验等。尽管建立指标体系的层次结构模型只是整个层次分析法的步骤之一，但是这种基于分层思想，构造指标体系的做法已经被很多评价研究所采用。因此，层次分析法也可以被视为一种有效的指标体系的构建技术和方法。
(3)平衡计分卡技术
平衡计分卡原本是一种在企业界及政府领域被广泛使用的战略管理和绩效评价的创新方法，近年来，它也引起了图书馆和信息服务领域的关注，被一些专家移植过来，在图书馆管理及信息服务绩效评价中充当构建指标体系的参照工具。平衡计分卡提供了一种全面的评价体系，它分别从财务、客户、内部流程和学习成长这四个视角向组织内各层次的人员传递组织战略以及每一步骤中他们各自的使命，最终帮助组织达成其目标，同时关注关键能力的进展，并开发对未来有利的无形资产(46)。
在平衡计分卡的设计过程中，把组织的战略目标放在管理过程的核心地位，然后描述该战略在组织各个层面的具体体现，并将这些具体体现表述为一套被普遍接受的、层次一致的框架。借助平衡计分卡的思想完成数字信息服务绩效指标的设计，可以为决策者提供更加广泛和全面的决策信息。
平衡计分卡的设计主要由5个部分构成，包括一个中心——组织愿景;4个视角——财务视角、顾客视角、内部业务过程和学习成长，见图9-1。
图9-1 平衡计分卡框架
对于图书馆、信息服务机构这类非营利组织，其中的财务视角还可以更广义地理解为组织对社会的贡献，这样既指经济效益，也可以涵盖社会效益。平衡计分卡可以嵌套使用，即首先设计一个总的平衡计分卡，在此基础上，将总计分卡中的指标分解到组织的二级部门，并形成部门的平衡计分卡(47)，依次类推，形成结构完整、层次清晰的具有较高灵活性的评价指标体系。
(4)CIPP法
CIPP评估法在教育评估中已成功应用，图书馆界在20世纪90年代开始引入。CIPP是背景评估(Context Evaluation)、输入评估(Input Evaluation)、过程评估(Process Evaluation)、成果评估(Product Evaluation)四种方式的缩写。
其中，背景评估，主要考评图书馆制定的规划、目标的科学性、可行性以及具体实施情况，背景评估至少必须包含政策背景、环境背景及需求背景三大要素;输入评估，主要考评为达成图书馆的规划和目标所投入的资源及其运用情况，它特别强调读者需求的满足、经费的合理使用和建立良好的工作组织几方面内容，输入评估至少要包含:工作计划、设备、经费、人力资源等内容;过程评估，主要考评定期反馈图书馆执行计划的有关情况，以调整和指导下一步工作。其目标有三:在计划执行中侦测或预测设计上的缺失、提供计划决策所需的信息、推动计划持续进行;成果评估，主要考评图书馆目标的达成情况(48)。
运用该方法，可以使图书馆评估达到三个目的:一是评量读者的满意程度，旨在了解图书馆的服务效果。二是考虑图书馆内部运作的效率，以了解其运作方式是否符合图书馆的目标;三是计算图书馆付出的人力、物力、财力等能否符合服务的效果，以知悉图书馆的运作效益是否平衡(49)。
(5)逻辑分析法
现有图书馆评估指标体系的最大问题之一是没有理顺各指标之间的逻辑关系。其一，仅仅通过权重系数来体现各指标在评估体系中的重要性程度，而不能体现各指标之间具有怎样的内在联系。其二，现有的评估指标体系还普遍存在各指标内涵互相交叉、重复评估的问题。为解决上述问题，图书馆评估指标体系的构建，必须极力体现各指标之间的逻辑关系。
图书馆评价指标体系逻辑构建的过程，基本遵循建立演绎理论的一般程序，即确定理论的基本知识和内容，明确理论要解释什么现象——A;了解与主题相关的经验知识——B;提出新的中心概念来组织理论命题——C;对中心概念和其他概念做出明确的操作定义，即用变量和指标来表达概念的内涵——D;建立命题演绎系统，用经验资料检验理论——E(如图9-2所示)。
图9-2 构建评价指标体系的程序
具体到图书馆评价，其步骤为:首先，确定评价指标体系最终要解决的问题——“满足社会文献信息的能力”;其次，将与“满足社会文献信息的能力”的相关要素分解为“资源建设”和“用户服务”;再次，提出图书馆评价的中心概念，即文献资源保障效果;复次，确定变量和指标，以及对它们之间的关系进行分析，再用逻辑结果式的形式对文献资源保障效果的定义进行操作，公式表示为:
文献资源保障效果={(现实馆藏数量∩现实馆藏质量)∪［(虚拟馆藏数量∩虚拟馆藏质量)∩共建共享机制∩文献传输能力］}∩(图书馆用户服务水平∪用户接受文献的能力)
最后，就是通过实践来检验指标体系的合理性和科学性(50)。
9.4.2 评价数据的分析技术与方法
(1)标杆分析法
所谓标杆分析(Benchmarking)就是以同行业内的高度竞争者或知名领导者为标杆，针对自身产品、服务与作业流程予以评量的连续过程;是一种确认、建立与达成卓越标准的方法;是一种评量与改善作业流程的全面质量管理(TQM)工具。标杆分析法于20世纪90年代初引入图书馆界，并开始有专门从事图书馆标杆分析的顾问公司成立，如美国的Library Benchmarking International公司。随后图书馆界还出现了一些成功运用标杆分析法的典范，如美国威斯康辛与俄亥俄州图书馆进行的参考服务标杆分析(Wisconsin-Ohio Reference Evaluation Program)、澳洲北领地大学图书馆进行的采编标杆分析(Australian Best Practice Demonstration Program)等(51)。
标杆分析法可分为以下三种类型:内部流程标杆分析(Internal Process Benchmarking)，指同一组织内部不同部门、据点、分支机构的相同作业流程的相互评量比较;外部竞争性流程标杆分析(External/competitive Process Benchmarking)，以组织同行竞争者的产品、服务、作业流程作为评量比较的标杆;功能性流程标杆分析(Functional/Generic Process Benchmarking)，其分析对象不限于同行业内，而是选择某一特定功能和作业流程，针对在这个领域内已经建立卓越性能的机构，进行标杆分析。图书馆标杆分析的具体步骤如下:其一，进行初步分析与需求评估;其二，建立作业流程评量指标;其三，选择标杆分析伙伴;其四，资料的收集与分析;最后，向管理层呈报标杆分析结果(52)。
标杆分析在图书馆数字信息服务绩效评价中的运用，可以为评价数据和结果的分析提供新思路、新视角。此外，它还使数字信息服务绩效评价可以跳出图书馆领域，跨越多机构、多行业，非常适应目前数字信息服务在全社会范围的蓬勃发展现状。除了可以评价数字信息服务构架的合理性，增进服务效益;还可以通过数字信息服务功能和流程上的专业联系，协助达成整体策略目标。
(2)象限分析法
象限分析是一种评价服务质量的图形分析技术，最初运用于营销学相关的服务质量评价。在图书馆服务评价中引入象限分析法，不仅可以评价图书馆服务质量，而且可以动态跟踪服务因子的评价值，及时改进和完善图书馆服务。这一方法将关于服务属性的数据分布于二维平面图，平面坐标轴的一维反映读者赋予服务属性的重要性，另一维则显示读者认为现实服务所具有的属性及程度，形成一个由读者期望与感知组成的二维空间图，其中水平轴表示读者对理想服务的期望，垂直轴表示读者对实际服务的感受，如图9-3所示。根据回收问卷中各项指标被赋予的平均期望值和实际服务的平均得分，决定各对指标落在图中的位置。依据象限分析法，图书馆对用户提供的服务项目可分为四大区域，分别是:(53)(54)
图9-3 服务质量评价——象限分析图(55)(56)
象限1——强势区(S，Strength):高期望值—高满意度的服务项目。在这一区间内的服务，用户认为有价值，期望值高，同时享受图书馆服务的满意度也高。一般而言，这是图书馆的核心竞争力所在。
象限2——威胁区(T，Threaten):高期望值—低满意度的服务项目，在这区间的服务，用户期望高但感知低，用户心理落差较大。在激烈的市场运作中，图书馆在此区域往往最易遭到竞争对手的攻击，成为威胁最大的区域，这是图书馆的弱点所在。
象限3——机会区(O，Opportunity):低期望值—高满意度的服务项目。在这区间的服务，期望低而实际感知高的服务，用户的期望并不高，对服务持怀疑态度，抱着侥幸的心理要求提供服务，却得到较满意的服务，这可以促成用户再次造访，对相应的服务的期望也逐渐提高。
象限4——弱势区(W，Weakness):低期望值—低满意度的服务项目。在这一区间内的服务，用户期望低，对图书馆的服务持怀疑态度，图书馆对该区间的服务缺乏服务能力，不能提供有效服务，导致用户的感知较低。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
