数字信息服务绩效评价的模式

9.3　数字信息服务绩效评价的模式

数字信息服务绩效评价不是简单地统计服务机构的资源馆藏数量、服务人数以及花费支出等，这些数据和信息无法帮助我们全面而真实地了解用户服务、资源管理和利用等究竟达到一个什么样的水平。就目前已经开展的一些评价实践来看，数字信息服务绩效评价以多种模式来实现，每种模式都侧重于不同的评价需求，并为统计和绩效评价的开展提供了不同的视角。

9.3.1　面向用户对象的服务质量评价模式

这种模式指导下的数字信息服务绩效评价，是将信息的消费者即用户对象，作为评价核心。这种模式的指导思想是，服务质量的评价要根据用户的感知，并着眼于用户的期望，用户的需求和期望是开展优质服务的先决条件，也是衡量服务提供者表现的重要依据。比较常见的以用户对象为核心的服务质量评价方式主要有两种:用户调查和基于SERVQUAL模式的服务质量评价体系。

(1)用户调查

图书情报等信息服务机构经常开展一系列针对用户的调查和访问，考察读者对图书馆服务、系统性能和图书馆与用户交互(参考咨询等)的满意程度。这种方式既适用于传统的图书馆文献服务，也适用于数字环境下的信息服务。其特点是:直接面向用户，程序简单，可以不定期地开展。

用户调查的方法有网络问卷、电话调查、面对面访问、电子邮件以及特定用户调查等。数字环境下，网络问卷和电子邮件是比较常用的。以网络问卷为例，在确定了调查内容和提问后，可将问卷发布在网站上供用户填写，经过一段时间的数据积累，生成统计报表，就可对报表进行数据分析。

虽然目前有些智能化统计及评价系统可以自动生成有关数字图书馆的统计和评价数据，但是网络环境下，记录文件的扩展数据的分析通常会受到技术及法律的限制，智能网络统计无法覆盖诸如数字资源的市场渗透率、用户地址和数字信息服务系统友好性等方面的信息。因而用户调查仍然有其不可替代性。2000年，美国卡内基美隆大学(Carnegie Mellon University)曾经就用户对图书馆网站的喜好进行过专项用户调查。调查内容主要涉及网页的视觉效果、信息组织、可用性及功能等方面，提问形式有选择题和打分题，最后一项内容是用户对网站建设提出自己的建议⁽²⁷⁾。

这种方法的不足在于缺乏一定的理论指导，因而在系统性、科学性、规范性方面稍显薄弱。问卷的设计、数据的收集和分析等环节受主观和人为因素影响的可能性比较大，离科学严谨的绩效评价还有一定差距。

(2)基于SERVQUAL模型的服务质量评价

SERVQUAL服务质量评价模型也主要是采用用户调查表的一种评价模式，根据用户反馈的信息来判断用户的感知与期望之间的差异。与一般的用户调查不同的是，它是在“服务质量的差异理论”的基础上，建立起来的一种科学的服务质量评价体系。正如SERVQUAL模式理论的指导思想所言:“服务质量的评价要依据用户的知觉，着眼于用户的期望，以此来测度服务提供者的表现。质量要由用户来认可。”SERVQUAL及其理论基础，是在20世纪80年代，由美国服务市场营销学家A.Parasuraman、V.A.ZeithamlL和L.Berry提出的。

SERVQUAL模型将顾客感知的服务质量分为五个层面:可靠性——可靠而准确地开展承诺的服务的能力;反应性——帮助用户并提供快捷服务的意愿;保证性——工作人员的知识和礼貌及其传达信用和信心的能力;移情性——对用户寄予关切和个别的关注;可感知性——物质设施、设备、人员和通讯资料的外在形式⁽²⁸⁾。以上五个层面又被分解成22个问题，构成对用户的期望和感受进行具体调查和测度的指标体系。正由于SERVQUAL模型加强了评价指标体系的标准化，因而在信息服务行业中具有相当高的知名度。

SERVQUAL模型的提出，很快受到英美图书馆界的关注，多次在不同类型的图书馆进行服务质量的实验性测评，它在图书馆界的适用性也得到了确认。2003年9月，美国研究图书馆协会(ARL)提出并实施了一种评价图书馆服务质量的研究和开发计划，即LibQUAL+^TM，它就是根据SERVQUAL模型发展而来的，主要包括四个方面的内容:①制定基于网络和Web界面的图书馆评价和分析方法;②制定一种可缩放的、可复制的图书馆评价机制和协议;③确定图书馆提供服务的最佳方法;④建立ARL的图书馆服务质量评价程序。LibQUAL+^TM使用户对图书馆服务质量感知和预期的大量标准化数据更容易获得，还为优化图书馆服务质量评价确立基准指标，是图书馆服务质量评价的一种科学而可靠的工具^(29)(30)。

9.3.2　数字资源使用与服务效益评价模式

20世纪90年代以来，图书馆预算中购买数字资源的经费比例逐年增长。以ARL的统计为例，从1992/1993—2000/2001年间，ARL成员馆投入到数字资源采购的经费百分比从3.6%增长至16.25%，几乎增长了近5倍。根据ARL的106个成员馆的统计结果，所有资源采购支出预算中，花费在电子资源上的成本费用在2001年就已高达1.32亿美元，如果将基础设施和人员支出都计算在内，这个数字还会更高⁽³¹⁾。数字资源是否很好地达到其服务效果及良好的用户满意度，以及数字资源及其服务的介入是否为用户及科研机构的科研产出做出贡献等问题，是在数字信息资源购买预算不断攀升的背景下，一直困扰着数字信息服务领域的一个难题。一方面，图书情报机构需要科学的统计和评价数据，证明其数字资源建设和服务支出的有效性，便于为今后发展数字馆藏和服务争取更多的、持续的资金支持、技术支持和设备支持等;另一方面，数字信息服务机构可以凭借有关资源利用和服务竞争力的评价报告，使其在与数据库供应商进行价格谈判时，依据实际的服务效力和资源利用情况，掌握一定的主动权。不仅如此，数字资源出版商能否提供统计数据、以何种方式提供，已成为数字资源建设与评价过程中一项必不可少的指标，也成为测评出版商服务的一项指标⁽³²⁾。

(1)数字资源使用评价E-Metrics项目

E-Metrics是ARL发起并主持的新评估计划的5个子项目之一。该项目从用户对数字资源的使用及其效益角度出发，为数字信息服务环境中数字资源的使用评价建立了一个科学化的评价指标体系，改变了传统图书馆把馆藏规模作为图书馆馆藏评价的标准。

E-Metrics项目是在网络环境下对图书馆电子资源的利用及服务评价方法的先导项目，它是图书馆和数字资源出版商之间进行合作的良好开端。项目组成立了电子资源出版商工作小组，专门与出版商进行合作以获得出版商的数字资源使用统计数据。参与这一阶段工作的数字资源出版商主要有Academic Press/IDEAL、Bell＆Howel/Proquest、EBSCO、Elsevier/ScienceDirect、GaleGroup、JSTOR、Lexis-NexisnetLibrary、OCLC/First-Search、Ovid、SilverPlatter、ISI Web of Science、HireWirePress等12家。此外，项目组还对出版商在报告中用到的统计数据的定义、术语、具体收集的统计指标、向图书馆报告数据的方法等进行了比对及规范，试图使各出版商提供的数字资源使用报告具备可比性。

此外，E-Metrics项目还通过对数据收集技术、统计和性能测量方法进行实地测试，经过反复的修改和变更，最终确定了一个包括20项评价指标的较为科学的指标体系，划分为用户可获取的数字资源、网络资源和相关基础设施的使用、网络资源和相关基础设施的成本支出、图书馆数字化活动和性能测度5大类⁽³³⁾。该指标体系是从图书馆投入产出的性能评价框架出发而提出的，其中的统计指标和测量方法基本实现了网络环境中研究图书馆数字资源及服务的使用评估，为图书馆电子资源及服务的使用评估提供了可以借鉴的指标⁽³⁴⁾。

(2)COUNTER计划

网络电子资源在线使用统计项目COUNTER(Counting OnlineUsage of Networked Electronic Resources)是一项国际性的由欧美图书馆组织、出版商及中介参与开发并互相遵守的在线电子资源统计标准。COUNTER的目标是研制一系列普遍接受的、国际化的实施规范，用以管理不同种类数字资源出版商提供的联机使用数据，并实现统计数据记录指标和交换途径的规范化。该项目由牛津大学出版社Richard Gedye负责的项目小组于2000年首先提出，2002年12月正式对外发布了《COUNTER实施规范》(第1版)，《COUNTER实施规范》(第2版)草案也在经过一年的试用后于2005年4月正式发行。

遵从COUNTER的要求，供应商必须向用户提供符合标准的使用统计报告。COUNTER对在线使用数据的定义、使用报告的内容和格式、统计和数据处理方法、统计报告的传递等都进行了详细的规范说明。不仅确保了各供应商生成的统计数据的一致性、可靠性和相互兼容性，还确保了数据记录和交换的标准化。

目前，COUNTER已经成为影响广泛的网络数字资源在线使用统计的标准和规范。图书馆等信息服务机构，不仅可以根据出版商提供的遵循COUNTER规范的使用统计报告来决定数字资源的购置和建设，还可以利用这些规范的统计数据为图书馆数字资源的使用评估提供借鉴，从而对数字信息服务绩效做出科学的评价^(35)(36)。

9.3.3　数字信息服务成本效益评价模式

(1)技术服务成本研究

技术服务成本研究(Technical Services Cost Study)，即时间和成本研究(Time and Cost Study)，其目的是分析一个信息服务的组织或机构在单位时间内完成的工作，以及与之相联系的成本效益，通过定期地对时间和成本进行抽样统计，以获得促进人员和资源的优化配置的有效信息。这项评价方法及工具由Dilys Morris开发，即TCA DecisionBase，是一种新型的软件包，主要为技术服务提供成本会计信息，但很快也会涉及图书馆服务的其他方面⁽³⁷⁾。

这种方法采用按时间纵向取样的方案，从周一到周日，每7天为一个样本，跟踪该样本时段内所有工作时间。每年抽取4～6周，确保数据的不断更新。该软件内设标准成本中心(Cost Centers)和任务(Task)种类，但也支持本地个性化定制。软件默认的8个成本中心划分为:5个生产成本中心(Product Centers)，负责提供信息产品和服务;3个管理成本中心(Overhead Centers)，不直接生产产品和提供服务。最终除了形成常规的年度报告以外，还可以生成每周累积报告和针对不同服务提供者的报告(如专家、辅助人员和学生雇员等报告)等。报告的形式既有时间支出报告，也有成本支出报告⁽³⁸⁾。

(2)平衡计分卡(Balanced Score Card)

平衡计分卡(Balanced Score Card)简称BSC，是绩效管理的一种新思路，是一种在20世纪90年代初由哈佛商学院的罗伯特·卡普兰(Robert Kaplan)和诺朗诺顿研究所所长戴维·诺顿(David Norton)发展出的一种组织绩效管理工具⁽³⁹⁾。平衡计分卡不单纯是一种评价工具，它更代表了一种全新的评价思想和管理理念，在企业管理领域影响深远。

严格来讲，平衡计分卡是一种全面、系统的评价模式，并不以财务或成本为评价业绩的唯一指标。平衡计分卡就是以“平衡”为主要诉求点，追求的是财务指标与非财务指标之间的平衡，同时也是在定量评价与定性评价之间、客观评价与主观评价之间、组织的短期目标与长期目标之间、组织的各部门之间寻求“平衡”。但对于图书馆界来说，却恰好可以通过采用平衡计分卡，将成本及财务指标进入到信息服务绩效评价领域，从而拓宽了信息服务评估模式。现在，各国已经有不少图书馆已经开始就平衡计分卡在信息服务机构中的应用进行实验⁽⁴⁰⁾。

9.3.4　数字信息服务产出及成果评价模式

对于数字信息服务机构来说，最重要也是最难以实现的一种评价，就是测度信息产品及相关服务为机构或个人的学习或科研所做出的贡献有多少，以及能发挥多大的价值。近年来，国外公共图书馆领域已经开始普遍使用成果产出评价工具，一些机构图书馆通常也会将自身提供的服务活动与所在机构的成果产出联系起来，而学术图书馆正朝着这个方向努力，试图建立一套工具来证实和评价其自身在学习、科研或机构的产出中所发挥的作用。

(1)学习成效(Learning Outcomes)

ARL的Learning Outcomes Working Group投入了大量时间，帮助图书馆选取一种最佳的方法，来测度和评价图书馆的信息服务对在校学生的学习及成效所产生的积极影响。其中一个首要的问题是明确“学习成效”的定义。

ACRL(Association of College and Research Libraries)在2000年1月18日通过并核准了一项“高等教育信息素养能力标准”(Information Literacy Competency Standards for Higher Education)，包括用户自身对信息需求属性和程度的确定、信息的高效获取、信息资源的判断和收集、信息的有效利用以及对信息利用和获取相关的法律和伦理问题的理解程度等在内的5项标准，22项绩效指标。此外该标准还列举了一系列行为表现，以评价大学生在提高自身信息素养上所取得的成效⁽⁴¹⁾。这套标准的制定，有助于图书馆考察信息服务与所在学校的学术机构对信息服务期望与需求之间联系的紧密程度。在测度用户基本的信息素养的基础上，还可以在特定学科领域内进行评价工具和策略的开发，考察机构或个人的知识创新、学术活跃性、成果发表和学术出版等情况。

SAILS(Standardized Assessment of Information Literacy Skills)就是在上述标准的基础上，由美国Kent State University开发的一种特殊的学习成效评价工具，它也是ARL的New Measures Initiatives的内容之一。这种评价工具，既可以评价学生信息素养和能力，也可以对信息能力对于学生的学习成效的影响力进行测度。该项目组吸纳了包括图书馆员、测评设计、数据分析和规划设计在内的多个领域的专家，以问卷调查为数据收集手段。考察内容包括:学习目的、资源选择、对查询工具的了解和使用、检索策略的形成和修正、反馈结果评价、资料检索、资源评述以及与伦理和信息使用效率相关的法律和社会问题等。

SAILS可以很方便向数字信息服务领域进行扩展。参与项目的注册、问卷及数据传输系统的定制等操作均通过SAILS网站完成，而且问卷发布和收集也主要针对学生网络用户而设计。该项评价活动每学年开展两次，每次评价过程结束，参与评价的信息服务机构可以下载PDF格式的评价分析报告。

SAILS评价项目以学生信息素养和技能为考察对象，跟踪学生组群的信息技能发展动向，向信息服务和管理的从业人员提供准确的指导信息，确立行业标杆，进行对比和分析。例如，对比不同层次的大学生的信息素养，或者比较不同专业或不同学校相同专业的学生组群之间存在的信息素养的差异。SAILS提供的这种客观的、对比性强的数据，对于考察信息服务在提高信息素养和学习成效方面所发挥的作用和产生的绩效，具有重要意义⁽⁴²⁾。

(2)机构成果(Research Outcomes)

要测度和评价信息服务对科研机构的贡献同样十分困难。有些图书馆曾经尝试利用其用于支持科研的预算份额，来说明其服务对科研成果产出的影响;而有些图书馆则关注图书馆在支持科研生产方面的投入产出效益。对机构的科研产出和成果等进行直接的测度可能存在很大难度，因此就要借助于其他一些评价指标，为图书馆信息资源的利用及服务与机构的科研产出及其质量建立联系。

Bonnie Gratch Lindauer在她1998年发表在College＆Research Libraries上的一篇文章中，对图书馆服务绩效评价与教学和机构成果之间的关系进行了详细的阐述。其主要观点就是，图书馆作为信息服务机构的绩效评价应该与其所服务的机构对象的目标和成果相联系。该项研究对之前大量图书馆服务绩效评价方面的文献进行了回顾和分析，包括:地区性鉴定标准、ACRL的相关标准、其他涉及高等教育教学成果及评价的研究、图书馆效益评价研究和一些重要的绩效评价手册。在此基础上，提出了一个结构化评价的概念框架，列举了与图书馆服务有直接或间接联系的教学和机构成果，并确定了一系列评价图书馆对机构成果影响力的绩效指标。其中一个突出特点是，为特定的绩效指标与机构成果及产出之间建立了系统化的链接。虽然该研究的结论还不尽完善，也没有对数据收集方法做过多阐述，但从中我们可以看到，从机构成果和科研产出角度来进行信息服务绩效评价的时机已经成熟。经过一定的调整和深入发展，以机构成果为切入点的评价模式还将扩展至在线指南、网络信息资源定制等一系列数字信息服务绩效评价领域⁽⁴³⁾。