建设图书馆国民经济评价分析

9.5　数字信息服务绩效评价的组织、设计与实施

9.5.1　数字图书馆服务评价研究的组织和运行方式

从数字图书馆和数字信息服务的发展规模和数量上看，我国在该领域的进步是十分显著的，但是与欧美国家相比，主要的差距则表现在数字资源及信息服务的绩效评价方面，对于投入到数字信息服务领域的资金及其产生的社会效益和经济效益缺少必要的详尽的分析。

从国外数字信息服务的发展过程来看，评价在其中具有特殊的意义，数字图书馆及其服务绩效评价的研究与实践逐渐走向规模化、制度化。一方面，国家和国际组织通过项目资助和政策制定，在数字信息服务评价标准、发展方向等方面具有引导作用;而另一方面，在具体的评价活动中，行业或专业学会等组织能够在大范围内展开调研活动，对于统计项目、评价指标和发展基准的形成具有重要的作用⁽⁵⁷⁾。数字图书馆服务评价及相关活动的组织和运行比较有影响的几种方式如下:

(1)组织评价论坛

组织评价论坛和召开研讨会是图书情报界评价研究的一种重要的组织活动形式，它为数字图书馆和信息服务评价研究以及实践工作者创造了交流的平台，也为评价理论和技术创新提供了可供测试的资源。

2001年2月，美国国家信息标准化组织(National Information Standards Organization，简称NISO)在华盛顿特区发起并组织了“NISO图书馆绩效评价和统计论坛”(NISO Forum on Performance Measures and Statistics for Libraries)。与会者包括来自学术界、学校、政府以及特殊类型图书馆、协会及学会、出版商、数据提供商、一体化图书馆系统和其他研究团体的代表。讨论主题涉及数据收集系统化、服务质量及绩效数据收集的指导方针、多样化的绩效测度和评价技术、指标及术语定义的统一等。NISO评价论坛的意义在于:促进跨区域的信息共享，避免重复建设;形成一个机构间的评价标准、指导方针及评价工具的交流中心;推动图书馆数字信息服务评价从简单的定义元素向定性和定量测度转化;支持数字信息服务质量和效益评价的发展;提供专业的培训计划;为图书馆和信息服务业开发评价工具，并设立奖项等⁽⁵⁸⁾。

欧洲数字图书馆杰出网络(DELOS)与美国国家科学基金(NSF)已经连续9年资助数字图书馆评价论坛，为欧洲数字图书馆建设与研究提供了国际交流平台。1999—2002年DELOS共完成三次大规模的评价研究，即跨语言评价论坛、元图书馆和数字图书馆框架以及INEX:XML检索测试平台⁽⁵⁹⁾。

由国际图联(IFLA)和美国研究图书馆协会(ARL)发起的Northumbria国际图书馆及信息服务绩效评估研讨会(Northumbria International Conference on Performance Measurement in Libraries and Information Services)，1995—2005年间已经召开了6次会议。每次会议均涉及数字图书馆环境、用户角度的服务质量以及图书馆用户需求等评估问题，尤其是图书馆对教育和科研的影响及产出的测度。

此外，国际图联IFLA的Statistics Section也开发了本部门的新闻组(Newsletter)，它也是一项切实的供其成员机构和团体交流的一种新的途径。目前已经通过印刷版和电子版两种形式发布⁽⁶⁰⁾。

(2)开发评价设施及资源

评价设施包括图书馆评价工具和相关的评价资源，与评价相关的资源又包括指标体系、评价标准、评价指南等。国外很多大型的图书馆信息服务评价项目的成果中都包含对评价工具和相关资源的开发与讨论。例如，欧盟图书馆信息通讯计划(Telematics for Libraries Programme)的图书馆绩效评价质量管理系统EQUINOX项目的目标就是确定适用于新的网络及电子环境的绩效指标;网络电子资源在线使用统计项目COUNTER则通过欧美图书馆组织、出版商及中介机构的广泛参与，开发出在线电子资源统计标准;英国联合信息系统委员会投资的JUBILEE(JISC User Behavior in Information Seeking)项目，除了开展实际的评价活动外，也研发出一套包含标杆基准工具的工具包模型(Toolkit)⁽⁶¹⁾;美国研究图书馆协会的“ARL电子图书馆服务评价”项目，也通过实际的研究和测试，为ARL成员馆制定了一个网络统计和绩效测度数据收集手册(Data Collection Manual for Academic and Research LibraryNetwork Statistics and Performance Measures)⁽⁶²⁾;International Coalition of Library Consortia(ICOLC)也曾于1998年制定了“基于网络的索引、文摘及全文资源的使用的统计评价指南”(Guidelines for Statistical Measures of Usage of Web-Based Indexed，Abstracted，and Full Text Resources)⁽⁶³⁾。

(3)组织大规模统计和调查

调查是评价的基础。国外很多专业学会领导并组织了一系列大规模的统计和调查活动，其中很多内容涉及数字资源的使用和数字信息服务。例如，美国研究图书馆协会ARL的“ARL Statistics and Measurement Program”项目长期对北美各研究型图书馆有关馆藏、人力资源和服务等相关定性和定量指标数据进行收集和报告，并每年出版一期ARL Statistic⁽⁶⁴⁾，它所收集的统计数据是重要的图书馆评价互动标杆和对比资源;国际图联IFLA也成立了一个统计部门“IFLA Section on Statistics”，其目的是在图书馆管理和运作中运用统计学的方法，来向外界证实图书馆的价值，包括对各类型图书馆及信息服务活动中统计数据的定义、标准化、收集、分析、解释和出版等内容，1995—2005年该组织已经出版了9次统计报告⁽⁶⁵⁾。

9.5.2　数字信息服务绩效评价指标体系的设计与分析

图书馆信息资源体系的变化要求建立新的资源和服务评价标准。近年来，图书馆/信息服务部门对数字资源利用与服务统计量和绩效指标的需求越来越迫切，对网络统计量(Statistics)和数字信息服务绩效指标的研究和探讨逐渐升温。在数字网络统计量和数字信息服务绩效指标领域进行创造性研究，其现实意义已经超越了指标本身:^(66)(67)

①要能够定性和/或定量地描述和通报网络服务及资源利用现状，为图书馆/信息服务部门的信息技术和基础设施构建提供有效的决策信息。

②必须在网络资源与服务的发展、成本、供应及使用等方面，确立一套科学有效的信息描述和反馈体系，实现图书馆、地区和国家之间的相互比较。

③通过具体地展示图书馆数字资源及服务的范围、程度和影响力等方面的所取得的成效，帮助图书馆决策者和图书馆管理部门争取更多的资源和社会支持。

④推动以流通量、参考咨询、馆际互借等为代表的传统的图书馆测度指标向网络、数字化测度指标转化，从而揭示基于图书馆的数字信息获取行为和网络资源的特征和属性。

⑤要能够快速反映数字资源利用与服务的变化趋势，从而为数字馆藏的建设策略制定和过程监控提供客观依据。

⑥结合用户需求和服务满意度信息，衡量数字资源和服务建设资金投入及使用效率。

⑦对数字资源利用与服务的事实和数据进行长期、系统的记录，为制定行业标准提供数据和模板。

⑧在指标的选取和测试过程中实现协同合作，促进图书情报机构的联盟化、一体化。

从某种意义上说，上述内容都可以看做是构建数字信息服务绩效评价指标体系所承载的任务和目标，同时，也正是积极开展评价指标体系研究的动力所在。

评价指标体系的确立是评价活动开展的核心和基础，根据评价活动所选取的目标、模式和标准的不同，指标和测度的选择也会表现出一定差异。再者，在数字信息环境下，随着评价对象的动态发展，指标体系也必须具备相应的灵活度。所以，确立数字信息服务绩效评价指标体系的任务十分艰巨。

近年来，随着相关领域内理论研究与实践活动的日益活跃，指标体系的设计方面也出现了很多可供借鉴的资源，试举几例:⁽⁶⁸⁾

(1)国际标准化组织颁布的国际图书馆统计数据标准ISO2789(Information and Documentation International Library Statistics)

该标准在2003年的修订版中增加了“附录A:图书馆电子服务使用评价”，主要针对的是图书馆中除传统服务以外的电子服务的统计及评价。该标准不仅制定了图书馆电子信息资源和电子服务使用的不同形式，还重点描述了图书馆电子信息资源和电子服务的统计指标定义及其数据的收集。附录A把目前图书馆提供的相关电子服务分为7类，并且认为图书馆中最为重要的电子服务内容就是数字馆藏部分。其规定的8项统计指标均针对图书馆电子资源的使用、图书馆网站、OPAC及通过图书馆对因特网的访问，这些指标的具体运用既可以面向不同的服务种类，也可以面向单个的数据库的服务:

①任务数;

②下载文献的数量;

③下载记录的数量;

④虚拟访问次数;

⑤一次任务的检索时间;

⑥拒绝访问的任务数;

⑦检索次数;

⑧通过因特网访问的任务数。

(2)欧洲委员会资助的欧洲图书馆绩效评价和质量管理系统项目EQUINOX的成果

该项目主要针对的是欧洲图书馆发展和利用网络及电子资源的现状，主要包括两项内容:其一，设计一套用于普通复合图书馆电子服务绩效评价的指标体系;其二，设计一个用于质量管理与绩效评价的软件工具。该项目最初选取的图书馆电子服务的绩效评价指标体系包括34个指标，但经过研究和筛选，最终于2000年12月确立并形成了由14项指标组成的图书馆电子服务绩效评价指标体系:

①使用图书馆电子服务的人数占全部用户数的百分比;

②目标人群中平均每人使用图书馆电子服务的任务数;

③服务人群中平均每人使用远程电子服务的任务数;

④每种图书馆电子服务平均每次任务浏览文献及记录的数量;

⑤每种图书馆电子服务中每次任务的成本;

⑥每种图书馆电子服务中浏览每篇电子文献或记录的成本;

⑦用电子方式提交的信息请求占全部信息请求的百分比;

⑧图书馆内计算机工作站的使用;

⑨服务人群中人均使用图书馆工作站的小时数;

⑩被拒绝的任务数占全部任务数的百分比;

图书馆电子获取的成本占图书馆总获取成本的百分比;

服务人群中平均每人参加正式图书馆电子服务培训课程的次数;

从事发展、管理、提供图书馆电子服务及用户培训的图书馆工作人员占其工作人员总数的百分比;

图书馆电子服务的用户满意度。

(3)ARL的E-Metrics项目成果

其研究成果中也包含一套推荐使用的统计数据与评价指标。该套指标最初为15项，后经修订最终确定为17项，另外还包括3项建议考虑的指标，因此一共有20项指标:

①电子全文期刊的数量;

②电子参考资源的数量;

③电子书的数量;

④电子参考咨询的数量;

⑤登录电子数据库的任务数;

⑥电子数据库的检索次数;

⑦电子数据库请求的检索条目数;

⑧访问图书馆网站及目录的虚拟访问数;

⑨电子全文期刊的成本;

⑩电子参考资源的成本;

电子书的成本;

书目、网络及集团的图书馆费用;

书目、网络及集团的外部费用;

图书馆数字馆藏的容量;

图书馆数字馆藏的使用;

数字馆藏结构及管理的成本;

参考咨询中电子参考咨询的百分比;

所有图书馆访问中虚拟访问的百分比;

电子书占全部图书的百分比;

电子期刊占全部期刊的百分比。

(4)ARL的LibQUAL+项目采用的指标体系

该项目是以SERVQUAL的评价方法和工作机理为基础，并经过反复的读者调查对其进行修订后产生的一种适用于图书馆服务质量评价的新方法。它采用基于Web的用户调查表的方式来收集评价数据，调查和访问所涉及的问题即可以看做其指标体系，均经过了严格挑选和试验。2000年10月的ARL年会把LibQUAL+的指标体系归纳为4个层面，共25个问题:⁽⁶⁹⁾

①信息获取层面

a．期刊名录的完备性;

b．及时的文献传递服务/馆际互借;

c．需要标识的交叉学科;

d．便利的开放时间;

c．完备的印本资源。

②服务影响

a．帮助用户的意愿;

b．彬彬有礼的工作人员;

c．处理用户服务问题的可靠性;

d．给予用户个别关注;

e．以关切的态度接待用户;

f．具有解答用户咨询的知识的工作人员;

g．随时随地回答用户问题;

h．培养用户的自信心;

i．理解用户需求。

③图书馆整体环境

a．便于安静学习的场所;

b．宁静独处的场所;

c．适于思考和发挥创造力的场所;

d．舒适且具有吸引力的场所;

e．启发思考。

④个人控制

a．能够从家中或办公室获得电子资源;

b．让用户轻易地检索到所需要信息的现代化设备;

c．能够使用户自己定位信息的图书馆网站;

d．允许用户自己查找事物的易用检索工具;

e．信息便于存取供独立使用;

f．便于获取图书馆藏书。

很明显，上述4种不同的资源利用与信息服务质量评价指标体系在评价内容上各有侧重。ISO2789之附录A只列举了数字馆藏服务绩效评价的基本统计量;EQUINOX指标体系始终围绕系统运行的投入—产出来展开;E-Metrics更偏重资源静态指标，数字资源利用及服务绩效的评价指标稍有欠缺;LibQUAL+则是着眼于用户，以用户需求与感知作为评价的基础。很显然，各种指标体系间各具特色，又相互关联，如果能集众家所长，根据具体情况进行吸收和调整，应该可以在数字信息服务绩效评价活动中创建出适应各自需要的指标体系。

根据对上述资源的分析，一套全面的数字信息服务绩效评价的指标体系至少应该包含4个方面的内容，即服务质量和用户满意度指标;数字信息资源的利用及服务效率指标;数字信息服务成本绩效指标;服务的影响力及成果产出指标。借用层次分析法，参考上述评价指标体系，并结合图书馆数字资源服务工作实际，我们可以将图书馆数字信息服务绩效分解为服务系统、服务过程、服务质量、用户满意程度、服务统计、成本测度、服务开放程度和服务效果7个主要方面，并由此建立一个三级指标体系。

表9-1　数字信息服务绩效评价三级指标体系⁽⁷⁰⁾

续表

续表

续表

9.5.3　评价数据的获取和采集

得益于网络通讯和计算机处理等技术手段的发展，作为数字信息服务绩效评价基础的统计和测度数据的来源和收集方法也与以前有了很大的不同。数字环境下，数据获取和采集更加需要精心的计划和组织，以尽量减少数据的遗漏、失真等误差现象的出现。

评价数据的来源可大致分为:调查问卷、网络访问、数据库提供商提供的使用报告、图书馆工作报告、系统日志文件以及其他类型，如访问、访谈等。其中来自数据库提供商的报告和系统日志文件的数据存在的问题比较多，相对于其他来源的统计数据，其可控性、规范性都稍逊一筹。

(1)数据提供商报告

根据ARL E-Metrics项目的研究发现，首先，图书馆数字信息服务中数字资源的获取有购买、在线访问及租用等多种方式，给资源的使用和服务数据的收集带来很大困难，同时E-Metrics项目对指标的定义及处理与很多图书馆的实践也存在很多不一致的现象;其次，数据系统的动态性以及网络数字资源的分散性也导致使用数据获取和采集的不易;再次，数据库提供商的报告数据多侧重于服务成本，与用户相关的数据非常少;最后，数据库提供商所提供的使用统计数据很多过于简单，不同提供商之间的数据很难进行对比分析。E-Metrics的这些问题其实在数字信息服务评价中广泛存在，因而数据的获取和采集被纳入众多评价项目的研究课题范围，成为数字信息服务评价不可回避的现实问题之一。

为此，ARL E-Metrics项目发布了一个数据收集手册Data Collection Manual for Academic and Research Library Network Statistics and Performance Measures，不仅对指标定义的背景进行了解释，还为各种统计指标提供了数据收集的基本原理、程序及相关文件。此外，COUNTER项目也发展了一套独立的被广泛接受的网络数据库使用统计“实施规范”(Code of Practice)，该规范对数据库提供商在线使用报告的要求非常详细，但也为报告所要达到的规范度设置了不同级别。

(2)Web日志或系统日志

跟踪Web及系统日志文件(Log File)也可以获取和采集到图书馆信息资源及服务的使用轨迹，比如远程客户端地址、访问方式、浏览/访问时间、用户所访问的资源、无效链接等⁽⁷¹⁾，间接地掌握用户利用图书馆服务的情况。日志文件分析法的优点在于，日志文件的产生不受人为因素的影响，数据量大，便于采集、存储和处理，可以在较高水平上保证分析结果与事实的接近，得出的结论比较客观⁽⁷²⁾。

但是，通过图书馆Web服务器日志或数据库系统日志文件采集统计数据也存在不少问题。首先，很多系统或系统的某些环节没有设置统计和累计装置;其次，数据库或图书馆系统所处数字环境的变化，很难为其确立详细的、稳定的统计指标定义及处理方式;再次，很多图书馆仍然对本地资源系统日志文件的维护不规范，统计数据的收集周期不固定、数据不全，有的甚至根本还没有做这方面的工作;最后，日志文件数据复杂，精确性有待提高，针对性也不强，作为评价分析的依据具有一定的局限性。

9.5.4　评价工作流程

(1)确定评价目标

确定目标是数字信息服务绩效评价的首要环节。评价目标的确立可以为评价模型、评价方法的选择等后续工作树立参照的基准。数字信息服务绩效评价是多因素的综合评价，需要将服务质量这一总目标进行分解，形成不同层次的目标来反映较高层次的总目标。目标的确定要做到确切和具体，即要从广泛的社会需要背景中，去选择那些与数字信息服务活动有关的、最终有助于获得更大价值取向的东西作为评价活动的目标。

(2)组织评价小组

评价小组是贯穿整个评价过程、执行评价活动的主体，评价小组的人员构成关系到对评价对象环境的准确分析与多角度地把握，以及对评价结果的分析处理。评价小组可分为自身评价型和考察评价型。小组成员一般包含:图书馆学专家、图书馆工作人员、评价及决策专家等，此外，在评价过程当中还可以随时根据需要约聘某些特殊领域的专家，如方法论专家、信息资源技术管理专家等。

(3)制定评价计划

即根据评价目的及对象、评价环境的具体分析，将评价目的、任务、方式进一步细化。例如确定评价模型，构建指标体系，调整评价指标的权值，确定数据来源，选择相应的评价标准，规划数据采集方案和分析处理手段等。其中指标体系的构建要确保评价目标的可测、可量和可比，每项指标都必须经过规范的定义，具备合理的计量。此外，就是要充分考虑评价活动受内外部环境及因素的影响，分析其中的不利或有利因素，使评价活动在各自不同的环境中能顺利开展，并确保评价结果的准确、可靠。

(4)评价活动实施

主要就是问卷发放、数据采集、分析处理以及计划的完善和调整等步骤。数据采集阶段要对数据量有合理规划，数据过多会产生信息冗余，干扰评价活动的正常进行;数据不够充分，则评价信息的丰度太低，影响结果的可靠性。其次就是数据的净化、识别和统计，尽量减少这个过程中的盲目性和离散性，厘清主次关系和数据之间的联系等，减少数据传递和处理过程中信息价值的损耗。这个环节尤其要注意评价活动的质量控制、人员安排。

(5)形成评价报告

结论和报告的产生应该看做是一次评价过程的目的，而不是评价过程的结束。结论和报告既可以是定量描述，也可以是定性描述，还可以是两者结合的方式。在对数字信息服务绩效经过认真评价后，作为最终结果，通常要以评价报告的形式反映出来，以满足决策部门的需要。评价报告一般要求以简洁的文字交待评价的目的、目标、背景、主要内容等，并详细地介绍评价的方法、过程及主要结论。评价报告的语言必须是科学语言，务求准确、简明、规范。

评价过程实施的后续工作还包括评价检验，即制定改进对策和对评价结论的再评价。现在数字信息服务的评价不是单纯为了考察和测度服务的功能及效益的实现情况，其最终目的是以评价的信息和结论为今后的服务工作提供决策依据。没有决策的评价是不完整的评价。决策之后，其实就可以进入下一个评价周期，导致新一轮评价活动的开始。因此，数字信息服务绩效评价也和其他领域的评价一样，是一个循环的、周而复始的过程。要通过数字信息服务绩效评价对服务工作不断改进和调整，就必须经常对评价方案、过程和结论本身进行分析和评价。^(73)(74)

【注释】

(1)［2006-04-30］.http://www.arl.org/stats/newmeas/emetrics/

(2)［2006-04-30］.http://equinox.dcu.ie/

(3)［2006-04-30］．http://online.northumbria.ac.uk/faculties/art/information_studies/Imri/rarea//hfe/jub/hfjubilee.html

(4)［2006-04-30］.http://www.projectcounter.org/

(5)P.Brophy，P.M.Wynne.Management information systems and performance measurement for the electronic library:eLib supporting study(MIEL2)Final Report.［2006-05-13］.http://www.ukoln.ac.uk/services/elib/papers/supporting/pdf/mis.pdf

(6)姜晓.绩效评估——图书馆科学管理索引.［2006-05-15］.http://www.chinalibs.net/quanwen.asp?titleid=37057

(7)陈凌芹.绩效管理［M］.北京:中国纺织出版社，2004:4

(8)Steve Morgan.Performance assessment in academic libraries［M］. Mansell Publishing Limited，1995:2-3

(9)索传军.电子资源服务绩效评估的含义及影响因素分析［J］.图书情报知识，2005(6):66-69

(10)马费成.信息资源开发与管理［M］.北京:电子工业出版社，2004:501

(11)钱佳平.基于SERVQUAL的大学图书馆信息服务质量测评体系的研究与设计［J］.大学图书馆学报，2001(4)

(12)绩效评价:我国信息化亟待解决的问题.［2006-04-02］.http:// itgov.org.cn/new_itgov/article/20060119_164920_697710.shtml

(13)Lancaster，F.W.If you want to evaluate your library［M］．Champaign: University of Illinois，1993

(14)景祥祜.大学图书馆馆务统计与绩效评估的初步探讨.［2006-05-19］.http://www.chinalibs.net/quanwen.asp?titleid=22607

(15)鲁黎明.图书馆服务理论与实践［M］.北京:北京图书馆出版社，2005:285-287

(16)李桂华，张晓林，党跃武.新价值定位下对信息服务评估问题的再认识［J］.情报理论与实践，2001(5):343-345

(17)蒋谦.信息机构的信息服务质量分析［J］.情报杂志，2001(6):16-17

(18)张怀涛等.网络环境与图书馆信息资源［J］.郑州:郑州大学出版社，2002:317

(19)蒋谦.信息机构的信息服务质量分析［J］.情报杂志，2001(6):16-17

(20)索传军.电子资源服务绩效评估的含义及影响因素分析［J］.图书情报知识，2005(6):66-69

(21)索传军.电子资源服务绩效评估的含义及影响因素分析［J］.图书情报知识，2005(6):66-69

(22)索传军.论数字馆藏利用绩效分析与评价［J］.图书馆，2005(3):58-65

(23)索传军.电子资源服务绩效评估的含义及影响因素分析［J］.图书情报知识，2005(6):66-69

(24)乔欢.数字图书馆评价研究［D］.北京:北京大学信息管理系，2005:71

(25)罗琳.数字图书馆信息服务效率研究［J］.图书情报知识，2005(3):23-27

(26)曹作华.图书馆信息服务质量综合评价层次结构模型［J］.情报学报，2003(1):65-71

(27)王咏梅.从研究走向实践的国外数字图书馆绩效评估［J］.新世纪图书馆，2005(1):75-77

(28)初景利.西方图书馆评价理论评介［J］.中国图书馆学报，1999(3):53-60

(29)Julia C.Blixrud.Assessing library performance:new measures，methods，andmodels.［2006-06-08］.http://www.iatul.org/conference/proceedings/vol13/papers/BLIXRUD_fulltext.pdf

(30)常唯.LibQUAL+^TM——图书馆服务质量评价方法新进展［J］.大学图书馆学报，2003(4):23-26

(31)Julia C.Blixrud.Assessing Library performance:new measures，methods，and models.［2006-06-08］.http://www.iatul.org/conference/proceedings/vol13/papers/BLIXRUD_fulltext.pdf

(32)郭依群.COUNTER——网络化电子资源使用统计的新标准［J］.大学图书馆学报，2005(2):20-23

(33)Julia C.Blixrud.Assessing Library Performance:New Measures，Methods，And Models.［2006-06-08］.www.iatul.org/conference/proceedings/ vol13/papers/BLIXRUD_fulltext.pdf

(34)张玲，孙坦.电子资源使用评估与E-Metrics［J］.图书馆杂志，2005(3):24-27

(35)郭依群.COUNTER——网络化电子资源使用统计的新标准［J］.大学图书馆学报，2005(2):20-23

(36)朱兵，李春明.COUNTER与电子资源的使用评估［J］.图书情报工作，2006(1):100-102

(37)［2006-06-11］.http://www.arl.org/stats/program/2002/1002mtg.pdf

(38)Technical services cost study.［2006-06-11］.http://www.arl.org/stats/newmeas/tcs_overview.html

(39)平衡计分卡——MBA智库百科.［2007-12-15］.http:// wiki.mbalib.com/wiki/%E5%B9%B3%E8%A1%A1%E8%AE%B0%E5%88% 86%E5%8D%

(40)Julia C.Blixrud.Assessing library performance:new measures，methods，andmodels.［2006-06-08］.http://www.iatul.org/conference/proceedings/vol13/papers/BLIXRUD_fulltext.pdf

(41)Information literacy competency standards for higher education．［2006-06-13］．http://www.ala.org/ala/acrl/acrlstandards/informationliteracycompetency.html

(42)Project SAILS brochure.［2006-06-13］.https://www.projectsails.org/pubs/2006_ALAMid_Brochure.pdf

(43)Bonnie Gratch Lindauer.Defining and measuring the library's impact on campuswide outcomes［J］.College＆Research Libraries，1998，59(6):546-570

(44)颜爱民等.平衡计分卡思想和DHP方法在公共图书馆绩效评估中的应用［J］.图书馆，2005(3):77-80

(45)范晓虹.关于信息服务质量评估的几个问题［J］.图书情报知识，1999(3):32-34

(46)颜爱民等.平衡计分卡思想和DHP方法在公共图书馆绩效评估中的应用［J］.图书馆，2005(3):77-80

(47)周军兰.平衡计分卡在图书馆中的应用［J］.图书情报工作，2004(6):98-101

(48)吕春娇.从CIPP评鉴模式谈图书馆的评鉴.［2006-06-19］.http://www.lib.ntu.edu.tw/pub/univj/uj3-4/uj3-4_2.html

(49)姜晓.图书馆绩效评估方法评析［J］.大学图书馆学报，2004(1):6-9

(50)金胜勇，刘雁.图书馆评估指标体系的逻辑构建［J］.中国图书馆学报，2003(4):88-90

(51)洪世昌.标杆分析与ISO 11620于图书馆绩效评估之运用.［2006-06-19］.http://www.lib.ntnu.edu.tw/jory/j48/48context.htm

(52)欧明臣，凌文辁.标杆分析法在图书馆绩效评估上的应用［J］.情报资料工作，2003(6):47-49

(53)钱佳平.给予SERVQUAL的大学图书馆信息服务质量测评体系的研究与设计［J］.大学图书馆学报，2001(4):34-37

(54)金更达.图书馆服务质量评价实现探讨［J］.大学图书馆学报，2002(3):49-54

(55)金更达.图书馆服务质量评价实现探讨［J］.大学图书馆学报，2002(3):49-54

(56)王益兵.关于图书馆用户信息的思考［J］.图书馆工作与研究，2004(5):79-80

(57)乔欢.数字图书馆评价研究［D］.北京:北京大学，2005:30

(58)Report on the NISO forum on performance measures and statistics for libraries.［2006-06-24］.http://www.niso.org/news/reports/stats-rpt.html

(59)NSF report on DELOS workshop on DL evaluation.［2006-06-25］．http://www.dli2.nsf.gov/internationalprojects/working_group_reports/evaluation.pdf

(60)IFLA Section on Statistics Annual Report 2001.［2006-06-25］.http://www.ifla.org/VII/s22/annual/ann01.htm

(61)王咏梅.从研究走向实践的国外数字图书馆绩效评估［J］.新世纪图书馆，2005(1):75-77

(62)Julia C.Blixrud.Measures for electronic use:the ARL e-metric project.［2006-06-25］.http://www.arl.org/stats/newmeas/emetrics/Blixrud_IFLA.pdf

(63)Denise M.Davis.Electronic access and use related measures:summary of findings.［2006-06-25］.http://www.nclis.gov/statsurv/2000ven.pdf

(64)ARL Statistics and Measurement Program.［2006-06-25］.http://www.arl.org/stats/index.html

(65)Statistics and evaluation section.［2006-06-25］.http://www.ifla.org/ VII/s22/

(66)Bertot J C，McClure C R，Ryan J.Developing national network statistics andperformancemeasuresforpubliclibraries:issues，findingsand recommendations.Performance Measures and Metrics，2000 1(1):15-42［2006-04-12］.http://www.albany.edu/～imlsstat

(67)张文彦.欧美图书情报机构虚拟信息服务评估指标研究综述［J］.图书情报工作，2005(4):128-130

(68)张宏玲.国外数字馆藏使用及服务绩效评价指标体系述评［J］.大学图书馆学报，2005(6):63-69

(69)LibQUAL+2002 Jean and Alexander Heard Library，Vanderbilt University Results from the survey，Spring 2002.［2006-06-26］.http:// staffweb.library.vanderbilt.edu/admin/lq/LibQUALReport.html

(70)郭晶.数字参考服务质量评估体系建立初探.［2006-06-30］.http://www.lib.sjtu.edu.cn/chinese/teaching＆research/512.doc

(71)岳修志.图书馆Apache服务器日志文件数据的分析［J］.现代图书情报技术，2005(2):81-83

(72)沙勇忠等.网络环境下科研人员的信息行为分析［J］.情报科学，2006(4):485-491

(73)张健.图书评价理论与方法［J］.成都:西南交通大学出版社，2004:18-24

(74)刘银红.现代图书馆服务质量评价研究［D］.武汉:武汉大学，2003:55