数字信息资源评价指标体系

3.2　数字信息资源评价指标体系

按照数字信息资源评价的不同目标，选择数字信息资源评价的相关标准，测算不同标准的权重就构成了数字信息资源评价指标体系。

3.2.1　数字信息资源评价标准选择

数字信息资源作为信息资源系统的组成部分，其评价标准与一般的信息资源评价标准有某些共同之处，比如都需要按照信息资源的内容、形式、结构、支撑条件、利用情况等确定评价标准。但是，数字信息资源具有与传统文献资源很不相同的特征，因而其评价标准也有特定的内涵。

(1)数字信息资源的内容

内容不仅是图书馆选择数字信息资源最重要的指标，同时也是评价资源的首要指标，需要同时从资源内容的数量和质量上考察，具体考评资源内容的有效性、精确性、权威性、独特性、完整性、覆盖率、更新率、倾向性。数字信息资源内容评价涉及数字信息资源内容范围、内容质量和内容适宜度三个方面维度⁽¹⁰⁾。

①数字信息资源内容范围。信息资源内容范围包括广度、深度和时间跨度，指内容涉及的学科和主题，提供的是原始信息还是经过加工和编辑的二次信息，是全文信息还是题录信息，还包含数字信息资源涵盖内容的起始时间。若为电子期刊数据库资源，内容范围的考察包括收录的期刊种类和数量、收录刊物的起始时间等。

②数字信息资源内容质量。对数字信息资源内容质量要着重测评其准确性、可检验性、独特性、时效性、客观性和规范性。网络信息资源是数字信息资源中的重要组成部分。网络信息资源相对于传统文献信息资源，从生产到传播的周期大大缩短。时间上，信息的生产可以即时发布;流程上，缺少对信息资源严格规范的评审流程。其好处就是信息时滞短，但同时给网络信息资源内容质量评估增加了难度。在网络信息发布不规范的情况下，为了避免数字信息资源内容质量的良莠不齐，需要强化对数字信息资源准确性、可检验性和规范性的考察。

③数字信息资源内容适宜度。数字信息资源内容适宜度直接决定了用户的信息需求能否得到满足。以用户需求为导向的数字信息资源建设的方针决定了数字信息资源内容适宜度要在对用户特征和用户信息需求调研的基础上，重点考察数字信息资源是否能满足用户的现实需求，同时对用户的潜在需求具有前瞻性。数字信息资源内容的适宜度还包括信息内容的深度、语言风格和话语体系以及其内容的合法性和安全性等细节判断⁽¹¹⁾。数字信息资源内容适宜度的判断是建立在对数字信息服务对象的深刻认识上的，对数字信息资源内容适宜度的评价是一个“内容过滤器”，将适宜用户的数字资源进行界定、分类和框选。

(2)数字信息资源的形式

文献信息资源的载体是纸本，对其组织通常是按一定的规则进行分类、编目、排架，建立纸本式的索引和目录等二次文献，以方便用户利用;而数字信息资源借助网络技术、多媒体技术等信息技术，使其更具有表达力和易用性，查找直观、获取便利，具有良好的开放性。

①数字信息资源的表达力。数字信息资源的表达力指标包括界面的友好性、图形和多媒体、信息分类和组织以及文件格式和类型四大子指标。

界面的友好性对用户信息行为有很大的影响，因为界面是否清晰和简洁，是否方便信息查找和定位，是否美观和舒适，各版面设计是否具有逻辑性等涉及该数字信息资源的易用程度，决定了用户利用资源花费的时间成本，直接影响到用户对数字信息资源的满意度。

图形和多媒体为数字信息资源增加了更多创意的元素，使用色彩、照片或图像来增加数字信息资源形式的视觉吸引力，并且应用多媒体元素(如动画、声音、视频等)来增加信息的情感吸引力，激发读者的创造力⁽¹²⁾。但是，图形和多媒体是信息内容的表现形式，如果使用不当，不但不会为界面增加吸引力和美感，反而会影响用户的使用。

信息分类和组织主要是为了使用户能快速定位所需要的信息，建立信息之间的关联，激发用户的潜在需求以提高信息资源的利用率，这就要求信息分类和组织不仅规范并符合逻辑，而且能掌握用户需求的特征和使用习惯，最大限度地扩大数字信息资源的表达力。在ISI Web of Knowledge中，该数据库提供给用户根据一篇论文查找到其参考文献、被引文献以及其他同主题相关文献的途径，建立了任意信息单元的知识网络，扩展了用户对资源的可获得和可获知能力。

文件格式和类型，包括下载方式，直接决定了用户对数字信息内容获取的难易程度和浏览的质量，不同的文件格式和类型的应用软件附带了不同的功能，较为常用的文件格式有PDF、CAJ、JPEG等，这些软件功能也应该纳入评价的范围。

②数字信息资源的易用性。数字信息资源的易用性从数字信息资源功能的角度考察登录方式、浏览功能、导航和帮助功能、检索功能。

登录方式主要考察用户注册和登录的时间长短、难易程度、注册和使用内容保密性等问题。

浏览功能主要考察按照主题、出版物名称、索引字段、关键词表浏览的易用性以及是否提供纯文本形式的浏览。

导航和帮助功能主要方便用户根据不同的需要查找特定的信息资源，在遇到利用资源的困难时能通过资源自带的帮助解决问题，主要是考评数字信息资源提供各种检索点的信息导航地图情况;导航的逻辑性、连续性和深度情况;有没有帮助提示系统或联机帮助功能，如FAQ，以及各种说明的完备性和细致性。

检索功能是数字信息资源相对于传统文献信息资源最为突出的优势，主要包括可检索的字段的考察;检索的类型，包括简单检索、复杂检索、自然语言检索及二次检索的考察⁽¹³⁾;检索结果显示，包括检索响应时间、显示格式、标记记录、排序方式及翻页的考察;检索的用户化，即对检索结果的处理是否方便，包括是否能根据用户需要，调整检索结果数量、结果格式、结果排序、最大显示数量，检索界面的用户化定制及用户检索历史的显示⁽¹⁴⁾。

③数字信息资源的开放性。数字信息资源处在互联网的开放式环境中，因此开放性也成为数字信息资源形式的重要指标之一。开放性的指标主要包括链接的有效性、搜索引擎的嵌入、兼容性⁽¹⁵⁾。

超链接是数字信息资源一个重要的工具，能将相互有关联的信息连接在一起，用户通过点击链接就可以获得其感兴趣的内容，实际上扩充了数字信息资源的内容含量和用户的查找范围。对数字信息资源而言，重点要考察其链接的有效性，即建立的链接内容的相关程度、界面相关链接的有效性和更新频率、链接筛选机制和评测机制、链接内容的介绍和情况说明、链接的标示是否明确和突出、是否方便识别、界面内外的链接是否有死链或无法激活等。

数字信息资源的开放性还体现在其功能的扩展上，包括对资源外的搜索引擎的嵌入，以及能否通过常用的搜索引擎或相关主题目录查找到相关资源。功能的扩展还包括数字信息资源的兼容性，主要考察该数字信息资源是否提供OPAC数据等目录信息，其资源内容是否便于进行数字馆藏整体资源的导航和重组，其内部系统结构设计是否易于同其他资源系统进行整合等也是不可或缺的评价指标。

(3)数字信息资源站点的相关服务与支撑

作为数字信息资源主体的网络信息总是存在于特定的站点，该站点提供的相关服务与支撑也是数字信息资源评价的一部分。评价主要考察站点的运行性能、站点信息发布者或机构和服务器、提供的特色化服务及对用户的管理。

①数字信息资源站点的运行性能。运行性能主要考察站点的运行网速和容量，即下载速度，各网页打开的速度，链接的速度，其信息容量，能供使用的最大用户数及相关服务支持和效果。站点的安全性和稳定性也是用户使用数字信息资源的重要保障，这主要考察站点是否有防火墙等防止恶意攻击并保证网站的安全使用;有没有商业性的广告并能提供屏蔽功能等;系统有没有保障信息安全的措施和硬件、软件支持。同时，站点的安全性和稳定性也与日常站点维护情况密切相关，站点需要定期维护，并且每个网页上都应标有最近修改日期和资源的版本号。

②数字信息资源的责任者。由于数字信息资源缺少规范的生产和传播检审机制，所以对站点信息责任者和发布者的背景、权威性的评估变得极为重要⁽¹⁶⁾。由于数字信息资源内容本身的不断变更，评估只能针对某一个时间段的信息内容，所以对信息发布者的评估是数字信息资源内容维度中的关键矢量⁽¹⁷⁾，是判断信息内容倾向性和公正性的重要依据。

③数字信息资源的个性化服务。站点提供的特色服务能为用户利用数字信息资源提供更多的创意，最主要的是用户的个性化定制服务，即站点根据注册用户定制的特定信息或检索结果，利用E-mail或RSS软件等，提供个性化定制服务，进行信息推送。同时，站点还要对特殊人群提供无障碍的服务，如为有身体障碍的信息使用者提供特殊设计(潜在的问题有字体过小、行间距过小、色差小等)。站点提供的特色服务会随着信息技术的不断发展而出现更多的新类型和方式，因此站点提供的特色化服务是可以根据需要不断扩展的。

④数字信息资源的用户管理。对用户进行有效的管理也是一个数字信息资源站点重要的评估指标，其中包括对用户是否定期进行调查，对用户使用数字资源的各功能进行统计并定期公布使用的情况及其分析，对用户登录的控制，以及是否提供与用户交流的平台，对新用户进行培训和帮助，对新增服务进行推广和帮助，并对更新信息的情况进行推荐和报道。

(4)数字信息资源利用

数字信息资源利用的评价是建立在对数字信息资源利用统计的基础上的，E-metrics主要就是针对数字信息资源利用的统计来对数字信息资源的使用情况进行评价的，这部分指标虽然针对的是单个数字信息资源，但其意义主要是建立不同数字信息资源利用情况的比较。这些评估指标包括数字信息资源各功能的使用比较、数字信息资源利用分布、数字信息资源成本评价等。

①数字信息资源功能使用。数字信息资源各功能的使用比较将用户使用数字信息资源的行为进行了细化，将其分为登录次数统计、查找和检索使用统计、下载和打印统计、定制资源统计以及使用帮助统计，这些指标可以按天、按月、按年进行统计，也可以针对某一特定时期进行统计分析。

②数字信息资源利用分布。数字信息资源利用分布主要是考察信息资源利用的“who”、“where”、“what”和“when”，即关于数字信息资源利用的主题分布、地点分布、时间分布、用户类型分布等。地点分布可以通过IP地址来判断用户在何地利用数字信息资源，远程、局域网内还是馆内。时间分布可以了解数字信息资源(单个/整体)使用量的时间分布，了解使用高峰等特征以及数字信息资源的使用频度和时间跨度。用户类型的分布情况，是将用户划分为若干类型，分别对其使用数字信息资源的情况进行评估，如高校图书馆可以将其用户划分为本科生、研究生、教师等，也可以按照学科专业背景进行划分，分别对其如何使用数字信息资源、有何偏好等进行考察，以事实为依据分析其利用数字信息资源的行为特征和心理特征。

③数字信息资源成本。数字信息资源成本不仅仅只受到数字信息资源购买费用的影响，还受到用户使用情况的影响，使用率越高，单位的成本越低。因此，数字信息资源成本的评价不仅要计算数字信息资源的绝对成本，即支出的费用，还要计算相对成本⁽¹⁸⁾，包括:

a.各数字信息资源购买花销和用户使用次数的比，得出使用一次数字信息资源的花费，即次均使用成本;

b.数字信息资源总开销和用户人数的比，即人均服务成本;

c.数字信息资源的开销与链接和下载全文的总次数之比，得出全文利用的平均成本。

同时，隐性成本的支出也在数字信息资源成本评价的范围内，包括数字信息资源的年涨价幅度、图书馆对各数字信息资源维护的开销、数字信息资源长期保护的费用及用户使用数字信息资源所付出的相对时间和精力。

④数字信息资源的用户满意度。数字信息资源建设的最终目的是为目标用户提供资源服务保障，满足用户的信息需求。因此，用户对馆藏资源的体验才是评价数字馆藏的根本标准。数字信息资源的用户满意度主要通过用户抽样调查和访谈等方法，参考用户对数字信息资源的利用数据，获得用户满意度的评价结果。这部分测评包括用户在利用数字信息资源的过程中对数字信息资源内容、服务等方面的感知和体验。

(5)数字信息资源管理

对数字信息资源管理方面的评价主要包括评价数字信息资源结构、数字信息资源整合状况和数字信息资源共享状况。

①数字信息资源结构。数字信息资源评价从宏观上对数字馆藏结构的调整提供依据，为数字信息资源的规划提供事实和依据。对数字信息资源结构的评估包括对电子期刊、电子图书等各类型数字信息资源数量上的统计，对收费的数字信息资源和免费的数字信息资源的统计，对数字信息资源与传统文献馆藏资源进行比较，计算二者在数量、内容和经费上的比例。对数字信息资源的经费和系统的承载能力进行整体把握，考察数字信息资源的可扩展空间有多大，在技术、资金上是否具备可扩展的条件，确定数字信息资源在图书馆系统中的扩容空间和经费上的伸缩余地。

②数字信息资源整合状况。建立索引、目录和导航，整合的深度和方式也是数字信息资源管理的指标之一。数字信息资源整合评价主要考察是否对不同来源、不同类型、不同格式的数字资源进行了整合，采用何种标准和平台进行整合，整合的方式有哪些，评价整合的深度，以及整合达到的效果等。进一步确定数字信息资源中重复的内容，并计算其在所有数字信息资源中的比例。

③数字信息资源共享状况。图书馆能否利用非本馆拥有的数字信息资源，以及本馆建设的数字信息资源能否为其他图书馆所共享，是评价数字信息资源建设成效的重要标准。这方面的评价内容包括利用文献传递获取信息的次数、数量、频次，本馆利用联盟其他成员馆资源的统计数据，本馆向联盟成员馆提供资源的统计数据，以及通过文献传递利用的联盟成员馆的数字信息资源的种类、内容的统计等⁽¹⁹⁾。

3.2.2　数字信息资源评价标准体系

根据上文提出的数字信息资源评价的指标选择，我们可以构建一个初步的二级指标体系(见表3-1)。在不同的指标中，考察对象有所差异，数字馆藏评价事实来源的对象也不同，同时评价是定量分析还是定性分析也因考察指标不同而有所不同。这种设计的意图就是用定性和定量相结合的方法覆盖每个单位数字信息资源和整体的数字信息资源体系⁽²⁰⁾，通过专家、数字资源建设者和最终用户的意见与经验实现对数字信息资源客观的评价。

表3-1　数字馆藏体系二级指标体系

续表

3.2.3　数字信息资源评价指标测定

根据每次评价目标的不同，设定不同的数字信息资源评价标准体系后，需要给每个标准赋予适当的权值使其形成数字信息评价指标体系，这是建立数字信息资源评价指标体系工作中一项较为重要的工作。

(1)确定指标权重

目前确定数字信息资源评价指标的权重常用的有两种方法:层次分析法确定指标的权重及模糊理论和方法确定指标的权重。

层次分析法确定权重的做法如下:①建立多层次的递阶结构。按目标的不同、实现功能的差异化，将系统分为递阶层次结构体系，即数字信息资源标准体系。②构造判断矩阵。在建立多层次递阶结构体系后，通过各层中元素的两两比较，构造比较判断矩阵，确定下一层次对于上一层次某因素的相对重要性，并赋予一定分值。③根据判断矩阵提供的信息，利用线性代数知识，可精确地求出矩阵的最大特征根及对应的特征向量，特征向量经归一化处理后即为该层次各评价因素对上一层次某因素影响程度大小的权重。⁽²¹⁾

模糊理论和方法确定指标的权重的做法如下:①计算统计值。汇总对数字信息资源标准的意见，并分别计算出一级、二级和三级指标中各个影响因素重要性程度的算术均值、几何均值、标准差和变异系数。其中标准差描述的是数据离散趋势，标准差越小，表明各个馆的专家评定的该指标重要程度值越向均值集中;标准差越大，表明各重要程度值与均值越离散。变异系数反映了集中趋势(如算术均值与几何均值等)的代表性。若变异系数大，则反映出所求得的集中趋势的代表性低，为了能具体反映主观判断的不确定性，再次利用模糊数而获得一个明确的权重值，以期能更加贴切地反映专家群体的判断倾向。②解模糊化的过程。利用重心解模糊化法(Center of Gravity Defuzzification)，假设模糊集合M，隶属函数为M(x)，x∈X，DF(M)为经重心解模糊化法转换所得的明确值，则:

其中:分母为μ_M(x)的面积，DF_i(M)是该面积的重心在x轴上的投影位置。

通过每一组评价指标的最大值、最小值和中间值所构成的表达各指标权重范围的模糊三角数，解模糊化并归一化处理后确定两级指标的模糊权重值，依此综合获得评估主体对各组指标所给予的权重倾向。⁽²²⁾

这两种方法能根据需要确定各级指标的权重，对减少数字信息资源评价中主观随意成分均有一定的作用，能全面考虑参与评价人员对数字信息资源的不同意见，使指标设置客观公正，提高了数字信息资源评价的可信度。

(2)加权和计算

数字信息资源评价指标确定了权重后，就需要进行加权计算评价结果。数字信息资源评价体系可采用四级分等、两级定标的办法，将评价划分为A、B、C、D四个等级，对A、C两个等级规定具体评价标准，A为优等，C为中等，A级和C级之间为B级，C级以下为低等。

将评价目标具体化为评价指标，包括子目标项(主要评价方面)及因子项(评价项目)。这一系列化的指标集成了评价指标体系。评价总目标、评价子目标、评价因子之间的关系，在数学上可用一个特殊的图(Graph)——有向树(Directional Tree)来描述。

说明:①V为评价后的最终得分。

A、B、C、D代表评判等级，其中A=1.0，B=0.8，C= 0.6，D=0.0。

a_i为一级指标权重系数，a_ij为二级指标权重系数，a_ijk为三级指标权重系数，g_ijk为三级指标所能达到的评判等级。

优秀标准:a≥70，d=0或a≥80，0＜d≤5

良好标准:a+b≥70，d=0或a+b≥80，d≤10

合格标准:a+b+c≥80，10≤d≤20

不合格标准:d≥20

⑤a、b、c、d均为评价后指标与总指标的比例系数。⁽²³⁾

3.2.4　数字信息资源评价的步骤

数字信息资源评价需要一些必要步骤保证其实施，同时这些步骤的形成有助于规范数字信息资源评价活动，进而提高评价效率、确保评价目标的实现。对于任何一个图书馆而言，评价工作是一个长期而反复的工作，应该形成一定的评价机制，以保证数字信息资源规划的实现和数字信息资源建设的持续进行。数字信息资源评价的步骤需要围绕着“用户中心”和“资源中心”来设计，兼顾资源建设和用户利用两个方面。

(1)确定评价的目标

数字信息资源评价首先要确定评价的意图，并根据实际需要设定该次评价特定的目标;检查评价的项目是不是需要，并准确地理清该项目的结果及用途。换句话说，就是评价的每个项目都要直接指向所需要达成的目标。接下来就要确定收集的数据具体怎么用、用来得出什么结论，这就需要确定评价目的的影响因子及它们之间的关系。

(2)回顾早先的研究和评价工作

数字信息资源评价的第二个步骤是要调研已有的研究成果和以往评价工作的经验与教训。从现有的研究成果中可以获得关于评价目标和评价设计的实例与进展，从中获得有益的启示。以往开展的评价工作的经验也是评价工作开展前的重要参考，可以避免失误，注意以往评价工作所忽视的问题。在这个步骤要特别注意他人的研究成果和以往的评价工作与现有数字信息资源评价的差异和共同点，判断什么是可取的经验并适合即将开展的评价工作。

(3)选取相关数据并设计评价方法

数字信息资源评价的第三个步骤是确定评价方法和要获得的数据与信息，为数字信息资源评价提供可靠的事实和数据支撑。对于评价工作者而言，对评价的结果需要有大致的估计，通常的做法是:将评价目标细化为一个个独立的问题，针对每个问题分别列出如何导出答案，再列出支撑问题的答案需要的数据。在数字信息资源评价中，很多数据可以通过系统设置自动生成，如系统日志。自动生成的数据需要在数字信息资源评价中有目的地择取。

(4)选取资源或用户样本

确定了评价所用的数据和方法后，数字信息资源评价需要选取相关的资源或用户的样本。样本的特征需要最接近代表全集的特征，才能使样本评价的结果适用于全集评价。因此，在样本选择的时候要特别注意以下四点:

①每一个全集中的元素被选为样本的几率是相同的。

②一般而言，样本量越大越接近总量评估的结果，即准确性越高，但是在评估前需要在样本大小、样本准确率和总花费三者之间寻求平衡。

③样本必须是总量的一部分，样本的选择要尽量考虑避免偏见和误导。

④任何一个样本产生的数据只能接近真实数据，因此应确立调查样本的置信度和误差范围。

总之，在进行样本选取的时候，需要达到成本、准确性和可靠性三者的平衡，样本选择是评价结果准确和有效的关键。

(5)展开研究

在这个过程中，关键是要首先测定评价项目或指标的权重。在展开数字信息评价具体工作的时候，要特别注意评价的细节，如调查问题的表达要清晰准确，避免歧义的产生。在保证数字信息资源评估质量的同时，要注意时间的控制，确保评估的有效性。

(6)处理和分析数据

这一数字信息资源评估步骤，通常是借助计算机对数据进行处理和管理，同时进行量化分析。首先要使编辑回收的调查数据与计算机软件和表格相符，并要确保数据录入的准确性。分析的第二步是要选择合适的形式来表达结果，要求形式准确而简洁。掌握不同表达方式的特点，如表格通常能够将细节反映清楚，查找也较为方便;而图形则比较直观，从整体上让各部分分布状况一目了然。不管采用何种表达方式，要求分析结果清晰、简洁和准确，能反映样本的特征。

(7)总结经验并提交评估报告

将数字信息资源评价的计划、实施结果进行小结，将计划的目标和实际实施效果进行比对，总结经验和不足，为今后的数字信息资源评价工作提供参考模板和依据。

数字信息资源评价的每个步骤，都需要围绕图书馆的总目标进行，同时又直接指向数字信息资源评价的目标。同时，在步骤的执行中应尽量减少主观导向，力求数字信息资源评估的真实、客观和可靠。

数字信息资源的评价随着数字信息资源开发和利用活动的深入而呈现不断发展的态势，同时，数字信息资源评价活动必须服从于数字信息资源评价目标，并因地制宜地开展。为了避免数字信息资源评价的教条和僵化，应根据各种实际情况对数字信息资源评价指标进行优先选择，使数字信息资源建设真正保持动态的发展，最终为用户提供满意的数字信息资源服务。