科技期刊质量效益评估新指标体系的建立

科技期刊质量效益评估新指标体系的建立

朱栋梁

（宁波大红鹰学院艺术与传播学院，宁波 315175）

摘　要：当前科技期刊质量评估研究重点集中于指标研究，其不足在于片面强调学术影响力评估。本文提出市场占有率、成果转化率两个新指标，从学术标准、效益标准和技术标准三个方面构建评估科技期刊质量效益的新指标体系。

关键词：科技期刊；质量评估体系；市场占有率；成果转化率

Title：Study on Establishing a New Indicator System for Evaluating the Quality and Efficiency of the Sci－tech Periodical

Abstract：The existing research of sci－tech periodical quality evaluation focuses on index study，and puts one－sided emphasis on academic influence.The paper inducts market share and technology transferring rate into the evaluation system，and establishes a new indicator system for evaluating the quality and efficiency of sci－tech periodicals，which is based on academic，efficiency and technical standard.

Key Words：sci－tech periodical；quality evaluation system；market share；technology transferring rate

科技期刊作为传播科技成果、聚集科学智慧的主要阵地，其发展所具有的意义已大大超出期刊自身的领地，进入到促进人类科学与文明进步的境地。科技期刊质量评估研究源自于社会和科技期刊自身竞争发展的需要，其研究成果不仅为读者阅读和作者选刊投稿提供参考指南，更重要的是，为期刊竞争发展提供定位信息，为政府部门期刊管理提供决策依据，促进科技期刊准入退出机制的建立与完善，加速科技期刊产业化进程，推动科技期刊资源整合与治散治滥，繁荣学术，促进科技进步，最终推动人类社会的发展。

1　国内外科技期刊质量评估的现状分析

1.1　国外科技期刊质量评估的历史与现状

期刊评估研究起源于国外，其理论根基由英国文献学家布拉德福（S.C.Bradford）的“文献离散定律”、美国情报学家加菲尔德（Eugene Garfield）的“引文分析体系”和普赖斯（Derek John de Solla Price）的“文献指数增长规律”与“研究峰值”思想共同构筑而成。布氏定律从文献数量的角度为期刊遴选提供了理论支持；引文分析体系从文献质量的角度提供了一个重要的量化测度指标；普赖斯指数则形象描述了文献的老化过程和老化速度。

在不断的探索和实践过程中，科技期刊评估研究稳步发展。1958年，Garfiled创建了美国科学情报研究所（ISI），提出了期刊影响因子（impact factor，IF）的概念，相继开发出SCI（Science Citation Index）、SSCI（Social Science Citation Index）、A ＆ HCI（Arts ＆ Humanities Citation Index）3个数据库和基于网络环境的ISI WOS（Web of Science）系统。ISI每年发布一次期刊引证报告（JCR），广泛应用于科研论文、期刊、人才、项目、机构等的评估。

随着期刊评估研究的深入，影响因子的局限性逐渐显现。Segien Andrew等人对影响因子在不同国家、语种、学科的研究群体和个体的研究绩效评价中的科学性、客观性和公正性提出质疑；一些学者应用科学计量学的方法对如何在跨学科或多领域间评价学术论文提出了一些新的思路和方法。2005年美国加州大学圣地亚哥分校物理系J.E.Hirsh提出h指数，用于评价科学家个人学术成就，2006年匈牙利科学计量学家Braun将h指数推广到期刊评价，引起广泛关注；2007年1月，美国华盛顿大学的Carl T.Bergstrom、Jevin D.West和Benjamin M.Althouse，瑞典于默奥大学的Martin Rosvall、加州大学的Theodore C.Bergstrom等人组成的研究小组构建Eigenfactor（特征因子），用类似于Google的PageRank算法，将期刊引文评价方法的理论假设从“所有引文重要性等价”修正为“引文重要性正比于施引期刊重要性”。^［1］几乎与此同时，西班牙的SCI－mago研究小组基于Elsevier的Scopus数据库，用相似的算法，提出SCImago Journal Rank（SJR），赋予来自高声望期刊的引用更高的权重，衡量期刊被引的数量和引用价值。此后，学者们对新指标与传统指标间的关系进行了多例实证研究，在很大程度上验证了特征因子对期刊影响力评价的可行性。2009年初，Thomson Reuters公司正式采用特征因子作为JCR的指标，^［2］这是近年来JCR的首次指标扩充，在科技期刊评估发展史上具有里程碑式的意义。

伴随着网络学术交流模式的普及，网络引文研究逐渐兴起。芝加哥大学社会学家Evans、Larivière等关注网络环境下引用行为的变化与发展趋势，Lopez和Gavel等则致力于对网络环境下不同引文数据库，主要是WOS和Scopus，进行对比与分析。网络引文分析是文献计量学中引文分析在网络环境下的延续与发展，成为当前研究的重要方向和趋势，目前处于初步探讨阶段，以开创性和探索性研究为主。

国外科技期刊质量评估相关研究多见于《Science》《College and Research Libraries New》《Journal of the American Society for Information Science and Technology》《The Scientist》等期刊及ISI Web of Knowledge、Scimagojr、Eigenfactor等网站。

1.2　国内科技期刊质量评估的现状与特点

1.2.1　现状

我国科技期刊质量评估研究工作始于20世纪70年代，最初主要是翻译、介绍、吸收和引进国外的研究成果，缺乏自主性的系统研究。进入20世纪80年代后，开始结合我国实际情况开展应用性研究。^［3］20世纪90年代以后，分散、个体的研究逐步过渡到有组织有计划的大规模研究阶段，涌现出一大批专家、学者、研究机构和团队及大量专著、论文和报告。主要内容包括以下三个方面。

一是整体研究，关注评估工作的整体发展，总结和分析评估现状，提出改进办法，以叶继元、邱均平、张积玉等人为代表。

二是方法探讨，分析定性与定量方法之取舍与平衡，寻找文献计量学方法与专家评议方法之利弊及最佳结合方式，同时对各种评估指标，如影响因子、H指数、SJR、特征因子、权威因子等的功能与效果进行评析，对现有评价体系进行比较。以王崇德、叶继元、邱均平、张积玉、庞景安、苏新宁、万锦堃、任胜利等人为代表。

三是应用与实证研究，包括建立各种评估指标体系，编制评价报告，并运用各类指标和体系，对科技期刊质量进行评估与分析，提出科技期刊发展策略。以潘云涛、叶继元、邱均平、游苏宁、苏成、戴利华、刘培一、武夷山等为代表。

相关研究论文、报告多见于《中国科技期刊研究》《编辑学报》《中国图书馆学报》《情报杂志》《图书情报工作》等期刊和人大报刊复印资料《新闻与传播》《图书馆学与情报学》，以及各大学学报、各社科研究刊物与中国新闻研究、中华传媒网、传媒学术网、中国新闻传播学评论网等网站。此外，我国香港、台湾地区也有一些专家学者作出了相关的研究，它们都为科技期刊评估研究提供了理论与方法上的多种借鉴和参照。

1.2.2　特点

国内科技期刊质量评估的特点主要体现在以下三个方面。

一是体系建设——评估标准政出多门。目前我国已初步构建起中国“本土化”的科技期刊评估体系，主要研究机构和评估报告有：中国科技信息研究所编制的《中国科技期刊引证报告》（CJCR）；中国科学院文献情报中心编制的《中国科学引文索引》《中国科学引文数据库来源期刊》，另有部分研究没有将科技期刊作为特定研究对象，而是与学术期刊相互交叉渗透。主要成果有：北京大学图书馆与北京高校图书馆期刊工作研究会共同主持编制的《中文核心期刊要目总览》；中国科学文献计量评价研究中心编制的《中国学术期刊综合引证报告》，中国科学评价研究中心、武汉大学信息管理学院共同编制的《中国学术期刊评价报告》等。应该说，历经30多年的发展，我国科技期刊评估已得到专家学者高度而普遍的关注，其社会影响力也日益增强。然而，繁荣表象难掩其不成熟、不完善之实质：国家目前尚未颁布统一的、社会普遍认可的、科学公正的评估标准；各类评估体系政出多门，标准不一，或失于宽泛，或过于狭窄，既有重复交叉的现象，又存在很多研究通盘协调的空白点；不同的体系，评估结果相差悬殊，引发出诸多弊端。^［4］因此，统一评估标准、整合评估体系，势在必行。

二是评估方法——引文分析一枝独秀。相对于评估体系的百花齐放，在评估方法的采用上却是引文分析方法一枝独秀。目前我国科技期刊评估多采用定量为主、定性为辅的方式，其中定量方法又以引文分析为主。从较早提出并被广泛采用的载文量、总被引频次、影响因子，到新近提出的h指数、SJR、特征因子，再到基于网络环境的Web即年下载率等，无一不是从期刊的被引情况来衡量其质量。^［5］《中国科技期刊引证报告》选用的总被引频次、影响因子、即年指标、他引率、引用刊数、扩散因子、学科扩散指标、学科影响指标、被引半衰期、权威因子（2009年新增）10个指标，几乎全部基于引文分析法。《中国学术期刊评价报告》选用的基金论文比、总被引频次、影响因子、Web即年下载率、二次文献转载或收录、专家评分6个指标中，亦有4个基于引文分析法，其权重之和达到0.8。^［6］这足以反映引文分析在当前科技期刊评估实践中的受重视程度。不可否认，在评估科技期刊学术影响力方面，引文分析法不失为最有效的方法之一。

三是评估效果——只见树木不见森林。诚然，研究成果被其他研究者引用，可以在一定程度上反映出成果及其载体——科技期刊的水平和价值，但这仅仅是科技期刊质量的一个方面，不能够客观地反映科技期刊质量的全貌。由于评估指标和标准的片面性，目前的科技期刊评估报告，无论采用影响因子排序还是综合指数排序，所描述和分析的都是期刊的学术影响力，而非综合影响力。可以说，当前的科技期刊质量评估，是以学术影响力取代综合影响力，甚至将期刊评估等同于引文分析，用引证报告取代评估报告。这种以偏概全的片面评估，还停留在一个为学术而学术的层面，既不能反映科技期刊与社会需求的相关性，也不能体现市场竞争力，直接导致其对科技期刊发展导向的偏倚，影响了评估功能和效果。

1.2.3　国内外科技期刊质量评估存在的不足

考察当前国内外科技期刊质量评估研究成果和评估实践，笔者发现，科技期刊质量评估研究日益呈现应用化、综合化和网络化的态势。目前有关指标的研究是该领域研究重点，基于网络环境的评估研究是该领域的研究前沿。已有研究仍然存在着以下几个方面的不足。

一是研究重点集中在对评估方法的探讨上，系统性和深度不够，基础研究稍显薄弱。

二是在引文分析法的基础上对评估指标进行改进，致力于弥补评估指标对施引期刊影响力和价值差异的忽略，并没有跳出其局限性；专家评议将评估范围扩展至期刊编辑出版的规范与质量，但仍未涉及科技期刊的社会需求度与市场影响力。

三是研究大多局限于对科技期刊学术影响力的评价，而非综合影响力；科技期刊的社会影响力、市场影响力等，还没有进入大多数研究者的视野。

四是研究的片面性容易导致对市场经济条件下科技期刊发展的战略导向产生偏倚。

2　科技期刊质量评估新指标的引入及多指标综合评估体系的构建

为弥补现有评估的不足，笔者认为，当务之急是结合当前我国科技、经济、社会发展现实，在客观描述和分析我国科技期刊评估现状的基础上，改进和完善评估指标，构建多指标综合评估系统，全面考察科技期刊的学术影响力、市场影响力、社会需求相关度。

2.1　科技期刊质量评估新指标的引入

鉴于科技期刊生存和发展环境的改变，笔者认为，科技期刊质量体系应由学术影响力、市场竞争力、社会需求相关度等几个因素组成，对于科技期刊的质量评估，也应从这几个方面来进行。其原因如下。

一方面，在当前市场经济越来越完善和成熟的条件下，科技期刊作为物质产品的一般商品属性日益凸显。随着我国新闻出版领域改革的不断深化，将有越来越多的科技期刊被推向市场，独立经营，市场经营状况将成为科技期刊生存和发展的关键因素。^［7］发达国家科技期刊的市场化运作机制为其发展提供了公平竞争的环境与动力，国际名刊大多在内容与市场两个方面同时努力，《Science》在全世界拥有70万读者，《Nature》广告年收入高达1亿美元。^［8］我国科技期刊正处于计划经济向市场经济的转型期，科技期刊评估更应有利于引导期刊走向市场。而市场影响力指标在评估体系中的缺失，使得科技期刊社在制定发展战略时忽略市场因素，丧失竞争动力，甚至导致生存危机。不能生存，何谈发展？因此，当前片面强调学术影响力的科技期刊质量评估显然已滞后于科技、经济、社会的发展，不仅影响到正在进行的出版业转企改制和科技期刊产业化进程，也影响到科技期刊自身及行业整体的可持续发展。

另一方面，从科技期刊自身承担的社会责任来看，科技期刊作为传播科技成果的工具，其最终目的，就是促进它所传播的科技成果转化为现实的生产力，从而促进社会和经济的发展。政府与公众希望科技界能解决大家最急切关心的问题，也就是要提高科研对于社会经济发展与人民生活的相关性。科技成果不能解决实际问题，不能转化为现实生产力，就不能真正体现成果的价值。此外，如何解决制约科技成果转化的瓶颈问题，是当前我国科技体制机制改革面临的主要问题之一。如能将成果转化率指标纳入科技期刊质量评估体系，无疑将加快解决这一问题的进程。

因此，笔者认为，应将反映科技期刊市场经营以及成果利用与转化状况的指标纳入科技期刊质量评估体系，提出市场占有率、成果转化率两个新指标，作为对原有指标体系的补充和完善。

2.2　科技期刊质量评估新指标的界定

2.2.1　市场占有率

市场占有率是指评估当年科技期刊在市场上的销售额占同类科技期刊同期总销售额的比重。在市场经济条件下，用户需求是科技期刊最好的评价标准。用户多的期刊经济效益就好，自我生存能力强，专业面窄、订阅量低且价值高的期刊，则可以采用高价格的市场定位来使成本和收益达到平衡。因此，采用期刊销售额来计算市场占有率；同时，考虑不同学科之间的差异，仅计算期刊的服务市场占有率，即期刊在同类期刊中的市场占有率。

2.2.2　成果转化率

成果转化率是指期刊前两年发表论文中，在解决实际问题上作出贡献的论文与前两年期刊论文总数之比。成果应用到实际问题中或转化为现实生产力有一定的延时性，在计算时采用前两年的数据。

2.3　多指标综合评估体系的构建

综合考虑科技期刊质量评估的各种影响因素，依据系统优化、通用可比原则，采用定量与定性相结合的方式，笔者从学术标准、效益标准和技术标准三个方面构建多指标综合评估体系，提出了3个二级指标和10个三级指标。

2.3.1　学术性指标

主要从期刊发文和被引用两个方面定量反映期刊的学术质量和影响力，选取的指标主要有：基金论文比、总被引频次、影响因子、Web即年下载率、二次文献转载或收录。这些指标都从定量角度反映了期刊的学术质量和影响力。

2.3.2　效益性指标

主要从期刊市场表现与成果利用与转化两个方面反映期刊的效益。选取的指标有成果转化率、市场占有率。

2.3.3　技术性指标

包括差错率、报道时差、数字化建设程度三个下级指标。

3　评估科技期刊质量的效益模型

3.1　指标的划分

科技期刊质量评估是一项复杂的工程，涉及因素很多，笔者将市场占有率和成果转化率两个指标纳入科技期刊质量评估体系。由于这两个指标存在客体的社会性、效益的间接性、信息的混浊性，属于不易测量的参数，因此，其含义的界定、数据的统计、分值的计算、权重的设计，成为研究的重点与难点。比如，有关科技期刊市场的真实数据通过何种途径获得；成果转化与利用的概念如何界定；成果转化率指标权重是否应视期刊性质（基础研究或应用研究）或学科差异而有所区别；成果转化的价值差异如何体现；用成果转化比值或成果转化总数来衡量成果转化程度何者更为科学；因成果转化的延时性而产生的统计时段如何确定等问题，尚需进一步探讨。多指标综合评估体系对于评估科技期刊质量是否有效，亦有待在更多的期刊评估实践中进行进一步检验。本文从学术影响力、市场竞争力、社会需求相关度等三个方面建立评估我国科技期刊的指标体系。简称评估科技期刊质量的“三率”模型。

3.1.1　学术影响力

其中，又可分为以下a个指标：U1、U2、U3……Ua

3.1.2　市场占有率

其中，又可分为2个指标：

此类期刊在科技期刊总销售额中的比重（Ua＋1）

此类期刊在同类科技期刊总销售额中的比重（Ua＋2）

3.1.3　成果转化率

其中，又可分为以下b个指标：Ua＋2＋1、Ua＋2＋2……Ua＋2＋b

3.2　综合评价法

本文采用主成分分析法进行科技期刊质量的综合评价。

3.2.1　评价对象

本文以＊＊年版《中国学术期刊综合引证报告》收录的科技类期刊为评价对象，包含U1、U2、

U3……Ua，Ua＋1，Ua＋2，Ua＋2＋1、Ua＋2＋2……Ua＋2＋b等指标。

3.2.2　原始数据的标准化处理

本文采用相关数据，经过多重处理转换成需要的原始数据。之后，通过标准化的处理对原始数据进行无量纲化，以便更准确、清晰地分析若干因素之间的影响。

3.2.3　信度检验

所谓信度是指所使用分析工具的可靠性。本文采用克朗巴赫α系数来反映指标体系的内部一致性。运用SPSSll.5统计分析软件进行检验，根据克朗巴赫α系数的结果，判断本指标体系是否具有良好的信度，如果良好，可以运用处理后的数据进行下一步的分析。

3.2.4　主成分分析

利用SPSSll.5进行主成分分析，得出KMO和巴雷特检验结果、标准化数据的总方差分解表，以及因子矩阵表。根据分解表，提取特征值大于1的主成分（若有），分析若干个主成分的累计方差贡献率是否大于85％，如果大于此值，则可以继续进行分析。

设共有p个指标，m个主成分，γ为第i个主成分的方差贡献率，λ为各指标与主成分的相关系数。

根据因子矩阵表，可以得出主成分与标准化变量的关系模型，即

根据主成分的贡献率确定主成分的权重依次为γ％、γ₂％……γ_i％，则m个主成分的综合评价函数为

经过计算，得出中国科技期刊的综合评价结果。

参考文献

［1］JEVIN D W，THEODORE C B，CARL T B.The Eigenfactor Metrics：A Network Approach to Assessing Scholarly Journals［J］.College ＆ Research libraries.2010，（3）：236－244.

［2］任胜利.特征因子（Eigenfactor）：基于引证网络分析期刊和论文的重要性［J］.中国科技期刊研究，2009，20（3）：415－418.

［3］庞景安，张玉华.中国科技期刊综合评价指标体系的研究［J］.中国科技期刊研究，2000，（4）：217－219.

［4］叶继元.人文社会科学评价体系探讨［J］.南京大学学报（哲学、人文科学、社会科学版），2010（1）：97－110.

［5］张积玉.学术期刊影响力及其评价指标体系的构建［J］.陕西师范大学学报（哲学社会科学版），2010，39（5）：70－76.

［6］邱均平，李爱群.国内外期刊评价的比较研究［J］.重庆大学学报（社会科学版），2007，13（3）：60－65.

［7］袁桂清，游苏宁，罗玲.论科技期刊的经营风险管理与控制［J］.编辑学报，2010，（2）：95－98.

［8］中国科学技术协会学会学术部.国外科技社团期刊运行机制与发展环境［M］.北京：中国科学技术出版社，2007：219.

作者简介

朱栋梁（1962—），男，宁波大红鹰学院，编审，主要从事新闻传播理论与实务问题的研究。通信地址：浙江省宁波市鄞州区学院路1号宁波大红鹰学院艺术与传播学院（邮编：315175）。电话：13957805376。电子邮箱：ZDL667@126.com。