国内几种代表性的科技期刊综合评价指标体系

国内几种代表性的科技期刊综合评价指标体系

四、国内几种代表性的科技期刊综合评价指标体系

(一)国家科委“科技期刊质量要求及评估标准”

1994年国家科学技术委员会颁布《科技期刊质量要求及评估标准》。^[15]这一《标准》由国家政府部门制定,沿用多年,可看作是我国早期的一种有代表性的科技期刊评价体系。《标准》是将科技期刊分成五大类来进行评估的,这五大类是“指导(综合)类”、“学术类”、“技术类”、“检索类”和“科普类”。每类科技期刊均从4个方面来进行评价,“指导(综合)类”、“技术类”、“科普类”科技期刊采用的评价指标是“政治标准”、“技术标准”、“编辑标准”和“出版标准”,“学术类”科技期刊的评价指标略有不同,依次为“政治标准”、“学术标准”、“编辑标准”和“出版标准”,而“检索类”则采用了“全”、“便”、“快”和“综合”评价指标。每个一级指标下均有多个二级指标,这些二级指标也均被分为“优”、“良”、“差”三个等级。这一《标准》,可以图示如下(略去二级指标):

这一评价体系对弥补当时我国科技期刊评价体系的不足,无疑起到了一定的作用。但现在看来,缺陷非常明显。首先是《标准》没有很好地吸收当时学界在科技期刊评价研究方面取得的成果。如引文率、文摘率等评价指标在当时学界已形成了一定的共识。《标准》在对“学术类”科技期刊进行评价时,虽言“依据载文率、文摘率与引文率等”,但在“量化”指标时,采用的却是“文摘量”和“引文量”,这说明《标准》对一些基本概念的认识尚存在偏差。其二,《标准》对一级指标、二级指标均未能赋予不同权重,而是将之等量齐观,显然不妥。其三,《标准》对二级指标只分为“优”、“良”、“差”三个等第,也失之粗疏。其四,《标准》未能给出综合各指标的方法,可操作性也不强。如果按此《标准》来评估科技期刊,似乎只能由各刊所得“优”、“良”、“差”的数目多少来决定,这同样不科学。

图10　国家科委学术类科学期刊评价体系框图(1994)

需要指出的是,用现在的观点来看待10多年前制订的《标准》,存有不足似属“正常”现象,但迄今为止政府部门未有新的科技期刊评价标准出台,因此仍有必要指陈其不足。众所周知,我国期刊实行政府审批制,在这种情况下,由政府部门组织、制定期刊评估标准是必要的。这里建议国家科技期刊管理部门在充分吸收学界研究成果的基础上,尽快制定新的学术期刊评价标准,以便及早结束目前学术期刊评价极度混乱的局面。

(二)中信所“科技期刊综合评价指标体系”

2000年中国科学技术信息研究所根据国家科技部的指示精神,建立了“中国科技期刊综合评价指标体系”。^[16]这个指标体系包括3个一级指标和19个二级指标。3个一级指标是“科学期刊经营管理水平”、“科技期刊学术水平”和“科技期刊编辑水平”,其中“经营管理水平”包括5个二级指标,“学术水平”包括8个二级指标,“编辑水平”包括6个二级指标。(参见图11)

图11　中国科学技术信息研究所“科技期刊综合评价指标体系”(1999)

资料来源:庞景安、张玉华、马峥:《中国科技期刊综合评价指标体系的研究》,《中国科技期刊研究》2000年第4期,第218页。

与1994年国家科委公布的评估标准相比,中信所构建的“科技期刊综合评价体系”有着明显的先进性。首先这一体系在对科技期刊进行“学术水平”评价时,广泛接纳了国际通行的定量评价指标,如“影响因子”、“总被引频次”、“即年指标”、“普赖斯指数”等。同时还结合我国科技发展的实际,增补了“基金资助论文比例”、“地区分布数”等指标。这些指标是建立在中信所长期实践的基础之上的,其编制的《中国科技期刊引证报告》(CJCR)已出版多年,在科技期刊学术水平定量评价指标的测定方面积累了丰富的经验。在这样一个背景下,构建这样一个评价体系可说是水到渠成。这一体系不仅切合实际,也在一定程度上代表着我国科技期刊定量评价的水平。其次,这一体系从“经营管理水平”、“学术水平”、“编辑水平”三个方面来对科技期刊进行综合评价,更切合科技期刊的特点。此前,国家科委公布的《评估标准》是从“政治水平”、“学术水平”、“编辑水平”、“出版水平”四个方面来评价学术类科技期刊的。其三,这一指标体系给出了综合评价值的具体计算方法,有较强的可操作性。特别是在指标权重的确定上采用“德尔菲调查法”和“层次分析法”相结合,通过构建比较判断矩阵、进行隶属度转换等方法,这些都代表了目前同类研究的最高水平。

当然这体系也有缺陷,最为突出的就是没有对科技期刊进行分类,似乎这一体系能够适用于对所有的科技期刊进行评价。其实不然。如果我们也把科技期刊分为“指导(综合)类”、“学术类”、“技术类”、“检索类”和“科普类”等五类,那么,就可以看出,这一体系其实只适合评价学术类科技期刊,并不适合对其他四类科技期刊进行评价。各类科技期刊都有着自身特点,不用说“学术类”科技期刊与“检索类”、“科普类”科技期刊明显不同,就是注重基础研究的“学术类”与注重技术运用的“技术类”科技期刊也有很大区别。因此不能用同一指标体系来对不同类科技期刊进行评价。顺便提及的是,中信所编制的《中国科技期刊引证报告》(CJCR)也没有对科技期刊进行适当的分类,把不同类、不同层次的科技期刊放在同一层面上来进行指标值比较和排序,这种做法是不科学的。这一点中国学术期刊(光盘版)电子杂志社《中国学术期刊综合引证报告》遵循的“同类相聚,同级相比”的原则,值得借鉴。^[17]建议中信所今后在构建和完善学术类科技期刊评价体系的同时,注重科技期刊的分类研究,努力构建出更为科学的科技期刊分类评价指标体系。

(三)中科院“自然科学学术期刊综合评价指标体系”

2001年中国科学院自然科学学术期刊评价指标体系研究课题组建立起“自然科学学术期刊综合评价指标体系”。^[18]其综合评价指标体系框图如下:

图12　中国科学院“自然科学学术期刊综合评价指标体系”(2001)

资料来源:自然科学学术期刊评价指标体系研究课题组:《自然科学学术期刊综合评价指标体系研究》,《中国科技期刊研究》2001年第3期。

该指标体系是目前见到的评价理念最为前沿的一种。这种前沿性主要表现在下列几个方面:其一,吸收了学界的最新研究成果,对期刊学术水平的评价首次采用了静态指标和动态指标相结合的评价方式。2001年,中国科学院植物研究所姜联合同志提出了两种定量评价期刊学术质量的动态指标,一是测定科技期刊稳定性程度的指标“稳定指数”,二是测定科技期刊发展趋势的指标“趋势指数”。^[19,20,21]该体系很快将其中的“稳定指数”接纳为期刊学术水平的动态评价指标,这样的“反映速率”是其他体系难以做到的。不仅如此,该体系还沿着这一思路,将自然科学学术期刊的评价指标分为“静态指标”和“动态评价”两个系列,并提出了另一个动态评价指标——“影响因子平均增长率”。其实,这个指标与姜联合提出的“趋势指数”,其目的是一致的,都是用来表征期刊学术水平的发展趋势。其二,该体系明确将评价指标分为“内涵参数”和“外延参数”,反映出该体系对指标间逻辑关系的深刻认识。如将“编校质量”、“标准规范”、“装帧印制质量”、“论文平均发表周期”归于“编辑出版水平”评价的“内涵参数”,将“社会效益”、“期刊获奖情况”归于“编辑出版水平”的“外延参数”,都很有说服力。实际上“内涵参数”是用以评价期刊的“前期编辑水平”,“外延参数”是用以评价期刊的“后期社会效果”。其三,一个体系两种用途。该体系有很好的包容性,可用于优秀期刊的评选,也可用于“知识创新择优支持”的评选。从框图中我们可以看出,两者评价的目的和侧重点并不相同,优秀期刊的评选侧重静态评价期刊的“编辑出版水平”,而“知识创新择优支持”的评选着重评价期刊学术水平的现状、趋势和发展潜力。此外,与中信所体系不同的是,该体系明确界定为“自然科学学术期刊”的综合评价,更具有针对性。

当然,这个体系也并非完美无缺。既然是从“内涵指标”和“外延指标”两个维度来评价期刊,那么在对期刊学术水平评价时也应从这两个方面来合理设置指标。框图中,“(静态)引文参数”、“(动态)引文参数”、“稿源特征参数”、“外延参数”被置于同一层面,不仅与框图左侧不太一致,也违背了“一次分类应坚持一个分类标准”的原则,四个指标之间关系表现得不够清晰。其实,静态“引文参数”和动态“引文参数”应归并于“外延参数”之中,在“外延参数”再分出“引文参数”和“收录参数”,在“引文参数”下再分出“静态引文参数”和“动态引文参数”。而“稿源特征参数”则应相应地改成“内涵参数”,与“外延参数”列同一层面。

除了上述几种体系外,北京大学“中文核心期刊”遴选体系也算是一种代表性的学术期刊评价体系(前文已述,此处不赘)。此外,国内还出现了几种“期刊引证报告”,如中国科学技术信息研究所编制的《中国科技期刊引证报告》(每年一本,已出8本)、中国学术期刊(光盘版)电子杂志社编制的《中国学术期刊综合引证报告》(每年一本,已出3本)、万方数据股份有限公司编制的《中国期刊引证研究报告》(已出1本)。这些“引证报告”虽未能对期刊进行多指标综合评价,但分指标公布了各指标值并进行了相关排序。这些“引证报告”采用的评价指标不尽相同,“来源期刊”的选择也有“大样本”与“小样本”之别,从中我们可以大致看出各家的种种努力和各自的价值取向。