学术研讨

人文社会科学评价:评什么,怎么评?

发布:编辑研究部 发布日期:2015-03-19 阅读:283263

 高寿仙

    中国的人文社会科学评价正在矛盾中向前行进:一方面,出现了越来越多的评价机构,推出了越来越多的评价体系,而且这些评价体系被越来越多的学校和科研单位视为决定刊物等级和论文水平的最重要甚至唯一的标准;另一方面,围绕各种评价体系的争议和质疑持续不断,而且批评和否定的声音似乎有越来越强的趋势。其实,任何一种评价方法和指标体系,都各有优势又各有局限,尽管可以不断加以改进,但永远也不可能尽善尽美,关键是要对这些方法和指标有一个客观准确的认识,用其所长而不求全责备。

评价对象 :文、刊、人、机构

    在职称评定中,科研成果的计量指标当然十分重要,但未必是决定性的,主要还是以专家评议为核心的定性评价,是对一位学者学术水平和素质的综合考量。

    笔者认为,就人文社会科学的评价对象而言,大致可以分为四类,即文、刊、人、机构,评价不同对象需要不同的方法。学术机构评价涉及因素较多,本文暂不讨论,只针对前三类对象略作述评。“评文”,即对某一论文或专著的评价。这种评价应用场合最为广泛。如学术期刊审阅遴选稿件,就是其中之一,过去主要依靠专职编辑,近年越来越重视发挥同行专家的作用。有的期刊建立了双向匿名评审制度,这种制度虽然不能保证所用稿件都是优秀的,但可以有效防止人情稿、关系稿,保住质量底线。各种类型的科研成果评奖,大多也是采用同行评议的方式。“评文”的具体标准,各个单位和场合不尽相同,但大致原则是相通的。同行评议指标又分为主要指标和辅助指标,前者包括学术创新程度、论证完备程度、社会价值、难易程度四项,后者包括课题立项、发表载体两项;文献计量指标包括三项,即Web下载频次、被他引频次、被转载次数。这套指标体系较为合理,可操作性较强,虽为评价论文设计,实际也适用于专著。例如,期刊选用稿件时,可参用同行评议的四项主要指标;科研成果评奖时,则可以定性评价与定量评价相结合,完整使用这个指标体系。

  “评刊”,即对某一学术期刊的评价。国内现有的几种核心期刊的评价方法均以定量评价为依据、专家定性评审为补充,定量指标有繁有简,但大同小异,包括被引率、转摘率、Web下载率、影响因子等。CSSCI来源期刊则主要以“他引影响因子”和“总被引频次”这两个定量数据为依据。前不久中国社会科学院中国社会科学评价中心发布的《中国人文社会科学期刊评价报告(2014)》,将入选期刊分为顶级、权威、核心、扩展四个等级,评价指标分为“吸引力”、“管理力”、“影响力”三大系列,几乎囊括了学术期刊所能涉及的所有方面,有望成为一种最具影响力的评价体系。此外,政府相关部门遴选的几种期刊名单,如教育部的“高校哲学社会科学名刊”、国家哲学社会科学规划办公室的“国家社科基金资助学术期刊”、新闻出版广电总局的“百强社科期刊”,以及全国高等学校文科学报研究会评出的“社科名刊”、“精品社科期刊”等,也是对期刊的评价,评定时均参考了核心期刊和来源期刊的数据。

  “评人”,即对某一学者的评价。在各种学术机构或学术圈子里,这种评价是一种日常性的存在,但大多是印象式的。某学者得到的同行评价的高低,与其发表的论著数量,以及发表刊物的档次和出版单位的级别,肯定会有一定关系,但并非都是正相关的。制度化的评人,在职称评定中表现得比较典型。目前,不少单位要求申报者提交两三种“代表成果”,然后请相关专家进行匿名评审,最后由本单位的职称评审委员,根据专家评审意见和本人素质综合考量,投票产生晋升者。在职称评定中,科研成果的计量指标当然十分重要,但未必是决定性的,主要还是以专家评议为核心的定性评价,是对一位学者学术水平和素质的综合考量。此外,像中国人民大学“吴玉章人文社会科学终身成就奖”那样的奖项,旨在表彰在人文社会科学领域作出卓越贡献的学者,是对一位学者的学术成就和贡献的综合性评价,也属于“评人”的范畴。

 

评价过程

  

    根据目的选用适宜的方法和指标

 

  尽管学术评价多种多样,就评价手段而言,无外乎两种,即依靠“人脑”的“专家评议”和依靠“电脑”的“文献计量”。

  各种学术评价的目的不同,评价指标和方法自然有异。学者们在评论各种评价体系时,也应首先把握其特点和功能。比如,“核心期刊”是一个文献计量学概念,其功能是以学科分类为基础,筛选出一批发表学科论文较多、使用率较高、学术影响较大的期刊,但“不具备全面评价期刊优劣的作用,不能作为衡量期刊质量的标准,更不能作为学术评价的标准”;而CSSCI则是一个引文数据库,“用来检索中文人文社会科学领域的论文收录和被引用情况”,显然也不是对期刊的全面综合评价。有些批评者指责某核心期刊或来源期刊中的某些论文质量不高,要求这些评价机构能够甄别低质量的学术论文,甚至全盘否定这些评价体系存在的价值,这就是不顾它们的本来功能,要求它们发挥不可能做到的作用。顺便说明,因为受到诸多批评,各评价机构纷纷表示要增强学科专家作用,但在这种以计量为核心的评价体系中,学科专家只能起到有限度的、辅助性的矫正作用,否则就会削弱这些体系的客观性和科学性,也影响其原本功能的发挥。目前,只有中国社会科学院中国社会科学评价中心设计的指标体系,可以算得上是对期刊的全面综合评价,但其中有些指标,如“编辑人员的创新水平、敬业精神”,“名誉顾问、编委会成员等关系网络图”,等等,怎样准确测量和评估,还需要下大力气研究。

  目前最受人诟病的,可能是科研管理部门“以刊评文”,一些对核心期刊和来源期刊的批评也是由此连带引起的。这个问题也要分不同层面来看。首先,科研管理部门针对科研成果制定的计分标准和激励政策,实际上只是常规性的科研管理,而并非对成果质量的评价。因为一个单位的科研成果,往往分属多个学科,形式多样,数量众多,由任何人、通过任何程序,都不可能给所有成果确定一个准确的分值,科研管理部门只能确定一个大致合理的标准,而核心期刊和来源期刊无疑是最为合适的参照依据。其次是“评文”场合,有些单位机械地以发表刊物是否核心、入选几个核心为依据,确定论文获奖档次,这才属于对核心期刊的误用,因为核心期刊上也会有劣文、非核心期刊上也会有良文,这种场合应以专家的定性评议为主。再次是“评人”的场合,现在很多单位都规定,必须在某档次的核心期刊发表若干篇论文才具备申报某级职称的资格。在“僧多粥少”的情况下,这种限制并非全无道理,但实际上也是对核心期刊的误用,最好还是不预设门槛,通过专家评议确定申报者的学术水平。

  尽管学术评价多种多样,就评价手段而言,无外乎两种,即依靠“人脑”的“专家评议”和依靠“电脑”的“文献计量”。两种方法各有利弊:“人脑”的长处在于“专业性”,由具有相近专业背景的同行进行评议,对成果的创新程度可以做出更加准确的判断,而其短处在于“主观性”,个人的知识储备、价值观、情感等,都可能影响到评价结果;“电脑”的长处在于“客观性”,只要设定了相应的检索条件,就可以得到一系列客观数据,而其短处在于“机械性”,它能统计数量却无法判断质量,被引用或摘转频次相同的两篇文章可能学术含量差别很大。因此,在进行学术评价或者对学术评价体系进行评价时,必须根据评价目的选用适宜的方法和指标,不能“以驴唇去对马嘴”,也不能“把牛头安到马身上”。

   (文章来源:《中国社会科学报》20150311 第712期    作者系北京行政学院校刊编辑部主任、《新视野》主编