探析影响软科学课题评价的人为因素

摘 要：概述了软科学研究课题评价中种种人为因素产生的客观必然性,包括质量的客观差异和评审人的偏见,认为目前流行的评审制度并非完美确很必要,关键是如何不断改进评审程序,逐步完善评审机制.

关 键 词：软科学研究评价评价方法人为因素

发展战略研究属软科学研究范畴.对这类研究课题（或开题报告,简称研究报告）的评价,不同的评价人,其出发的角度也不同.近年来,试图事先给定一个集多种评价指标于一体的体系框架,即将评价人的多种维度和视角囿于统一的评价规则内进行整合,在尽量避免人为因素可能诱发的种种偏见的前提下,从结果上体现出一定可比性的评价意见来,以保证通过评价的软科学研究课题具备高标准的质量和可靠性.然而,导致评价中人为因素产生的原因是多种多样的,不大可能期望一种同一的规范渗入到不同的认识结构中,特别是其中相当一些因素在目前通行的评审制度下带有不可克服的客观必然性.

一项软科学研究课题完成后,其技术报告通常要送请至少由7名同行业专家组成的评审委员会（或称鉴定委员会）进行评审,形式包括书面评审和会议评审.根据评审会议或评审人反馈回来的不同意见,组织者进行综合后提出较为公正、合理的评价结论.多人评审可以最大限度地减少因粗枝大叶或带有偏见性的意见而造成作出过高或过低评价结论的可能性.要使每一位评审人都客观、独立地作出判断,目前实行的通信评审即书面评审是一种较好的方式,而较多采用的召集评审人开会的方式,容易产生使评审人意见相互左右的情况,特别是目前几乎所有的评审会议在课题研究人员均不回避的情况下进行,要使每一位评审人直抒己见尤其是提出批评性意见简直是不可能的事.

由课题经费做预算向每一位评审人支出评审费,客观上助长了那些有利于评审通过的意见的提出.即使提出些批评意见,多数仅局限于文字的修缮、个别数据的再核实或是某些建议的重新措辞,很少涉及到实质问题.一种普遍的做法正在软科学研究课题评审中流行,即事先安排好评价结论的主要观点,比如是否达到了同类研究的领先水平,是否在某些方面取得了值得肯定的突破,是否填补了空白等.类似这些举足轻重的意见,只须授意某位评审人给以“关注”,写入最终结论便是“水到渠成”之事了.

逐渐形成这种趋向的一个实在的动因,是研究人员技术职务与工资晋升的需要.具备各类科技奖励是晋升的基础,奖励的类别和等级又直接取决于所完成的科研成果的学术水平、应用价值和效益.后两项内容的证明是相对灵活的,唯独学术水平一项却是在成果被评审时由诸位评审人确定的.一般情况下,学术水平的界定被认为是严肃的事情,一经确定后还没有更改的先例.成果所达到的水平往往成为研究人员追求的首选目标,特别是对软科学研究一类课题来说,在水平等级的评定缺乏硬性评价指标时,评审人的个人意见就显得十分重要了.而当评审人与被评审对象业务上有一定的关联、或个人交往甚厚,或其他因素牵涉其内时,双方不同的利益需求极易导致不负责任的意见的产生,对此目前还没有更好的约束机制.

另一方面,评审人的确定尚未形成“让贤”机制.很多情况下,评审人的选定过份看重其资历、知名度和技术职称的高低,这种选择标准恰恰最容易埋没完全能够胜任评审工作的较年青的杰出人才.事实上,评审人如果认为自己不能作出客观而有见地的评价,或者被评价课题的内容与自己的兴趣所在有利害冲突,就应该“让贤”.譬如说,某学者正在从事同一题目的研究,从而有可能被视为被评价人的竞争对手,而再去评价该课题就是不道德的.特别是对开题报告的评审,选一位也准备开展同一项研究的学者做评审人,更是要注意避免的.

曾有两位美国学者在谈到“研究论文（报告）的同行评审”制度时称之为先天性的不公正[1].他们将评审过程喻为朝黑夜开,能否击中目标全凭运气,结果取决于机遇而不是技术.另一位美国学者认为,同行评审无一定之规是不可靠的,因为评审人对研究报告的好坏没有统一的看法.不同的评审人有不同的认识论、方法论以及兴趣爱好.最终集中的评审意见相差甚远,以至一篇报告的命运可以决定于评审人的人选而不是报告本身的质量.事实证明评审人本人的理论见解影响着他们的判断,他可以因这篇报告论证了他原本赞同的观点而褒扬之至,反之则倍加挑剔[2].显然,美国学者分析的上述现象在我国软科学研究课题评价中也是存在的.

采取评审人匿名的方式,即组织者不同被评审对象公开评审人的姓名在同行评审中也使用过,其公认的有效之处是评审人因自己的姓名被保密而免受来自各方面的压力和干扰,从而作出诚实的判断.但这种方法操作难度较大,很多情况下评审人的姓名是保不住密的,近年来流行的做法是由评审组织者和被评价对象共同协商确定评审人选,这就使评审人匿名的方式在研究课题的评审中成为不可能.只有学术期刊仍然坚持匿名评审,如笔者曾多次收到向学术期刊投稿后返回的退修意见,这些意见的评审人签名均被编辑部隐去.当然,退修意见为一种参考,作者并不一定同意或完全同意,但匿名评审至少使作者避免了根据评审人的权威性或知名度来决定是否接受退修意见.

不赞成采用匿名方式进行评审的意见,主要基于评审意见公开化会使评审人更仔细更负责.由于评审意见最终要与被评审对象见面,研究人员往往对有名望的专家的评价更为重视,匿名有时会将问题复杂化或不利于有份量的专家评价意见被采纳.另一种情况,是匿名的内在危险在于一名不是很遵照标准的评审人可以灌用他的特殊地位达到自己的目的.检测如研究人员正好是评审人业务上的竞争对象,评审人便可借匿名之便对研究报告作出否定的评价,从而有可能扼杀一些从各方面来说都非常出色的研究报告,严重的会影响到所涉及的每一位研究人员的专业发展和职称晋升.

由此看来,问题的关键之一是如何选择评审人.我国软科学研究课题评价的组织者们大多倾向于由课题组提供一份被选名单,在此基础上由组织者根据所提人员的专业、工作单位和职称职务与课题组协商调整,尽管调整幅度不是很大.显然这种程序极易走上另一极端,课题组无疑会优先选择那些他们认为会提出对自己有利的评价意见的评审人,而这些评审人是否熟知与本课题相关领域的研究现状和理论水平、包括课题所使用的方法等都是无关紧要的,重要的是他的态度!实际上,很多软科学研究课题的评价结论往往过高,不能如实反映本身的水平,这与评审人事先经过“优化选择”不无关系.

理想的情况是,评审人应从整个“科学界”挑选,而不应仅限于一小部分“圈内知名人士”.为了保证拥有足够的可选人,排除挑选过程中有意识或无意识的偏见,组织者应着手建立评审人的个人档案,对评审人有步骤有计划地进行培训,定期对评审人进行评价,这种做法在国内已得到广泛认同,不少评审组织者甚至开始使用计算机挑选评审人.被用来选择的评审人,一般都是学科或专业领域内的学术带头人或有造诣的专家,他们熟知所属专业或学科的发展历史、现状与趋势,能够准确地判断研究报告的思想性、科学性、创造性、理论与学术价值、实用性、存在的主要问题与通过评审后可能产生的影响.就个人品质而言,选择评审人要重才更重德,尽可能把那些对学科发展有奉献精神、作风正派、不计个人名利、勇于支持新生事物、业务精深、学术思想开阔的人选做评审人[3].同时,组织者还须特别注意评审人群体的学科覆盖面和年龄结构.

很显然,通过改进选择评审人的程序和做好必要的准备,提高评审人的可考察性,完全可以减少造成偏见的来源,但无法将其消除,这就引出问题的关键之二,即如何明确评审的标准和方法以提高不同评审人的意见的一致性,从而在某种程序上抵消尚余的偏见.为此,不少学者陆续提出大同小异的软科学研究综合评价指标体系,这一点业已得到（组织者）的认可,各级科技成果管理部门专门制订了“软科学研究成果评审意见书”,用以评审、鉴定研究成果并作为申报各类科研奖励的重要依据.

“软科学研究成果评审意见书”规定了4项评价指标,即：系统性、完整性、科学性；创造性及水平；学术意义及应用价值；难易程度.每项评价指标又给出5个档次的分值,评审员根据与分值相对应的说明给各项指标打分.由于详细划定了总共20个档次的评分标准,就可能想到的方面而言,这份评审意见书的设计可说是较为合理的.然而实际操作中,评审人给出的分值离散度很大,以致出现了组织者不得不在适当的范围内通过讨论缩小各位评审人的意见差距后进行第二次打分的现象.这充分说明,由于对软科学研究成果的构成看法不一,甚至有实质性的区别,不同的评审人对研究人员以往的研究质量、对什么样的研究路线最为科学合理以及对研究方法是否得当,做出不同的判断是极为正常的.如果被评审对象是开题报告的话,且得出下述结论是毫不奇怪的：一项开题报告的命运大致一半是由申请的性质特点和主要研究人员所决定的,另一半显然是由“评审人选”这种随机的因素所决定的.

影响软科学研究课题评价的人为因素,甚至还不能排除许多扭曲了评审制度本意的“怪圈”.比如,正常的情况下,被评审人和其所在单位的知名度和以往的成就,常常使评审人从开始就产生一个表明被评审人能力的好印象,他们可能无意识地对知名的研究人员采用了较为宽松的衡量标准.而实际中恰恰是一些已经有了名望、成就和申请研究课题并不十分费力的学者,不愿再花过多精力去为获得高的评价和争取新的课题而显示他们的工作质量.再者,如同其他各个学科领域的研究活动一样,软科学研究特别是发展战略研究必须有创造性思维,当研究人员去孜孜追求成果的创造性时,疏不知不少评审人一般只喜欢对现有知识稍加增添,不喜欢对已有理论进行挑战的、大胆的、有创见的观点.尽管要区别真正创新意义上的科技进步与不充分的研究并不是一件容易之事,但任何真正创新的事物在其走向成熟过程中屡遭不公正的评价却是事实.

综上所述,软科学研究课题评价中的种种人类因素是一种客观存在,其产生的原因如此复杂多样,既有研究报告本身质量的客观差异,也存在评审指标量化不够科学[4],更有评审人的偏见.这种制度虽然并非完美,特别是目前的评审,普遍缺乏对被评审人以前的研究成就和所受教育程度的基本估价,但评审确是必要的,目前的评审方法流行的广泛程度也说明了这种制度在某些方面是成功的.它的不足之处反映了判断的困难、评价标准的不一致以及保证所有评审人既胜任又正直之不易.即使为完善这种制度继续做各种努力,评审过程的某个环节必然是主观的.重要的是,不论是研究人员还是评审人,应认真思考评审制度的利弊,从意识上建立起防止滥用这一制度的机制,减少而不是怂恿评审过程中的欺骗行为.

基金项目：发展战略研究方法体系及其立论基础；国家软科学研究项目（2010GXS5D232）.