人文社会科学评价中“质”与“量”相结合的评价框架

[摘 要]在对人文社会科学评价中的主要方法进行分析的基础上,针对当前人文社会科学评价中对数量和质量(质和量)的评价失衡的问题,探讨评价过程的复杂性特征,定性与定量的方法属性,着重分析人文社会科学评价中质与量的关系,并在此基础上提出一个定性与定量相结合的评价框架.

[关 键 词]科学评价　人文社科　定量分析　定性分析

[分类号]G250

尽管当前国内人文社会科学研究领域硕果累累,但伴随的粗制滥造、低水平重复及抄袭剽窃事件却层出不穷.从总体上看,人文社会科学的评价失范状态是造成这种“泡沫学术”的原因之一,特别是人文社会科学的评价中未能处理好评价对象“质”与“量”的关系.关于这点已有不少学者发表了自己的意见,例如：叶纪元指出,目前学术评价上存在着质量和创新力评价弱化、过分数量化、过分形式化、过分行政化和评审专家人情化、评价结果软化等问题；刘大椿指出,造成现行人文社会科学评价管理中学术成果“质”与“量”评价倒置的原因除了管得太死、评价的角度太单一等因素外,更重要的是理性缺失对人文社会科学评价视角的侵蚀,忽视更应该追求的东西――搭建“量”与“质”的桥梁.因此,从微观层次上厘清人文社科学术评价中的“质”与“量”的关系及其结合的方法,即寻求定量分析与定性分析相结合的方法,对促进人文社会科学评价的健康发展具有重要意义.

1　人文社会科学学术评价的主要方法

1.1　以定性为主的评价方法

定性评价是指某专业领域的专家基于自身对本专业的认知、理解、经验以及造诣等对被评价对象给予评判.定性评价的最主要形式就是专家评议,评议专家判断时的依据一方面是评价客体即参评成果所反映出的信息,另一方面是评价专家即评价主体储存在大脑中的学术信息与经验信息.这两种信息在专家的责任心与职业道德指引下进行复杂的信息匹配与价值判断,从而得出或评语或打分等各种形式的评价结论.

尽管同行专家是最具评论资格的主体且评价时能深入到评价对象的深层内容,但这种评价方式不能避免专家判断时的个人主观性.专家评价的个人主观性包括多个方面,首先这种评议是基于业内专家的个人造诣,而人的能力总是有限的,即使专家对本研究领域有深厚的积累,也难以对所有的研究方向面面俱到.其次,在中国这个人情网络强大的国度里,个人往往难以避免人情世故的影响,在对本身具有主观性色彩的人文社会科学评价中难以脱离这种负面影响.往往导致对评价对象做出有失公平的评价.再次,随着研究领域的拓广和研究方向的日益精深,对任何评价个体来说评价工作都是一项复杂的工作,并且多个评价者难以达成共识导致,从而评价的信度降低.

1.2　以定量为主的评价方法

定量评价方法主要是用科学计量法借助一些能表征文献科研贡献的指标通过统计计量进行评价.目前科学计量的指标越来越多地与多种管理工程中的决策方法相结合,形成更为综合的定量评价方法.对于人文社会科学而言,论文、著作、研究报告等是研究成果的最主要的载体形式,计量这些成果的数量关系成为衡量科研工作质量的重要途径.因此,科学计量学是目前人文社会科学评价的重要方法.

以引文量为基础的文献计量分析又是科学计量中常用的基本方法之一,它是利用各种数学和统计学的方法以及比较、归纳、抽象、概括等逻辑方法,对期刊、论文、著者等各种分析对象的引用或被引用现象进行分析,以揭示其数量特征和内在规律的一种科学计量研究方法.但目前文献计量学的发展阶段仍停留在文献统计数据的计量基础之上,这种基于统计数据的计量结果可以辅助文献的管理和应用.通过引文量以及以引文量为基础的统计指标进行人文社会科学评价目前还存在很多不妥之处,例如,常用的影响因子测度的是论文发表两年内的被引情况,而人文社会科学的引用周期存在差异且应用周期比起自然科学长得多.

1.3　定性与定量方法的属性对照

以同行评议为代表的定性评价方法和以科学计量为代表的定量评价方法在评价的理论、出发点以及评价效果上都有诸多不同之处,可以视为两种相对独立的方法.两种方法都有各自的优点,但同时又有自身的不足和缺陷,因此依靠单独定性或定量的评价方法难以得到满意的评价结果,有必要找出两者的主要差异作为相互辅助的基础.通过对目前人文社会科学主要评价方法的分析,得出了两种方法的主要差异(见表1).

从表1可以看出这两种相对独立的评价方法之间存在诸多差异,而这些差异可以形成互补.总体而言,目前定性的专家评价方法比起偏定量的科学计量方法更能较客观地对人文社会科学进行评价,这也是目前人文社会科学重大项目评价的主要方法.科学计量方法在数据处理上多借助于统计软件,因此其效率比前者高而成本却远比前者低.但同行评议和科学计量法作为两种主要的评价方法在人文社会科学的评价过程中不存在孰优孰劣的问题,目前的科学计量方法之所以存在诸多争议是由于未能将方法更好地适应人文社会科学的评价需要.下文将以人文社会科学学术评价的特征作为切入点,具体分析专家评议法和科学计量法应该如何相互支撑实现人文社会学科的更客观、满意的评价.

2　人文社会科学评价过程的复杂性特征

2.1评价过程中价值的短期不确定性

人文社会科学研究的是具有模糊性和不确定性的复杂人文社会现象,在研究过程中具有主观性和随机性等特点.目前存在多种关于人文社会评价的描述,其中娄策群将评价描述为一种价值判断过程,一种基于事实判断之上的价值判断、一种共识性价值认定的方法、一种学科发展的知识自觉、一种科研管理手段、一项社会经济活动的核算,这种描述方法比较全面地揭示了人文社会科学评价的概念和内容.而人文社会科学的评价主要是指对评价对象的实质内容进行深入评价,其核心是对“创新能力”的评价,而评价结果的客观性最终依赖于时间的检验.人文社会科学的重大成果不能像自然科学那样能起到立竿见影般的预期效果,其成果的发挥是循序渐进的.只有当社会大多数主体接受并使用时,它才能真正发挥功能.而这一过程对人文社会科学而言相对是漫长的.要在短时期内给予科学客观的评价需要更多的信息和更先进的评价方法来处理这些庞杂的信息.

2.2　评价过程中的主观复杂性

2.2.1人文社会科学价值的主观复杂性评价过程是对评价对象已经发挥的、正在发挥的和潜在发挥的功效的测度、判断和认同的过程.价值从哲学上讲是指在主客体相互关系中,客体是否按照主体的尺度满足主体需要,是否对主体的发展具有肯定的作用,这种作用或关系的表现就成为价值.由于评价是主体依据一定的价值标准对客体进行评估,因此人们进行价值测度活动时不仅要从当前的客观事实出发,依据客观规律对事物的客观属性做出测度,还要根据自身群体的需要预先设想这种评估和选择可能达到或实现的目标.使得评价结果能够满足人们的需要,并能给人们带来利益,即评价要主观符合客观的同时,也要求主体对客体的判断符合主体的需求.

人文社会科学评价中的主观性是本身具有的,因为评价中的价值是评价主体主观感受到的,是人们对客观存在的事物从各种各样的分析中主观抽象出来的.这种主观性有其积极的意义也有负面的影响,一方面,评价主体可以发挥主观能动性补充评价过程中的信息不足,并且可以将不可直接评价的因素转化为间接测度的指标；另一方面,这种主观性也导致了评价过程中的个人主观性.

2.2.2人文社会科学评价规范的主观复杂性评价主体评价的不是评价对象的载体而是载体承载的内容价值,是主客体间客观实在的价值关系,评价活动的目标就是解释这一价值关系.评价尤其是科学意义上的评价是对价值判断的规范化和精确化,不再是个体的任意评论或某种纯粹主观情感、口味的表达.科学评价呈现为参照一定标准.依照一定程序,对评价对象的价值进行的估量.价值测度结果取决于两个方面：一是价值因素,即评价者的价值标准；二是事实因素,即客体或评价对象的客观活动记录.

由于评价主体的价值观和感受程度的不同,对相同的评价对象也会形成存在诸多差异的评价结果,但同时人们在价值观念上又会表现出不同程度的共同性和客观性.这使得对特定事物形成群体判断成为可能.人文社会科学评价的规范和标准是专业领域科学共同体共同认可和遵照的,因此在以求真创新为重的人文社会科学评价中,只有通过同行评议才能解决以共识性批判为手段的价值认定,而目前以数据统计为主的科学计量方法还难以识别评价对象的创新程度.另外有些难以量化的评价指标需要通过科学共同体以主观方式将其转化为可以评价的间接性指标.

3　定性与定量评价的方法属性分析

3.1目前评价方法存在的主要问题

3.1.1正视引文分析的功能角色成果被引用是最普遍的一种学术现象,论文引证数量也是目前最常用的评价成果质量的方法.引文分析在知识传播中有着知识导航的作用,可以系统地阐述并分析学科结构、学科定位及学科特征,通过引文网络可以发现知识传播和发展的脉络,为科研工作者提供所需的支持性材料,这才是引文的目的.目前通过引文分析评价科研成果的价值是对引文分析的真正功能的误用.至少以引文分析为代表的科学计量方法目前还难以承担起科学评价的任务.由于文献引用的目的和作用存在诸多差异.粗略的划分包括概念的引用、评判性引用和文章观点的引用等,因此并不能说明被引量大的论著就一定比被引量少的成果上乘,因为作者对论著的引用具有复杂的动机.

概念性引用作为引证文章的列举性引证,并不能直接说明被引用对象内容的价值,而批判性引用更是对被引文的负面性批判.将引文分析作为评价的参考指标,分清引用类型尤其重要,只有提出了具有创新性论点而被引用作为支撑性材料的引用类型,才可说明被引文献的指导性、创新性和其价值的被肯定性,也只有这种情况下才可将引文量视为对引证文献做出了贡献而作为评价的指标,因此评价科研成果价值的方法是深入了解其内容.以引文量为基础的统计数据只能间接反映被评价对象的价值.因此,需要对引文量作进一步分析,而不能直接作为评价的指标.

3.1.2综合性评级方法的使用需更多验证

为了能将定性得到的数据和定量得到的数据结合起来,目前研究人员多引用一些用于工程管理和决策的方法以追求能通过合理的方式将两种数据结合.尽管这些方法都借助于严密的数学逻辑推理,但这些工程评价方法用于评价带有主观人文性质的评价对象时往往难以凑效,并且还存在诸多不妥之处.因此,在应用这些综合评价方法对人文社会科学评价时,需要根据评价的目的进行适当的改造,只有经过验证可行的方法才可引入到人文社会科学的评价工作中.

3.2　评价中“质与量”与“定性与定量”的关系

目前,科学评价多注重定性与定量方法的结合,但是“定性与定量”并不是等同于“质与量”.“质与量”是指学术评价中的两个角度和层次,而“定性与定量”是指评价中所用的两种方法.评价方法怎么写作于评价目的,而定性与定量方法也不能孤立使用而需要相互结合.对复杂对象的评价过程中,只有同行专家才能对评价对象的“质”做出评判,至少目前离开同行专家专业深入的甄别,仅使用统计方法是有缺陷的.同时.对“质”的判断不但需要定性的分析,也需要通过相关统汁数据提供更全面客观的信息,而以客观数据为基础的定量方法是摆脱专家个人主观性影响得到客观结果的重要途径.简而言之.只有通过定性分析与定量分析的完善结合,才能满意地得到评价对象的“质”.

3.3　人文社会科学评价的基本过程结构

针对人文社会科学评价的复杂性,需要将评价过程中评价对象的价值构成分解,并将专家评议和科学汁量方法的属性分解.通过这种分解方式深人人文社会科学定性及定量评价方法的使用过程,从而探寻两者结合的契合点.如图1所示：

从图1可知,在人文社科学术评价中,应根据评价对象自身的特征将其价值构成分解.依照一般的分类理论将评价对象的价值分为理论价值、应用价值、创新性价值和功能性价值等主要指标.在实际评价过程中,需要将价值构成分解到更为详细的指标体系.指标的选取要便于专家的量化,这样才能让同行专家给予更客观的评价.

通过解析专家评议和科学计量各自的方法属性和特征,构建出专家评议和科学计量在评价中的角色和位置关系.通过科学计量以及以能综合计量“影响因子”、“H指数”以及“特征因子”等文献计量指标的综合评价结果作为专家评议的参考,可更好地消除专家在评价过程中的个体主观性和科学计量方法在评价过程中对“质”的忽略.

4　定性与定量方法相结合的评价框架

4.1　评价过程的前期分类工作

4.1.1　评价对象的合理分类

由于人文社会科学研究领域庞大.不同领域、专业的评价指标体系应该针对自身的特点,但各个专业领域都有相对独立的评价原则,凶此不同领域的对象一般不具有比较的意义.这就需要对评价对象进行评价体系分类.首先,基础性.理沦性研究和应用研究不能共用一套评价标准和指标体系.相对而言,应用性研究更重视于短期受益,而基础性理论研究更侧重其长远的理论指导意义.如果用应用性项目的指标衡母基础性研究的价值,其结果势必是适得其反.

4.1.2　评价深度的层次划分根据前面的讨论,目前人文社会科学的评价从方法范畴上可主要划分为专家评议和科学计量两种.从评价深度上则可分为对评价对象外部数量特征的计量统计和对知识内容或知识单元进行的“质”的评价.前者是简单、粗糙的“量”的统计,是以发表论著数、被引频次、影响因子、即年指标、期刊影响广度、地域分布、半衰期等多种指标进行的形式评价.对“质”的评价不能对科研成果断章取义,而是需要深入到评价对象的知识单元层次,最终对评价对象形成基于知识内容的评价结果.

人文社会科学评价的宗旨是对评价对象的价值做出论断,以怎么写作于评价的目的,对人文社会科学而言就是科研成果对于社会群体影响力的评价.“质”是“量”的前提,对于科学评价的评价对象来说,没有“质”的保证,“量”越多,往往越容易引起鱼龙混杂而造成科研资源的严重损失.学术科学评价的目的是给予评价对象合理的价值评估,对评价对象的“质”给予合理的定位.从哲学意义上讲,任何评价对象都通过一定数量的价值单元构成其整体价值,而同时评价对象任何“质”的特征都要依托于可以统计的“量”.因此不存在没有数量因素的质量,反之亦然.“质”与“量”的共存关系决定了评价过程中两个方面都要兼顾.

4.2　定性与定量方法相结合的评价框架

通过上文的分析可知,在评价过程中定性和定量方法需要结合使川.在此笔者使用倒置树形构建人文社会科学评价过程巾定性与定量方法结合的评价框架,依据评价信息资源的特点交叉使用两种方法,两者结合的评价框架如图2所示：

在树形结构中将末端的评价指标视作树形结构的叶子节点.从上文分析可知综合评价方法有自身内在逻辑机理,而单一层次不能全面体现评价对象的价值,但同时层次过多会减少方法的稳定性和准确度,目前一般使用评价指标结构.在评价过程中从叶子节点开始,定性及定量的交叉应用直到树形结构的根节点即评价的最后结果,其具体方法如下：

第一步,叶子节点价值评价.在评价过程中运用专家评议等定性方法对叶子节点的价值在知识单元层次上给予评价,依靠参加评议的科学共同体做出评价对象的创新性以及其他价值的判断.同时,使用科学计量等定量方法得出评价对象“量”的特征给予专家参考,确保整个评价过程建立在“质”的基础之上.叶子节点的评价是评价过程中最为关键也是最为复杂的一步,它犹如建筑物的地基,是整个评价是否科学客观的基础,在这一步中要从微观着手,以定性方法为主,并以定量方法为辅.

第二步,指标层的价值评价.在第一步的基础上运用综合评价方法得到叶子层级指标的价值,即子指标层的评价值.将这一计算结果作为计算父指标层的评价数据,继续运用综合评价方法处理父指标层的评价值,并由同行专家给予价值的及时修正.在这个过程中继续运用科学计量方法形成对专家评价的辅助数据,最终得到父指标层的综合评价值.

重复这一过程,由此通过定性和定量方法的交叉使用直到树形结构的根节点,得到计算结果即为评价对象的最终评价值.在这个由下及上的评价过程中综合使用了专家评议及科学计量方法,并通过综合评价法使得层与层之间的评价联系起来最终得到评价结果.

5　展望

人文社会科学因涉及人的主观价值感受,因此与自然科学相比评价的方法和过程更为复杂.现阶段其评价对象的个体价值需要同行专家来评估,但专家评价存在主观性、专家的知识及喜恶偏好等因素的干扰,评价的客观性和信度等将受到影响.计量分析虽然客观,也有大量的数据与指标可用,但用于评价的计量方法与指标都明显存在着较大的局限性.因此.仅依靠同行专家评价或者仅依靠计量方法评价都是不完善的.因此,科学有效的方法是将两者有效地结合.目前,对于人文社会科学评价存在的偏数量.重短期的问题,需要从事科学评价的科学共同体制定出评价理论体系和评价的规范性制度,从宏观上完善评价准则和评价方法,给人文社会科学评价以指导和规范；从微观上继续探索人文社会科学评价中定性及定量的结合方法.本文虽然提出了一个两者结合的评价框架,但专家评价的方法与过程需要进一步研究,以形成完善的理论与规范的操作方案；同时,不同层次的科学计量指标与方法也需要作进一步的研究与筛选.并需要通过实践不断创新与发展.