文评价中影响因子搭便车现象

点赞:4573 浏览:14512 近期更新时间:2023-12-29 作者:网友分享原创网站原创

〔摘 要〕影响因子IF2被广泛用于学术评价,IF2采用所有论文的被引次数计算均值,基本检测设是论文被引用次数大致相当,但实际上这一检测设绝大多数情况下并不成立,由此出现论文评价中的影响因子搭便车现象.以2010年JCR收录人工智能领域60本期刊数据为基础,得到同一分组期刊TM-IF5绝对值比IF2大幅度降低,最大降幅80%、多数为50%左右,表明论文被引次数不均匀分布对影响因子计算结果影响显著,换言之影响因子搭便车现象普遍.因此,影响因子只适用论文的短期评价,此外需要采取辅助措施来降低影响因子的评价误差.

〔关 键 词〕学术评价;影响因子;截尾影响因子;搭便车

〔中图分类号〕G255.2〔文献标识码〕A〔文章编号〕1008-0821(2013)02-0012-03

影响因子IF2在全球已被广泛应用于学术评价、绩效考核、学术资源配置,著名生物医学期刊《ThePLoedicine》在2006年发表题为《TheImpactFactorGame》的社论指出:“Theimpactfactorsofjournalshebeenusedtodecidewhetherornotauthorsgetpromoted,aregiventenureorareofferedapositioninadepartment,orareawardedagrant.Insomecountries,governmentfundingofentireinstitutionsisdependentonthenumberofpublicationsinjournalswithhighimpactfactors”.

从统计学角度看,影响因子指标的数学实质是以期刊发表全部论文的被引预期值(也就是均值)来替代对每一篇论文本身的直接评价.但是,统计学早已表明,均值容易受到少数偏离值影响,具体到期刊影响因子计算就是少数高被引论文拉高了大部分论文被引预期,《晶体学报A》就是一个很好的例子.

SCI收录期刊ActaCrystA(中文名《晶体学报A》),2008年该期刊影响因子只有2.05,2009年却高达49.93,影响因子1年之间竟然增长24倍,堪称世界学术期刊中的奇迹.原因是德国学者Sheldrick开发的晶体结构分析程序SHELX以及BrukerSHELXTL被学术界广泛使用,2008年Sheldrick在SHELX软件主页上写到“Atlastthereisapaperthatshouldbecitedwheneveranyprogramthatbeginswith“SHELX等”(includingtheBrukerSHELXTL)isused:AshorthistoryofSHELX.Sheldrick(2008).ActaCryst.A64,112-122.很多程序使用者撰写论文时都按Sheldrick要求引用该文,于是2008年、2009年2年该文获得6605次引用,而两年间《晶体学报A》发表122篇论文,6605被引次数除以122,影响因子从2猛升到50.ACTACRYSTALLOGRA影响因子在2012年又大幅度下降为0.6.


那么,《晶体学报A》现象是不是个例与孤案?本文拟从学科领域的水平与层次对此进行一个案例讨论.

1数据

1.1期刊来源

目前全球最有代表性的国际性引文数据库即美国ISI公司的WOS数据库、欧洲Elsiver公司的SCOPUS数据库.学科领域选择考虑本文篇幅限制,选择JCR收录期刊数量较少领域,此外还考虑与SCOPUS数据库的共同收录情况,最终选择计算机学科下的人工智能领域,计60本期刊.

1.2数据来源

2010年度JCR报告取得讨论期刊的影响因子、在SCI数据库中获得计算截尾均值影响因子值相关数据.由于工作量较大,没有扣除期刊自引以及只计算研究论文(researchpaper或originalpaper)的被引次数.

1.3方法

描述1组数据整体特征的描述统计指标很多,其中不容易受到个别偏离值影响的最常见统计量有调和均值、众数、中位数、截尾均值等.考虑到数据收集方便程度以及与影响因子计算方法的平滑衔接,选择截尾均值.本文将截尾均值比例确定为5%的原因是:统计学上一般认为5%是小概率事件,计算1本期刊发表95%论文被引次数均值已经有足够大代表性.

对于1本期刊去掉最高被引与最低的合计5%论文被引次数后计算的影响因子(为行文方便,以下使用英文缩写简称TM-IF5)与没有去掉之前的影响因子相同或者变化不大,则自然说明该期刊论文被引情况相同或者很接近,影响因子搭便车问题不严重可以接受.统计时间确定为5年的原因是:多数学科的多数论文被引高峰都出现在发表后5年之内.当然也可以根据研究与科研管理的实际需要采用其他统计时间.

进行分组的必要性与理由在于:(1)期刊影响因子本身是对论文质量的一种间接评价方法,不宜过度强调影响因子之间的细微差别.(2)同一学科领域内部的期刊影响因子差异不大,排名对取值敏感,很小的绝对值差别会导致较大的排名差异,分组对影响因子取值变化敏感度大大降低.(3)分组讨论也有利于抑制数据统计等各种误差.(4)除了影响因子最高的几本期刊外,其余绝大多数期刊影响因子分布比较均匀,没有表现出很明显的聚类趋势,因此采用最为直观的绝对值分组.

影响因子、截尾均值影响因子均分5组,由高到低为ABCDE.影响因子分组标准直观的为:大于4为A组、3~4为B组、2~3为C组、1~2为D组、小于1为E组.截尾均值影响因子分组标准为:大于2为A组、1.5~2为B组、1~1.5为C组、0.5~1为D组、小于0.5为E组.两个指标分组尺度不同的原因是:截尾均值影响因子对影响因子进行了扣除,一般地一本期刊的截尾均值影响因子会小于其影响因子.表12010年SCI人工智能领域60本期刊分组

分组

由表2可以看到,同一分组期刊TM-IF5值比IF2值大幅度降低,A组降低幅度最大为80%之多,B组为25%,其余CDE组均为50%,非常接近.比值越小说明少数高被引论文拉高期刊影响因子的程度越严重,表2数据表明上述期刊中大部分论文被引次数不高、论文之间的被引次数差异很大,也就是说论文质量存在较大差异,不能因为都发表在同一本期刊上就认为论文质量相当.

2.2对比分组变动情况(表3)表3IF2与TM-IF5分组变化

表3显示,分组等级变化最大的是A组,变化最小的是E组,其余中间水平各组变化程度大致相当,在50%左右.出现上述变化格局的原因很明显:影响因子没考虑论文被引次数的内部差异,而高影响因子期刊往往由少数高被引论文拉高影响因子,按照截尾均值影响因子进行计算,少数高被引论文被剔除计算,所以A组期刊分级情况变化最剧烈.同样道理,E组期刊被引次数整体少,内部差异变化也不大,故而E组分级情况变化最小.

表46本期刊对比

编号11期刊名称11影响因子11分组11截尾均值

表4显示,编号为3、4、5、6的4本期刊影响因子与截尾均值影响因子之比均在100%左右波动,换言之即4本期刊发表论文之间被引次数差异相对较小,故而其分组上升.一个突出的反面例子即编号1期刊,影响因子与截尾均值影响因子之比大于2倍之多.因此,编号1期刊所在分组由影响因子的A组急剧下滑到截尾均值影响因子的E组.

3结语

评价研究工作价值大小的根本标准是解决问题重要性、解决程度、解决方法优劣,研究工作发表在何种期刊上只是形式问题,一些诺贝尔奖论文并没有发表在高影响因子期刊上.本文的分析也表明1本期刊的影响因子往往由极少数(本文讨论前2.5%被引论文的贡献)论文贡献,因此以期刊评价论文存在一定误差.正是如此,影响因子只适合于短期论文评价,具体而言即中国高校目前盛行的年度考核与分配确定依据之应用.要比较可靠得分评价1篇论文价值,需要直接对论文本身进行评价,此外需要较长时间来进行评价.

当然,作为第一个被提出的影响因子类指标,IF2尽管存在诸多不足,长期应用已经使其成为事实上的期刊评价标准或者说主要标准之一.加菲尔德指出[1]:“两年影响因子并不是评价论文质量的完美工具,但目前也没有比这个方法更好的方法.除了个别,绝大多数情况下每一专业最好杂志其影响因子也是较高的,在其上发表论文也是最难的.评价单篇的论文或某个作者理想做法是评价者阅读每篇文章来做出判断,但是要使评审者意见趋于统一相当困难.此外,大多数的评价者都没有时间来阅读所有的相关论文”.换言之,影响因子在当代学术职业从业者众多、严格同行评议成本过高的实际情况下有一定的科研管理价值.

为了提高影响因子在短期论文评价中的积极作用与价值,还可以考虑一些具体改进措施如:(1)影响因子相邻年份增长速度明显过大的(比如一年之间增长1倍或者50%等)者不能简单按照影响因子来进行评价,还需要结合其发文数量等指标来考虑论文分级归属.(2)采用一些改进的影响因子,如正确影响因子[2]、ACIF指数[3]、累积影响因子[4]等.(3)限制低影响因子发表论文的奖励额度,提高在高影响因子期刊上发表论文的奖励,以消除一些国内高校尤其是非名牌高校管理层为了快速提升SCI论文数量指标,对SCI论文重金奖励,但设计奖励政策时没有区分不同质量的期刊,一些研究人员抓住政策漏洞,在低影响因子期刊上发表几十篇低质量论文而获得巨额奖励的不正常现象.

文评价中影响因子搭便车现象参考属性评定
有关论文范文主题研究: 关于因子的论文例文 大学生适用: 本科毕业论文、函授论文
相关参考文献下载数量: 58 写作解决问题: 怎么撰写
毕业论文开题报告: 标准论文格式、论文摘要 职称论文适用: 期刊目录、初级职称
所属大学生专业类别: 怎么撰写 论文题目推荐度: 优质选题

致谢:本文数据由桂林电子科大商学院2009级工商管理专业谢雄、王萍整理.