学术成果评价

2020 年 2 月 17 日科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施(试 行)的通知》,要求科研单位在科研成果评价中,破除重论文数量,轻论文的质量,重论文 影响因子,轻论文社会贡献的不良倾向。

一、学术成果评价方法研究

1.从学术成果被引数量,判断学术成果的社会影响

目前,主张以被引数量判断学术成果价值的代表性文献有:

  • Aversa从学术论文的视角分析学术论文的被引数量与论文老化之间的关系,认为低被引论文的老化速度明显快于高被 引论文;
  • Smith & Presser首次采用 H 指数方法测评学者与学术成果质量之间的关系,认为学者的 H 指数越高,其学术成果质量越高;
  • Bornmann采用引用行为研究方法分析学术成果的引用行为,发现对学术成果的引用行为会受到外在因素的影响,比如学术成果展现平台、 作者所在单位和作者自身影响力;
  • Egghe对 H 指数方法进行改进,增加了高被引学术成果的被引频次,认为该方法更能够反映学术成果的创新程度;
  • 张凌云等以旅游学科学术成果 为例,从数量型和 H 指数方法对学术期刊与学术论文质量之间关系进行评价。

2.运用替代变量评价方法,分析学术成果的综合质量

随着网络化、数字化的快速发展,可以采用学术成果的下载量、浏览量、收藏量、粉丝量、推送量、点赞量、评论量、置顶量、转载量等替代变量来评价学术论文的质量。代表性 研究有:

  • Priem & Hemminger 采用 Web2.0 服务,在学术论坛平台中检查学术成果的使用和引用情况,如书签、微博等,试图通过网络社交平台来评价学术论文的质量;
  • Piwowar认为,随着网络社交平台的发展,可以通过学术成果在社交平台上的下载量、浏览量、书签量、讨论量等数据来评价学术成果的质量;
  • 王轶认为,学术成果的学术影响力和社会影响力可以通过学术成果被四大文摘(《新华文摘》《中国高校学术文摘》《中国社会科学文摘》和中国人大报刊复印资料)的转载次数和微信、微博等浏览次数来衡量。

3.评价学术成果内容,判断成果等级

代表性文献有:

  • Yogatama以学术论文为例,研究学术论文作者、研究主题和发表期刊等指标来预测学术论文的引用,进而分析学术论文的质量;
  • Livne采用机器学习技术分析 数百万篇学术论文的质量,识别的特征包括:期刊社会声誉、论文作者、作者机构、引文特征和论文内容等指标,根据这些指标建立模型分析学术论文的未来被引数量,以此评价学术论文质量;
  • 索传军等基于认知计算的学术成果评价方法,从该领域的学术语义内容的视角对学术成果的内容进行评价;
  • 赵镇等基于 SCI 学术期刊的学科分类和分区,通过最高 系数、基准系数计算他们的 p 值系数,这样计算方法有助于消除不同学科学术期刊之间影响因子的差异,为客观评价学术成果的价值提供参考。

4.采用学术成果综合评价方法,评价学术成果质量

对学术成果采用定量与定性相结合的评价方法。代表性文献有:Van Raan采用论文被引数量和同行评价的方法来评价学术论文的质量;

5.运用社会网络分析方法和同行评价方法,评价学术成果质量

部分学者采用社会网络分析的结构指标,通过逐级提取方法,提取学术成果中心度指标,据此对学术成果的质量进行评价,评价的方法有:网络节点、学派论等。

二、学术成果评价的不良倾向分析

  1. 学术成果评价容易受作者学术身份的影响
  2. 过于强调学术成果评价与个人利益之间的关系
  3. 学术成果评价与作者所在单位级别、单位利益相挂钩
  4. 学术成果评价容易受到各级政府政策文件的影响

三、重构我国学术成果评价体系的政策建议

  1. 重新审视我国的评价制度
  • 从国家层面完善符合我国国情的学术成果评价制度
  • 引导和完善教学科研单位完善学术成果评价制度
  • 完善“唯论文”论学者学术成果质量的相关评价制度
  • 成立第三方学术成果评价机构
  1. 进一步完善我国学术成果的评价方法
  • 建立多元化的学术成果评价标准
  • 推行“以刊评文”和“以文评刊”相结合的评价方法
  • 完善定量评价与定性评价相结合

参考资料

药企,独角兽,苏州。团队长期招人,感兴趣的都可以发邮件聊聊:tiehan@sina.cn
个人公众号,比较懒,很少更新,可以在上面提问题,如果回复不及时,可发邮件给我: tiehan@sina.cn