标题
  • 标题
  • 作者
  • 关键词

打开同行评议的“黑匣子”:专家评审行为特征分析

2023-11-10分类号:G237.5

【作者】涂子依   周凯静   孙梦婷   黄颖   张琳
【部门】武汉大学信息管理学院  中国人民大学信息资源管理学院  
【摘要】传统同行评议制度由于其数据不透明性、缺乏监督等问题饱受诟病,开放同行评议为揭开同行评议的黑盒、加强同行评议过程监督、规范评审行为提供了契机。文章基于Open Review平台2017-2019年ICLR会议的2,534篇论文及7,602份专家评审意见,结合定量和定性的方法从专家自信度、评审组织形式和论文评议结果等3个维度分析专家的评审行为特征分布。研究发现:对比不同的专家自信度,自信度高的评审专家更了解论文的研究内容,更能给出差异性的评审打分和针对性的评审意见;对比不同的评审模式,双盲评审模式下评审专家的评审打分更加严格,相较于单盲评审,更少提及论文语言表达方面的不足;对比不同的评审决议结果,评审专家对论文核心内容的评价是论文最终评议决定的重要依据,在实验设计和原创水平方面得到更多正面评价的论文,更有可能获得更好的评审决议。文章从评审专家的遴选、评审组织形式的选择和评审指标的设置等3个方面提出建议,以提高同行评议质量、推动同行评议改革。
【关键词】开放同行评议  评审行为  Open Review
【基金】国家自然科学基金面上项目“科研人员职业生涯的性别差异和影响机理研究:合作、流动与学术表现”(项目编号:71974150)研究成果
【所属期刊栏目】图书馆论坛
文献传递