摘  要 为了研究科技期刊专家审稿中客观存在的一些规律和特性，对《哈尔滨工业大学学报》20位核心审稿专家的485个审稿结论进行统计分析。界定“共识率”和“命中率”两项指标，对审稿结论分布、“共识率”和“命中率”进行了比较分析。结果表明：审稿结论的总体分布比较合理和均衡，但是个体之间审稿结论分布差异明显；“非共识”结论在专家审稿中经常发生，甚至略高于“共识”结论出现的几率；“命中率”受“录用率”影响，如果“录用率”低，则给出更多否定性审稿结论的专家“命中率”高；“共识率”和“命中率”都有局限性，很难准确评估专家的审稿。建议编辑部通过发挥编辑主观能动性、优化审稿流程、广泛应用信息技术手段等方式来减少专家审稿的偏差，保证科技期刊的学术质量。

关键词 科技期刊审稿;审稿结论分析;共识率;命中率

Characteristics analysis of peer reviewer’s conclusion for technical journal paper

//ZHAO Liying,MIAO Xiuzhi,GUO Rong

Abstract  To study the characteristics of the peer review for technical journal papers, 485 peer reviewers’ conclusions, which were made by 20 core peer reviewers from Journal of Harbin Institute of Technology, were selected and analyzed statistically. The distribution of the peer reviewers’ conclusion, the hit rate and the consensus rate were compared and analyzed to define the hit rate and consensus rate quantitatively. The results show that: the overall distribution of all the peer reviewers’ conclusions is even and reasonable, but the distribution of a specific peer reviewer’s conclusions is obvious uneven; the non-consensus conclusions, which are frequently made by different peer reviewers, happen slightly more than the consensus conclusions; if the acceptance rate is low, the hit rate of the peer reviewer’s rejected conclusions is high, which means the acceptance rate affects the hit rate; both hit rate and consensus rate are limited to evaluate the peer reviewers’ comments. It suggests that the editorial department should promote editor’s activeness, optimize the reviewing progress and apply IT method to reduce the bias of peer reviewer’s conclusion, which will insure the quality of the technical journal.

Keywords  peer review of technical paper; review conclusion analysis; consensus rate; hit rate

Author’s address  Editorial Department of Journal of Harbin Institute of Technology,150001,Harbin,China

DOI:10.16811/j.cnki.1001-4314.

    科技期刊一般通过“三审制”来进行质量控制，即编辑部初审、同行专家复审和主编终审。其中同行专家审稿是关键环节，由某一知识领域的专家对论文的创新性、科学性和应用价值作出学术评价和判断，从而为编辑部取舍论文提供重要参考依据。由于同行专家审稿是一个主观的定性评价，掺杂了种种偶然性和复杂因素，其可信度、公正性及有效性一直饱受质疑^[1-3]。专家审稿意见通常由具体意见和审稿结论两部分组成。现有对专家审稿意见的研究主要集中在具体意见的分析上^[4-7]，还未见有从审稿结论这一角度进行分析的。审稿结论作为同行专家审稿这一复杂过程的产物，属于专家给出的定性评价，比较直观，也能反应很多问题。本文对《哈尔滨工业大学学报》一些核心专家的审稿结论进行统计分析，以期发现同行专家审稿中客观存在的一些规律和特性，从编辑部角度提出改进和完善的措施。

1 资料与方法

《哈尔滨工业大学学报》是工业和信息化部主管、哈尔滨工业大学主办的自然科学综合性学术期刊。主要报道国内高校和科研院所最新研究成果，报道学科方向包括航天、机械、能源、电气、电子、计算机、土木、环境、交通、力学等。《哈尔滨工业大学学报》为中文核心期刊，被Ei Compendex、Scopus、CSCD等国内外数据库收录^[8]。

《哈尔滨工业大学学报》的审稿流程为：编辑部初审→同行专家评审→编委终审。有大约2/3的投稿通过初审进入同行专家评审环节，责任编辑将通过初审的论文送两位以上同行专家审阅，当有两位同行专家给出肯定性审稿意见时，论文进入退修环节，作者参考专家意见修回后，责任编辑把修回论文送编委终审，各学科的编委相当于“学科主编”，通过分析专家审稿意见和作者修改情况，从专业和出版两个方面进行综合评价，给出是否录用的最终意见。

专家审稿结论有4种，分别为：录用、修改后录用（简称“修录”）、修改后再审（简称“修审”）、退稿。通常，前两种结论被视为肯定性的，后两种结论被视为否定性的。

审稿方式为：通过编辑部远程稿件管理系统在线审稿，编辑部与专家约定的审稿时间为15天。

在《哈尔滨工业大学学报》远程稿件管理系统的“审稿统计”模块，选择“专家评审”阶段，导出“审稿统计表”，选择10年间审稿数量≥15次的20位核心审稿专家的485个审稿结论进行统计分析。同时也记录同一篇论文的其他专家的审稿结论，以及该论文的终审结论。然后，将这些信息进行分析比较。

2 结果与分析

2.1 专家基本信息及审稿情况分析

    科技期刊在选择专家时会考察专家的社会属性，包括工作单位、专业、学历、技术职称、行政职务、年龄等众多指标^[9-10]。同时也会考量审稿专家的责任心和工作态度，这两项可以通过“审回率”和专家反馈审稿结果的准时性来衡量。“审回率”是审回篇数与送审篇数的比值；“审稿周期”是专家审理一篇论文所用的时间，即专家审回时间与编辑送审时间的差值；“平均审稿周期”是专家审理一定数量论文所用时间的平均值^[11]。

    20位审稿专家的基本信息及审稿情况如表1所示。20位专家共完成了485次审稿，平均审回率74%，平均审稿周期11天，85%的专家平均审稿周期≤15天。20位专家基本都有很强的责任心和积极的审稿态度。

2.2 审稿结论分析

2.2.1 审稿结论分布

20位专家在485次审稿中给出的审稿结论如表2所示。20位专家共给出62个“录用”（占比13%）、159个“修录”（占比33%）、120个“修审”（占比24%）和144个退稿（占比30%）。总体来看，是比较合理和均衡的分布。但是专家个体之间审稿结论分布差异明显，从表2可以看出，给出较多“录用”的专家分别是：8号专家在23个审稿结论中给出20个“录用”（占比87%）；17号专家在16个审稿结论中给出11个“录用”（占比69%）。给出较多“修录”的专家分别是：10号专家在21个审稿结论中给出18个“修录”（占比86%）；7号专家在24个审稿结论中给出19个“修录”（占比79%）。给出较多“修审”的专家分别是：2号专家在43个审稿结论中给出43个“修审”（占比100%）；19号专家在15个审稿结论中给出10个“修审”（占比67%）。给出较多“退稿”的专家分别是：13号专家在20个审稿结论中给出15个“退稿”（占比75%）；4号专家在30个审稿结论中给出21个“退稿（占比70%）。

     20位专家的审稿领域虽然不尽相同，但因为期刊初审流程和要求是一样的，各领域通过初审的稿件质量并无较大差异，这里暂且不论稿件质量这一客观影响因素，主要分析考量专家的主观因素。1、3、5、7、15、16号专家的审稿领域都是土木学科，但审稿结论分布仍然差异明显，说明专家的主观因素不容忽视。

审稿结论之所以差异明显，是因为同行专家的知识背景、思维方式、学术观点、对审稿标准的理解、对期刊定位的认识等都存在差异。而且审稿结论还受到专家性格偏好等因素的影响，例如2号专家审理43篇论文，结论都是“修改后再审”，专家给出的解释是：“不能一棒子打死，也不能太过宠爱。”8号专家是一位老教授，给出的审稿结论87%是“录用”，剩下13%是“修录”。笔者在之前的研究中也有发现，知名学者在给大学学报审稿时经常给出肯定性的“录用”结论，可能知名学者更关注高水平的专业期刊，不太了解大学学报的用稿情况，认为文章差不多就可以在大学学报发表[11]。13号和4号专家则属于“杀手型”专家，给出了高比例的“退稿”结论，应该是对期刊定位比较高。

2.2.2 “共识率”分析

    “共识率”用来衡量某审稿专家的审稿结论同其他专家审稿结论相比较的偏差程度，它在一定程度上反映出某专家与其他专家对同一论文认识的差异性。本文定义“录用”与“录用”、“修录”与“修录”、“修审”与“修审”、“退稿”与“退稿”为“结论相同”；“录用”与“修录”、“修录”与“修审”、“修审”与“退稿”为“结论相近”；“录用”与“修审”、“录用”与“退稿”、“修录”与“退稿”为“结论相反”。

20位专家的410个审稿结论与其他专家审稿结论进行了483次比较，各专家审稿结论与其他专家“相同”“相近”“相反”的比率如表2所示。之所以是410个审稿结论进行比较，是因为有75篇论文被专家一票否决（第一时间审回的专家给出了否定性审稿结论，编辑据此退稿），75篇论文因为只有一个审稿结论而无法进行比较；之所以有483次比较，是因为有的论文有两位以上专家给出了审稿结论。

在483次比较中，“结论相同”134次（占比28%）、“结论相近”211次（占比43%）、“结论相反”138次（占比29%）。可见“非共识”结论在专家审稿中经常发生，甚至略高于“共识”结论出现的几率。 

2.2.3 “命中率”分析

“命中率”用来考量专家审稿结论与论文最终结论的一致程度。一般来讲，当审稿量达到一定数目时，“命中率”越高说明审稿专家学术判断力越准。

    本文在“命中率”计算中，减去了专家一票否决的论文数，因为这个属于编辑部审稿流程特殊设置所致，如果把这些论文也计算在内，那么专家的“命中率”会更高，因为这些论文的最终结论是“退稿”，与专家给出的否定性审稿结论是一致的。例如1号专家审理论文55篇，有12篇论文因为他给出的一个否定性结论而被退稿，另外43篇论文有两位以上专家给出了审稿结论，1号专家在审理这43篇论文时给出的结论与终审结论一致了33篇，则“命中率”为33/43≈77%。如果把一票否决的篇数也计算在内，1号专家的“命中率”为45/55≈82%。

20位专家审稿结论的“命中率”如表3所示。由表3可以看出，“命中率”有局限性，它受“录用率”影响，如果期刊“录用率”低，则给出“退稿”结论多的专家“命中率”高。例如，给出较多“退稿”结论的13号和4号专家的“命中率”高达92%和86%，远远超出20位专家“命中率”的平均值70%。

3 思考与建议

3.1 编辑在审稿中应发挥主导作用

编辑作为实施和推进“三审制”的主体，应该在审稿中发挥协调、控制和引导的作用^[12]。对于专家的审稿意见，编辑应在尊重的基础上认真解读、有所斟酌，而不是简单地“拿来主义”。当林林总总的意见汇集到编辑面前时，编辑应充分考虑每一位专家的审稿特点，仔细斟酌和衡量专家审稿意见，并结合期刊的宗旨和实际需要做出调整。面对审稿意见分歧，编辑要在认真比对专家意见的基础上仔细辨析原委，如果是因学术观点不同而造成的审稿偏颇，编辑应以中立的姿态倡导学术争鸣；如果是因为论文超前的创新性让专家产生接纳上的保守，编辑应力排众议，助其发表^[13-14]。编辑需要不断努力，提高自身素养和学识，有效利用专家审稿意见对论文“慧眼识珠”。

3.2 编辑应加强与审稿专家的沟通

审稿专家通常同时给多个期刊审稿，虽说学术标准是基本统一的，但每个期刊都有自己的定位和侧重，而专家如果对刊物的特性与实况了解不够，其审稿的尺度和重点就难以随刊而变，也就难以给出准确的审稿结论。所以，编辑应该加强与审稿专家的沟通，在送审时，应将期刊对论文的要求以及对专家审稿的期待充分表达清楚，并向专家通报近期论文收录情况、稿源情况、用稿倾向和重点等动态信息^[15-16]，让专家在了解期刊的基础上帮助期刊选稿。定期通过E-mail或微信公众平台向专家推送期刊的相关信息，让专家熟知期刊的类别、被数据库收录情况、学术影响力、栏目设置、学科特色等信息，专家对期刊了解得越多，越容易准确把握审稿尺度，提供切实可行的审稿意见。

3.3审稿环节不宜实行“一票否决”

每个期刊的审稿流程都不完全相同，至少细节上有所差异。因为专家审稿的成本非常高，不但占用专家大量时间和精力，也耗费编辑部大量时间、精力和财力。所以，很多编辑部会只依据一个审稿专家的否定性意见而退稿，以此来节约成本，缩短审稿时间。由上面的统计分析可以发现专家给出“修审”“退稿”等否定性意见的几率高达54%，且“意见相反”的出现几率也高达29%。如果论文被“一票否决”，势必造成相当比例的论文被“错杀”。在编辑部人力、物力、财力允许的情况下，应尽量让每篇论文至少有两个专家审稿意见。对于因“意见相左”而被退稿的论文，应允许和接受作者申诉，并积极组织第三方评审。

3.4 应用信息技术手段辅助专家审稿

信息技术的发展使得海量文献的分析、比对和统计得以轻松实现。一些机构推出知识查询检索系统，例如CNKI的“学术趋势搜索”“学术研究热点”“论文创新点分析”“引证动机分析”、万方的“知识脉络分析”“学术统计分析”等^[2,17]，编辑和审稿专家可以利用这些分析工具对论文的创新性和应用价值进行判断；CNKI和万方的论文相似性检测系统则有助于发现学术不端论文。在这些工具的辅助下，开发定性定量相结合的评价方法，为同行专家审稿提供客观可靠的参考信息，可以在一定程度上减少同行专家审稿的偏差。

4 结语

学术评价是一个复杂的系统工程，由于同行专家的知识背景、思维方式、学术观点、对审稿标准的理解、对期刊定位的认识等都存在差异，使同行专家审稿这一主观的定性评价方法掺杂了种种偶然性和复杂因素。尽管编辑对同行专家审稿的期许是审稿结论相同或相近，但不同专家针对同一篇论文给出的审稿结论经常不一致，“结论相反”是一个经常发生的客观存在，出现几率甚至高于“结论相同”的几率；“命中率”有必要引入“录用率”来进行修正，但又很难找到一个合理的公式；“共识率”和“命中率”都有局限性，很难准确评估专家的审稿。

同行专家审稿中缘于人的社会属性和个性因素而导致的局限是不可避免的，未来的评价应该是科学计量和专家智力的组合。目前，科技期刊可以通过发挥编辑主观能动性、优化审稿流程、广泛应用信息技术手段等方式来提高专家审稿的可靠性、公平性和有效性，保证科技期刊的学术质量。

5 参考文献

[1]蔡蓉华.同行评议的难点[J].甘肃社会科学,2015(4):25.

[2]耿艳辉,王立新,朱晓华.期刊同行评议研究综述[J].编辑之友,2015(5):48.

[3]陈喜乐,李腾达,刘伟榕.定性评价方法的极限与超越—基于对同行评议的研究综述[J].未来与发展,2014(5):17.

[4]常思敏.审稿意见的类型及编辑的取舍原则[J].编辑学报,2009,21(3):205.

[5]马建华,王军.科技期刊专家审稿意见的有效性分析[J].编辑学报,2009,21(3):218.

[6]王昕,王有登,骆瑾.编辑流程中对专家审稿意见的分析、反馈与核查[J].编辑学报,2008,20(1):22.

[7]张玉,葛建平,苏磊,等.如何有效利用专家审稿意见处理稿件[J].编辑学报,2016,28(1):47.

[8]哈尔滨工业大学学报期刊简介[EB/OL].

[2017-05-24].http://hit.alljournals.cn/hitxb_cn/ch/first_menu.aspx?parent_id=about

[9]马晓光,连燕华,沈金锋,等.同行评议中专家识别研究[J].研究与发展管理,2003,15(3):70.

[10]何杰,王成红,刘克.对同行评议专家评议工作进行评估的一些思考[J].中国科学基金,2004(1):47.

[11]赵丽莹,杨波,张荣丽,等.对专家审稿的分析和思考[J].编辑学报,2010,22(2):148.

[12]朱大明.浅谈科技期刊编辑在审稿中的主导作用[J].中国编辑,2009(2):42.

[13]邵凯云.学术期刊责任编辑应如何对待专家审稿意见[J].科技与出版,2011(3):40.

[14]邵凯云.从专家审稿意见到编辑部意见[J].编辑学报,2011,23(4):324.

[15]张冰,孙慧兰.学术期刊应向审稿专家提供审稿辅助信息[J].编辑学报,2009,21(6):517.

[16]朱大明.也谈学术期刊应向审稿专家提供审稿辅助信息[J].编辑学报,2011,23(4):369.

[17]伍军红,汤丽云,肖宏.大数据支撑下的创新同行评议[J].甘肃社会科学,2015(4):32.