PeerXiv!一种全新的学术论文评审方式。
众所周知,等待同行评审的过程是很煎熬的。
自己辛辛苦苦写的论文,又是做实验,又是写报告,精益求精地润色每一句话…… 写完论文已然是一个耗费精力的活,但提交的论文同行评审结果迟迟没有消息,有时自己都会怀疑编辑是不是忘了我的稿件。你唯一能做的就是:等。
到底多长时间才能收到同行评审人和期刊编辑的反馈?据了解至多约为 3 个月(研究表明,同行评审通常平均需要 7 到 12 周),但很多变量会对时长造成影响。
假如现在重新设计同行评审会是什么样子?同行评审是研究社区的基石之一,然而,在社区不断进步和发展的同时,评审过程几乎没有变化。
现在,是时候尝试重新审视同行评审了。
一群研究人员利用业余时间设计和开发了 PeerXiv 平台,通过该平台审稿过程只需一个月。我们先来看下 PeerXiv 审稿结果,一篇论文有 5 个评价指标,评审结果会综合这 5 个指标给出平均分数。我们还能看到 5 位审稿人的打分情况。
地址:https://peerxiv.web.app/dashboard/papers
该平台的研究者包括计算机视觉研究者和爱好者 Elad Richardson、计算机视觉和 ML 研究员 Kfir Goldberg、特拉维夫大学计算机科学专业硕士学生 Yuval Alaluf,以及 Nofar Menashe。
这一平台的推出,收到众多好评,网友不禁感叹:太需要这种平台了,这种利好广大研究者的东西早就该有了,目前的同行评审体制完全是一团糟。
不过也有人提出担忧:这个平台看起来很整洁,同时我也非常担心,我怀疑这个平台的评审结果会不会偏向比较出名的研究者。此外,一旦人们开始花时间审查 PeerXiv 提交的内容,这会不会完全破坏其他出版机构的审查流程?换句话说,具有盲审流程的机构是否允许人们将他们的论文提交给 PeerXiv?
也有网友表示:该平台如何保证提交的论文质量,以及如何让高 H 指数的人利用他们的空闲时间来审查?同行评审低效的部分原因是提交的内容太多,而具有资格进行评审的人太少。
对于大家的疑问,PeerXiv 网站整理了几个大家比较关心的问题,大家可以前往查看。
PeerXiv 评审:快速、透明和奖励
PeerXiv 是一个现代化的同行预印本评审平台。论文作者可以提交他们的预印本,并直接从一组匿名的 PeerXiv 审稿人那里获得反馈。同时,审稿人会根据他们的工作获得声誉分(reputation point)。
PeerXiv 的设计遵循以下三个原则。
首先是快速(Fast)。当前的同行评审过程往往让论文作者苦等数月才能收到反馈。PeerXiv 在论文提交后的一个月时间内就可以为作者提供有用、详细的反馈。
其次是透明(transparent)。创建者认为,论文作者和审稿人理应得到一个可访问、透明的审稿流程视图。PeerXiv 对每篇提交论文的状态以及作者、审稿人和整个系统的统计数据都会提供详细的信息。
与此同时,PeerXiv 不提供接收 / 拒绝分数,而是在多个评价指标的基础上对论文进行清晰的评估。具体地,5 位审稿人被要求按照 5 分制、5 指标的评价系统对每篇论文进行打分,这 5 个评价指标分别如下:
新颖性(Novelty),论文主要贡献的原创和新颖性;
重要性(Significance),论文对研究社区及其他的影响度;
复现性(Reproducibility),复现所提方法和评估的难易度;
验证性(Validation),论文中所提评估和比较的彻底性;
展现性(Presentation),论文动机和思路的展现和组织度。
最后是奖励(Rewarding)。审稿人是每篇论文评审过程的核心,他们的工作理应得到奖励。声誉系统(Reputation System)是 PeerXiv 对审稿人工作给予认可的方式。
PeerXiv 的审稿过程
PeerXiv 审稿过程仅需要一个月,对于论文作者和审稿人都很直观。
论文提交(Paper Submission)
作者可以在 PeerXiv 提交现有预印本以供评审。论文可以随时提交,并将立即被添加到评审池(reviewing pool)中。
论文投标(Paper Bidding)
审稿人标记自己觉得有趣的论文。PeerXiv 还将提供匹配分数(match score),帮助审稿人找到与自己专业知识匹配的论文。在投标之前,审稿人还可以看到自己评审论文所获得的声誉。
论文 Assignment
每周的周二和周三,PeerXiv 平台将尝试将论文与审稿人匹配,并根据他们的专业知识和经验来创建一个多元化委员会。评审通常由 5 位审稿人完成,提供更值得信赖的流程。并且,审稿人整个过程中将匿名进行。
初评审(Initial Reviews)
PeerXiv 的目的不是提供一个简单的接收 / 拒绝分数,而是提供一个基于 5 个评价指标的清晰评估,上文中已经提到,它们分别是新颖性、重要性、复现性、验证性和展现性。
审稿人讨论(Discussion)
在得出初评审之后,审稿人之间将展开讨论,互相听取意见并完善最终评审。初始和最终分数都将呈现给论文作者和公众。
作者回应(Author Response)
审稿人提交最终评分之后,论文作者有机会根据需要对评审意见进行回应。作者回应将与评审意见一块呈现。需要注意,PeerXiv 中没有设置 rebuttals/camera-ready 步骤。PeerXiv 根据提交的预印本进行评审,论文作者可以再次提交新版本。
发表(Publication)
至此,评审过程结束。论文和相应的评审意见将出现在 PeerXiv 的首页上,并显示最终评分。高分论文将由 @peerxiv 自动发表,以提供进一步曝光。
详细流程图如下。
创建者表示,PeerXiv 目前只是一个模拟(mock),展示了他们对同行评审系统的全新愿景。