ACL 2019 放榜！为免 review “划水”，组委会做了哪些努力？

雷锋网 AI 科技评论按： 以 2906 份论文提交数再创自然语言处理顶会新记录的 ACL 2019，在今日正式放榜！我们目前已经看到学界陆续传来的“捷报”，比如中科院自动化所的宗成庆老师团队，就有 3 篇论文被今年的会议录用。为大家所取得的成绩感到高兴之余，雷锋网 AI 科技评论也专门翻译了 ACL 2019 组委会的一篇博文，趁机了解 ACL 2019 为确保审稿质量做出了哪些努力。

随着人工智能的兴起，自然语言处理越来越受到人们的关注，几乎所有近期会议的自然语言处理领域论文都在提交数量上取得了突破。纵观 ACL 的发展历史，我们从未见过如此戏剧性的增长：短短一年时间内，论文的提交数量就从 1544 份变成 2906 份！下图完整显示了 ACL 过去 20 年的增长情况，涉及内容包括论文提交、审阅人员以及区域主席（高级）等情况。

要对如此大体量的提交论文进行审阅，需要一个运行良好的大型项目委员会。为此，我们创建了一种在项目委员会（ Program Committee）基础上带有高级项目委员会（Senior Program Committee）的会议结构。我们为高级项目委员会招募了一定数量的高级领域主席（共计 46 位，每个区域 2 - 4 名主席）以及领域主席(共计 184位，每个区域 3 -15 名主席)。我们对各个岗位的任务进行了严格区分，高级领域主席主要负责将论文分配予领域主席及审稿人，并为各自专注的领域提出建议；领域主席主要负责该领域内的一小部分论文，具体任务是与审稿人进行讨论、写 meta-reviews 以及提出初步建议。这种组织结构有助于弥补快速增长背后的问题——缺乏经验丰富的审稿人。由于领域主席需要评阅的论文数量较少，因此可以更专注于审查过程。审稿人方面，我们今年配置了大量人员，共达 2281 名（ACL 2018 的数量为 1610 名）。

由于今年的论文提交数量是如此之多，以至于会议的组织（从开始的提交审查到最终的审阅决策)都要比往常更加费时。考虑到时间非常紧迫，所以我们寻找各种可以提高效率的方法。我们希望在提高工作效率之余，还能提升作者和区域主席的用户体验。为此，我们减少了原来需要 3 天（或更少）短期周转的截止日期。考虑到社区中工作和生活情况的多样性（即人们实际上可投入于会议相关工作的时间/天数的巨大变化），那样的截止日期充其量只会给所有人带来压力，且往往效果不佳。

具体来讲，我们今年落实了以下几点改变:

• 放弃论文投标阶段。在过去，这个阶段可能会花去几天时间，随着提交论文数量的高速增长，审稿人发现这个环节变得越来越耗时。抛开时间因素不谈，我们还担心审稿人会倾向于选择个人喜欢，而非自己有资格评阅的论文进行审查(关于这个话题，有一篇很有意思的博客文章： https://naacl2018.wordpress.com/2018/01/28/a-review-of-reviewer-assignment-methods /)。原先我们计划用 Toronto Paper Matching System（TPMS）给审稿人分配论文。遗憾的是，这个系统并没有想象中的那么有用（要想获得最佳性能，需要我们提供更广泛的审阅者资料)，并且该工作在很大程度上依然有赖于手动操作。总的来说，我们的高级领域主席在这方面的工作非常出彩，但我们依然认为这是一项需要在自动化方面加大投入的工作。

• 与 NAACL 2019 一样，我们今年同样取消了作者响应阶段。作者响应阶段最开始是审稿流程优化的产物，后来被证明耗时巨大（不仅仅作者，还包括审稿人与主席的时间），而且起到的作用很有限。因此，比起作者的回应，我们决定将更多时间和精力投入在促进项目委员会的内部讨论上，以确保所有的讨论、论文与评审结果都得到区域主席们的充分关注。这篇论文(预计将在 2019 年的 NAACL 上发表）总结了 ACL 2018 的相关数据:

Does My Rebuttal Matter? Insights from a Major NLP Conference
Yang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych and Yusuke Miyao

• 与近期一些会议采用的详尽审查形式相比，我们的论文审查机制更为精简，灵感主要源自 EMNLP 2018 （感谢 Julia Hockenmaier、David Chiang 和 Junichi Tsujii！）这个形式既有效保证审查的严谨性，也减轻了审稿人的审稿压力，而且更能突出在决策过程中的关键点。

虽然我们采取了种种节约时间的措施，然而对于项目委员会主席、高级区域主席、区域主席以及审稿人来说，会议日程依然非常紧张。让人感到有趣的是，尽管 ACL 在过去 20 年内有了显著增长，然而日程安排却几乎与 1999 年没什么两样。另外还有一点，从提交截止至录取通知的时长，也与 1999 年完全相当（都是两个月），虽然论文提交的数量如今已增加了十倍，且个人电脑的体积及复杂程度变化极大。也许我们是时候采用这些会议的做法（比如 IJCAI、NeurIPS、SIGIR)了，即是将这个时长延长至 3-4 个月。随着会议的进一步壮大，这对于维持审查质量来说至关重要。

此外，会议的日程还受到其他会议（如 NAACL 、EMNLP-IJCNLP）以及 ACL 指南和预印需求的影响。为此，我们与其他会议作出了协调一致的努力，避免审查期间出现重叠的情况(否则将导致会议可用时间被缩短)。评审周期一旦出现重叠，要么作者不满意（因为他们的论文无法提交所有会议)，要么项目委员会主席觉得混乱（同时管理多个来源的论文提交以及论文撤回）。此外，审稿人也不可能同一时间对多个会议的论文进行审阅。即使今年没有出现重叠的情况，许多作者仍然希望会议之间能有更长的间隙，以便能根据上一个会议的反馈重新修改并提交论文，然而过往情况是，一旦被一个会议拒稿，作者便没有足够时间在下一场会议开始的匿名阶段以前进行论文提交。总的来说，今后除了要注意会议的排期外，截止日期的数量与安排同样值得给予更多关注。

via  https://acl2019pcblog.fileli.unipi.it/?p=156

雷锋网 (公众号：雷锋网) AI 科技评论

。