机器之心报导
机器之心编辑部
昨日，ICLR 2020 评定成果放出，被许多作者吐槽，乃至有开发者计算，本次大会近对折审稿人没有在相关范畴发过论文。这把不久之前刚被清华列为人工智能 A 类顶会的 ICLR，推上了风口浪尖。
昨日，ICLR2020 的审稿成果总算放出。但放榜时刻比估计的要晚了一天，原因首要在于本年的投稿数量多到爆破，足足有 2600 篇，所以原有的审稿人手底子不够用。要知道，ICLR 2019 大会的投稿数是 1500 篇，而 ICLR 2018 才 900 多。两年时刻添加了近两倍。
提交论文数量爆破式添加，大概率导致几种成果，要么使得审稿人超负荷运转，要么削减在每篇论文上花费的精力，或许添加审稿人数量。而审稿人数量一多，就很简单呈现「滥竽充数」的状况。乃至有些深度学习顶会的审稿人会宣布一些魂灵诘问，如闻名的：「What is softmax?」
ICLR 2020 的评定，就引发了社区的极大质疑。
谷歌大脑研讨科学家 Ben Poole 就在 Twitter 上表明，「机器学习同行评定坍塌了」。
一大批论文作者们也表明附和。一位相关范畴的 PhD 学生在 Poole 的 Twitter 下留言称，「ICLR 2020 感恩有你，我和学术界从此拜拜。如果能重来，我要选 arXiv。」
另一位相关研讨者说：「吐槽大会审稿现已是一个传统了。但是本次大会的审稿状况真是令人震惊。（论文的）谈论更像是 Reddit 的谈论，而不是严厉的学术评定。老实说，我现已丧失了测验（投稿）的动力。」
面临来自投稿者的「差评」，审稿人也大喊委屈，表明「咱们太难了……」
一位审稿人表明，自己真的在审稿方面花费了许多汗水，不能一口气否定。这位审稿人审阅了三篇论文，每篇用了 6 小时阅览、2 小时写谈论，并在之后又一次花 1 小时看一遍，避免出问题，评定定见平均达 900 字之多。
不过有时候的确使命很深重，一位审稿人对此回复说：「你这么做是对的，但是我但是在两周内审了八篇论文，并且咱们可不是只是只要审文章这一个作业。」
直到审稿截止日期的最终两天，纽约大学助理教授 Sam Bowman 还在 twitter 上在线搜集 ICLR 审稿人。他表明，「这是最终时刻建议的恳求，实在是没有有经历的审稿人可用了」。不过，此次搜集的审稿人是有必定要求的，如需求在平等级会议上宣布过文章。
47% 审稿人没发过相关论文
如果说 ICLR 2020 的评定成果「一地鸡毛」，信任也是跟审稿人的布景有关的。让没有在相关范畴发过文章的审稿人参加评定，被认为是这次审稿坍塌的底子原因。
在 Twitter 上，有用户计算称，ICLR2020 的审稿人中，有 47% 的人没有在相关范畴宣布过论文。南京大学周志华教授对此谈论称，「顶会的『顶』正是由于有高水平专家把关，但现在已不或许了。」
ICLR 大会开端由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun 牵头兴办。众所周知，Yoshua Bengio 主管着蒙特利尔大学人工智能实验室，也便是 MILA，这是世界上最大的人工智能研讨中心之一。Yann LeCun 是 Facebook 人工智能研讨院的院长，被称为卷积神经网络之父。
不久之前，在清华大学发布的最新版《清华大学计算机学科引荐学术会议和期刊列表》中，建立短短 6 年的 ICLR 渐渐的变成了了 A 类顶会。
本着开源的准则，ICLR 大会一向选用 open review 准则，一切提交的论文都会开放在 OpenReview.net 网站上，遵从揭露同行评定、揭露宣布、揭露来历、揭露评论、揭露引导、揭露引荐、揭露 API 及开源这八个准则。但正如周志华教授所言，open review 准则只要在参加者均为本范畴专家的前提下才更显功效，不然存在误导危险。这并不是一种成见，仅从学术判别专业性的视点动身罢了。
这便是为什么学术界的人们十分信任「顶会」。只要顶会能够会聚更多的学术大咖和职业专家，让论文在更专业更深邃的审视下，能够锋芒毕露。这样的论文才干经得起专业和前史的查验。但是，就 ICLR 2020 的状况来说，这次论文评分的说服力恐怕要打个折扣了。
不堪重负的顶会（们）
无论是之前爆出的「本科结业生成为 NIPS 2018 论文同行评定」，仍是现在的「近对折 ICLR 审稿人未在该范畴发过论文」，其本质上反映的都是一个基本对立，即大会日益添加的投稿需求与审稿人数量有限之间的对立。
本年 ICLR 的截稿日期是 9 月 25 日。到当日，ICLR 的投稿量达到了 2600 篇，比上一年多出 65%。而在 2017 年，这一数字仅为 490，三年时刻添加 4 倍还要多。
当然，面临这一状况的可不止 ICLR 一场大会。本年的 NeurIPS 2019 大会收到了 6743 篇有用论文，比 2018 年（4856）添加了近 40%；CVPR 2019 大会共收到 5165 篇有用提交论文，比上一年添加了 56%；ACL 2019 接纳的有用论文数近 2700 篇，比较上一年的 1544 篇添加了 75%。
压力都是类似的，出的问题天然也是类似的。早在上一年 5 月份，NeurIPS 大会就被曝出启用一名本科刚刚结业的学生担任审稿人。这位年青的「审稿人」在 reddit 上发帖发问，「我从来就没提交或许评定过这个大会的论文。所以我该怎么正确的挑选论文？需求先从阅览旧 NIPS 论文开端学习其间的规则吗？最重要的是，怎么写好评定定见？」
面临激增的投稿量，「下降审稿人挑选规范」似乎是各大顶会不谋而合的一个挑选，这也解说了为什么每次评定成果出来之后都有人吐槽，「我觉得审稿人没有看懂我的论文。」或许，他/她真的没有看懂。
ICLR 2020 论文评定全体状况
尽管评定作业一地鸡毛，但咱们仍是能够看一下本年论文的全体状况。究竟，论文该投仍是要投的……
本年评定得分的散布：均分 3.91，中位数 3.84。
数据来历 [1]
Top5 得分论文的分数范围在 8.20-8.91 之间：
此外，Github 网友从 ICLR OpenReview 的网页上抓取了数据，在 2594 篇提交论文的基础上，对本次 ICLR 论文提交状况做了可视化的呈现；
投稿关键词中，深度学习、强化学习、表明学习、生成模型、图神经网络等是热门话题。
一切论文中常用关键字的 Top50，以及它们呈现的频率如下：
参考资料：
[1]https://colab.research.google.com/drive/1vXXNxn8lnO3j1dgoidjybbKIN0DW0Bt2#scrollTo=_qmSij2me5bX
[3]https://github.com/shaohua0116/ICLR2020-OpenReviewData
[4]https://chillee.github.io/OpenReviewExplorer/
[5]https://twitter.com/cHHillee/status/1191823707100131329
[6]https:///r/MachineLearning/comments/drs6vn/d_iclr_2020_reviews/
[7]https:///search?q=ICLR%202020&range=1d&type=content
[8]https:///r/MachineLearning/comments/ds7mk0/d_explaining_your_iclr_reviews/
