读博无门,就业碰壁,孤独当了7个月“民科”,他的论文中了顶会

原标题:读博无门,就业碰壁,孤独当了7个月“民科”,他的论文中了顶会

来源 | 量子位 报道 | 公众号 QbitAI 赖可 发自 凹非寺

编辑 | 学术君

一位丹麦科技大学硕士毕业的机器学习研究生,没有申请到博士学位,也没有找到合适的工作。

他决定给自己8个月的时间,在顶会上发表一篇论文,不然就去做程序猿。

最终他做到了!

他收到了超过100条私信,来问怎样像他一样做个「独立研究者」。

于是他把自己的经历详细写了下来,还给了忠告:这条路太苦了,能不走就别走。

申请碰壁

在distill.pub发表了一篇论文之后,Andreas小哥天真地以为,有了独立发表的论文,加上自己的硕士学位,就可以申请到一个博士学位了,不然也能申请到软件工程师、ML工程师之类的职位。

他以唯一作者的身份在distill.pub上发表了论文《在RNN中的可视化记忆》,展示了两个准确度相似的模型在NLP的显著交互可视性有很大不同。

他一边写信给教授,一边写给各种大厂,像谷歌、微软、Rakuten、ElementAI,英伟达、Hypefactors,英特尔,京东,亚马逊,三星,Shift Technology,Corti都试了,还请认识的人帮忙推荐。最后得到的结果是:没有一篇顶会发表的文章,很难申请到好的AI博士项目。而这位小哥在丹麦大学完成硕士学业,学校并不鼓励他们发论文。当然他也没有收到任何公司的offer,连一个面试电话都没有。

碰了一圈壁之后,小哥明白了:想做博士,又没有圈内人推荐,你需要提前做等同于博士学位一半的工作申请季过去,2019年4月,他决定背水一战:到2020年1月前,如果没有在NeurIPS或ICLR上发表文章,就去做JavaScript程序猿。

一边赚钱养自己一边做研究

此前的一年,小哥是一个自由职业者。因此找到活干养自己并不太困难。

之前他就通过朋友接到了一个NearForm项目。要求是:了解Node.js的内部结构,统计背景 ,Web可视化技能。他既满足这些要求,又能获得不错的薪水。

到了2019年,原来的项目又给了他新的活,开发在NodeConf EU 2019上发布的IoT智能手表及胸牌的TensorFlow部分。这让他保持在2019年继续有收入。

生活问题解决了,想发表论文的第一个困难是要确定研究方向。机缘总是会提前埋下伏笔。

毕业后,他曾经到自己学校AI学生协会的开幕式上找导师谈博士学位的事情,却没有成功。不过,他遇到了后来的贵人:助理研究员Alexander。

和对方的通信中,Alexander告诉他,有几个学生试图复制DeepMind的论文「 NALU」(神经算术逻辑单元),但没有成功。问他是不是可以试一试这个方向,也许可以成为NeurIPS论文。

他想起自己之前的论文也一直在优化别人的研究。这样的工作他也挺感兴趣。几乎所有出版物都夸大了它们的表现。改善他人的工作是一种可行的研究策略。

孤独前行

人是社会动物,需要来自环境的支持和鼓励。博士写论文很苦逼,但是至少周围还有一群跟你一样苦逼的人。而一个人做研究写论文,可以想象有多孤独。孤独到走过这条路的小哥建议大家不要再这么做:没有支持网络,经历作为第一作者写论文的挣扎痛苦,这是我不建议做独立研究员的第一个原因。不要以为你可以连续7个月没有任何鼓励。

那Andreas是如何撑过这7个月的呢?

1、每周一次和Alexander见面,讨论研究。这对他帮助很大,Alexander有很好的批判性思维,会对他的研究提出质疑。这样的督促作用是,让自己不要想偷懒走捷径。

2、同时做一些其它的小项目。不把所有的时间都押注在研究上。编写一个开放源代码的工具,实现一个已知的论文,等等。这样阶段性的小成就,更容易获得其它研究员的鼓励,让自己有一些正反馈。

不要怕拒绝,反复投,反复改

论文初稿完成后,Andreas进行了三波投稿。

第一波,投石问路。他把论文投给了他发表过论文的distill.pub,被拒绝了。修改了以后,再次投给distill.pub,这次他得到了非常有价值的评审建议。他觉得,如果没有来自distill.pub两位评审的意见,论文最后可能就不能进入ICLR。至于他的目标是NeurIPS或ICLR,那就一个一个试。

于是第二波,他投了NeurlPS,也被拒绝了。研究本身是对来自Deepmind的NALU的优化,质疑的意见也大多与此有关:1、一些评论者认为新研究无法成功复制 NALU的结果。一个反复出现的问题是“为什么原始论文的结果要比你提案中的结果好得多”。2、一些评论者还提议,做NALU论文声称要做的所有事情。但是论文中提供了明确的证据,表明NALU模型并不能令人满意地完成所有工作。小哥从被拒绝的经验中总结:评审员倾向于支持已经发表的结论。他们会严格地对待你提交的内容,但不会对先前发表过的内容这样。尤其是已发表的内容来自DeepMind的时候。

再接再厉,小哥再次把论文进行了修改,增加了更多证据和实例,投了ICLR。

此外,他还做了一件为自己的研究争取好评的事情:将实验设定和复现结果投给了 NeurlIPS 2019的SEDL workshop。然后他发了一条twitter,标记了NALU的第一作者A. Trask,结果对方回复了:Great work! 有了好的基准,才能继续提升。

在ICLR评审上,小哥的论文得到了4条评审意见,分别是3,6,6,8。

其中一位评审人之前在NeurIPS就读过他的研究,对他研究的接受度也增加了,从NeurIPS的Weak Reject 到ICLR的Weak Accept ,最后变成了Accept。

最终,区域主席给的决定是接受(spotlight)。

评语是:本文扩展了关于NALU的工作,提供了一对性能优于NALU的单元,审稿人广泛赞成该论文。尽管修订中已解决了要点,一位异议的审核者似乎没有时间重新考虑分数。我很乐意在这里保持乐观,并假设他们会对讨论所带来的变化感到满意,并建议接受。

经验总结

小哥认为,自己的经历有一个重要的背景:

在2017年以后,硕士申请博士的门槛提高了,不再像之前那样随随便便就可以申请到。申请到博士学位甚至比完成博士还要难。

申请博士需要1到2篇在顶会发表的论文,最好还要有著名的合作者。同样,对相关行业从业者的要求也在提高。小哥在硕士毕业没有申请到合适的大厂职位,而在2013~2015年,硕士学位也可以应聘成为google的研究员。

最后,小哥总结出三条经验:

1、与别人合作。找到可以对研究提出建设性意见的人很重要,此外,在大学里找到可以使用大量计算资源人的人也很必要。作为助理研究员的Alexander给小哥的研究提供了计算资源。

2、不要灰心, 也要给自己留备选项。目前投稿的接收率大概是20%,做独立研究,被接受的机会可能更少,但是不要因为一次拒绝就灰心。同时也要进行其它项目,这样即使失败了,也不会感到完全浪费时间。

3、说一千道一万:有别的选择,就不要走这条路。

One more thing

有人问他:要取得spotlight,还需要额外做什么?

小哥回:说实话,我觉得主要是运气。

本文来源:量子位 报道 | 公众号 QbitAI 赖可 发自 凹非寺

转载本文请联系原作者获取授权,同时请注明本文来源。返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
免费获取
今日搜狐热点
今日推荐