谷歌工程师怼上Yann LeCun:你对Google Brain的评价完全是错的
文/亚萌
最近,Google Brain的研究工程师Eric Jang在Quora上回答了“IBM、谷歌、Facebook、苹果和微软等几家公司里,谁在领导着AI研究的发展?”(Who is leading in AI research among big players like IBM, Google, Facebook, Apple and Microsoft?)这一问题,短短时间便获得了超过4000的阅读量。之所以获得这么广泛的关注,一方面是因为Eric Jang犀利的行文风格,也因为他直接对原本Yann LeCun的回答做出了反驳。
以下是Eric Jang对这几家公司的排行,由雷锋网(公众号:雷锋网)进行编译。
首先,我的回答包含了一部分偏向性,因为我目前在Google Brain工作而我真心喜欢这里。我的观点仅代表我个人,并不代表我的同事和Alphabet公司的立场。
我把题目里提到的这几家“AI研究领导者”做以下排序:
1、 Deepmind
我认为Deepmind很大程度上是如今的第一名。
他们发表的工作成果受到研究圈的高度重视,而且都涉及到了非常顶级的议题,比如深度增强学习、贝叶斯神经网络、机器人学、迁移学习等。他们从牛津大学和剑桥大学吸收了大量人才,这些学校在全欧洲有着很多非常棒的机器学习初级课程。Deepmind打造了一支多元化的团队致力于通用AI的研究,里面既有传统的软件工程师来构建基础架构和工具、UX设计师帮助建造研究工具、甚至还有生态学者(Drew Purves)来研究更具有深远影响的议题,比如地球生态和智能技术的关系。
Deepmind在PR和抓住公众想象力方面,也是无人能出其右。比如用DQN-Atari和创造历史的AlphaGo。一旦Deepmind有论文发表,往往都会登顶Reddit的Machine Learning板块和Hacker News上,这恰好佐证了他们的工作是多么受到科技圈的重视。
2、 谷歌
是的,我把两家Alphabet旗下的公司放到了排行的前两名,在你对我翻白眼之前,我想说一下,其实我也把Facebook和OpenAI都放在了第二名。但如果你不想听我讲关于Google Brain的事情,往下翻就好了(笑脸)。
我对 Yann LeCun是很尊敬的(他之前的回答也很不错),但是我认为他对于Google Brain在研究领域的评价是错误的。他说:
“但是谷歌主要关注与应用和产品开发,而不是长期的AI研究工作。”
这句评价绝对是错的,完全错。
TensorFlow(Google Brain团队最主要的产品)只是Google Brain下属众多团队的研发成果之一,据我所知这个团队是唯一一个打造对外产品的团队。Google Brain刚起步时的项目确实比较偏向工程,但是今天,Google Brain有很多员工都是专注于长期的AI研究 ,而且是涉及所有可能的AI次级领域,这跟Facebook FAIR和Deepmind是类似的。
Facebook FAIR有16篇论文被ICLR 2017大会接收,其中有3篇被选为做现场论文展示。
而实际上,Google Brain被ICLR 2017大会接收的论文数量还略略超过Facebook FAIR,总共有20篇,其中4篇被选为做现场论文展示。而这并没有算上Deepmind和其它谷歌内部团队的工作(比如搜索、VR、图片)。论文接收数量并非一个很好的衡量尺度,但是我以此想反驳那些暗示Google Brain不善深度学习研究的暗示。
Google Brain也是最具合作灵活性的业界研究机构。我想,世界上还不会有任何其他的研究机构,无论是工业的还是其他性质的机构,能与伯克利大学、斯坦福、CMU、OpenAI、Deepmind、Google X以及众多Google内部顶级产品团队同时展开合作。
我相信Google Brain将很快位列第一流的研发机构。我曾经同时拿到Google Brain和Deepmind的offer,最终选择了前者,是因为我觉得Google Brain能给我更大的自由来设计我自己的研究项目,并能保持与其它Google内部团队紧密合作。我还能参与一些非常有趣的机器人项目,当然这些项目我不能透露更多信息。
2、Facebook(并列第二)
FAIR实验室的论文都很棒,我的印象是他们比较多地关注与语音领域的问题,比如问答、动态记忆(dynamic memory)、图灵测试类型等。他们偶尔也会有一些“数据物理与深度学习结合”一类的论文。显然,他们也做计算机视觉类相关工作。我希望自己能讲的更多一些,但是我对FAIR了解的确实不多,但他们的声誉是很好的。
由于TensorFlow的广泛应用,Facebook几乎在深度学习框架之争中失败了。但我们还是要看看,Pytorch能否抢回一部分市场份额。
2、OpenAI(并列第二)
OpenAI有一连串的明星员工,比如:Ilya Sutskever(全面的深度学习大师)、John Schulman(TRPO发明者,策略梯度大师)、Pieter Abbeel (发表了大量机器人学领域的研究论文)、Andrej Karpathy(Char-RNN和CNNs)、Durk Kingma(VAEs联合发明者)、Ian Goodfellow(GANs发明者)等。
尽管只是一支不到50人的小团队,他们也有一流的工程团队,而且发布了一流的、非常有想法的研究工具,比如Gym和Universe。他们通过提供相关软件,为更广泛的研究社群带来价值,这些软件曾经掌握在科技巨头手里。他们的这种做法,也迫使其他研究团队开始开源代码和工具。
鉴于OpenAI与Deepmind都拥有的一流人才队伍,我原来还打算把二者并列第一,但是OpenAI成立时间不长,我还不能足够有信心将二者并列在一起。OpenAI也还没与做出像AlphaGo一样成就的系统,虽然Gym和Universe对于研究圈来说也很重要,但也没有达到AlphaGo那样的高度。
作为一个小型的非赢利性研究机构,从无到有建立他们的基础架构,OpenAI不具有像大公司一样丰富的GPU资源、机器人和软件基础架构。拥有强大的计算力,对研究能力有很大的影响,甚至有时对研究想法也能产生影响。
3、百度
百度SVAIL和IDL研究院是非常棒的做研究的地方,他们正在致力于多项具有潜力的技术,比如家庭助理、盲人广告和自动驾驶汽车等。
百度这家公司确实在声誉上面临一些问题,比如最近违反ImageNet 竞赛规则的丑闻、低质量的搜索结果导致一个中国学生死于癌症以及被美国人刻板地认为是一家盲目模仿的技术公司。
但是,这家公司在中国的AI领域里,是最强的。
3、微软研究院(并列第三)
在深度学习革命发生之前,微软研究院曾经是最具有声誉的地方。他们雇佣具有多年经验的研究员,这一定程度上也解释了为什么微软研究院有点错过了深度学习,因为深度学习革命很大程度上都是由博士生推动的。
不幸的是,如今几乎所有的深度学习研究都是在Linux平台上进行的,而微软的CNTK深度学习框架没有得到与TensorFlow、torch和Chainer一样多的关注。
4、苹果
苹果在招人方面确实面临一些问题,因为研究人员都想要公开自己的研究成果。苹果也做一些产品驱动的研究,这并不能吸引那些想解决通用AI问题或希望自己的工作被学术圈看到的研究人员。我认为他们设计的根本也需要一些相应的研究,尤其是面临大胆的创意时,但是我也看到了发布新产品也会成为长期基础研究的一种阻碍。
10、IBM
我认识一个IBM Watson项目的前雇员,他把 IBM的“认知计算工作”形容为一场灾难。该项目由管理层推动,而这群人根本不知道机器学习能做什么、不能做什么,只管拿着这个热词到处卖。据我所知,Watson使用了深度学习来做图像理解,但它其余的信息检索系统并没有应用最新的深度学习技术。基本上,IBM是面临着危机的,对于初创企业来说,在二级市场有很多应用机器学习的机遇。
备注
说实话,上面提到的公司(或许除了IBM之外)都是做深度学习研究非常好的去处,鉴于开源软件和整个领域的快速发展,我不认为任何一家科技公司能够以绝对的优势“领导AI研究”。
我对于未来的深度学习研究员的建议是,找到一个你确实感兴趣的团队/项目,忽略别人所说的声誉等条件,专注于将自己的工作做到最好,帮助你所在的机构成为AI研究领域的领导者。
Yann LeCun的回答
下面是Yann LeCun关于此题的回答,原答案发表于2016年7月份。
我是有一定偏向性的(笑脸),但我可以说一说以下几点:
- 苹果公司不是AI研究领域的主要参与者,因为他们有一种秘密文化。你是无法在私密的情况下做先进研究的,如果你不能公布研究成果,这就不能算是研究,顶多算是一项技术开发。
- 微软正在做一些很好的工作,但它很多的员工都流失到了Facebook和谷歌。他们语音方面的深度学习做的很不错(在21世纪初,他们在手写识别方面做得很好),但相比于FAIR和DeepMinde的工作,微软在深度学习方面似乎没有太大野心。
- 谷歌(包括Google Brain及其它内部团队)或许是将深度学习投入产品和服务方面的领头者,这是因为他们比任何人开始的都早,也因为其本身是一家大公司。谷歌在基础架构方面做了很多工作(如TensorFlow和TPU硬件等)。但是谷歌主要关注于应用和产品开发,而不是长期的AI研究工作。Google Brain很多顶级研究员都离开了原来的团队,去了DeepMind、OpenAI、或者FAIR。
- DeepMind在基于学习的AI方面做了很好的工作。他们的长期研究目标与我们在FAIR实验室的目标非常相近,而且我们工作的议题也都很类似,包括:非监督/生成模型、规划、增强学习、游戏、记忆增强网络、可微编程等。DeepMind面临的挑战是,在地理上和组织上与Alphatbet内部最大客户分离。这使得DeepMind更难为其拥有者Alphatbet产生营收来“支付他们的行程”,不过看起来他们似乎做得还不错。
- Facebook在两年半前开创了FAIR实验室,并且想方设法在短时间内让自己成为AI研究领域的领导者。对于我们可以吸引到这么多世界级的研究员(现在FAIR在纽约、门洛帕克、巴黎和西雅图总共约有60名研究人员和工程师),我为此感到很惊讶。对两年半内FAIR研究工作的质量和影响力,我也同样感到印象深刻。我们对自己的目标雄心勃勃,我们准备好了长期竞争,我们对公司也具有影响力,这使得我们很容易证明FAIR存在的价值。最重要的是,我们是非常开放的:我们的研究人员每年发表多篇论文。如果一个有潜力的年轻研究员加入一个不那么开放的公司或初创公司,从此从研究圈子销声匿迹,没有什么比这种情况更令人警醒了。