“长远研究”和“短期应用”两大实验室双剑合璧,能否支撑起Facebook称霸人工智能的雄心?(下)
《“长远研究” 和 “短期应用” 两大实验室双剑合璧,能否支撑起 Facebook 称霸人工智能的雄心?(上)》
应用机器学习实验室(AML)
坐在由 Frank Gehry 设计的 Facebook 总部里,公司的应用机器学习实验室的掌门人 Joaquin Candela 在一堆填充玩具动物的巨大箱子的环绕下显得非常格外矮小。当时已经没有空闲的会议室了,不过它并没有因此苦恼,他毫无犹豫地选在一个被遗弃在昏暗角落里的沙发上进行交流。后来不知不觉到了他与 Schroepfer 开会的时间,他依然非常慷慨地接受在前往 Facebook CTO 办公室的路上继续交谈。
当 AML 还在孵化的时候,LeCun 就已经加入了 Facebook。事实上,AML 正是在 LeCun 的推动下创立的。对此,他这样说道:“在我看来,要想将在 FAIR 研发的技术应用到产品中,AML 是一个基本的通道。”
AML 的目标是 “推动先进技术在产品上的最大化应用” 和 “成为科研成果与产品开发间的粘合剂”。为筛选信息流、广告、搜索、语言翻译、语音识别、视频字幕的自动生成和自然语言理解等领域开发更好的算法都是 AML 要做的工作,AML 想借此来提升 Facebook 的效益。
Candela 曾作为 Facebook 的技术经理带领团队打造机器学习的基础架构,当他被邀请启动 AML 这个项目的时候,他希望 AML 能避免其它很多应用研究实验室曾犯过的错误。Candela 之前曾在微软研究院和德国著名的马克斯-普朗克研究所都工作过。“我曾经看过很多实验室都没有很好地将科研成果转化为工程成果。” Candela 这样说道。Candela 说的很多研究实验室犯的错误包括实验室与工程太过脱节,或是科研人员一点都不注重开发能应用到产品上的技术。(图中为 AML 掌门人 Joaquin Candela)
LeCun 的 FAIR 团队将自己 70%的时间用在长期的科学研发上,30%的时间用在短期的产品开发上。Candela 带来的团队的时间分配则恰好相反。AML 的大部分时间都用在将科研成果应用在产品上。Candela 表示,他带来的 AML 团队是以季度或月份为周期来对待一个项目的,而不是像 FAIR 团队那样通常以 5-10年 为周期来思考项目。AML 通常只做 6 个月的时间规划。
尽管 AML 和 FAIR 两个团队的工作内容和方式非常不同,但 Candela 和 LeCun 都坚信,只要致力于开放,他们就能获得更大的成功。Facebook 的 CTO Schroepfer 也认同这个观点,而且很快就为践行这一理念找到了很多量化的方法。Schroepfer 表示,除了开源了硬件和数据中心外,Facebook 的工程师共开源了 1000 万行代码,开源社区 GitHub 上已经有 Facebook 的 350 个活跃的开源项目。
Facebook 的这种开放的精神已经成为招聘牛人的一大优势。“那些顶尖的科学家一般都想要去哪里工作呢?他们当然都希望能与和自己类似想法的人一起工作,那么他们怎么知道我们 Facebook 的人是否和他们的想法类似呢?因为 Facebook 的开放性,他们能够看到我们 Facebook 的员工都在做什么工作,他们能看到 Facebook 的员工都发布了什么论文和研究成果,他们可以了解我们正在努力解决的问题以及我们是如何解决这些问题的。”
AML 的一个最新成立的团队是计算摄影团队,这个团队是在 Rick Szeliski 和其他几名科研人员去年10月 从微软研究院跳槽来 AML 后成立的。这个团队的主要工作方向包括视频防抖,其中包括 306 度视频,帮助用户拍更好的自拍照,同时帮助用户更好地在手机上管理视觉内容。
“我们之所以选择加入 Facebook 是因为照片和数据都在这里。我们在这里有大量可以分析的数据内容。我们每天都能接触像素和取悦用户,让用户变得更开心后,他们就会拍更多的照片和分享更多的内容。因此,这里不仅是照片的聚集地,同时也是照片的 “流动”(flow)场所。” Szeliski 这样说道。在加入 Facebook 前,他曾在微软研究院负责交互视觉媒体团队。
“Flow”(工作流)这个词是我们在 Facebook 经常会听到的一个词。这部分是由于 FBLearnerFlow 这个项目,FBLearnerFlow 是一个由 AML 开发一个端对端的科研工程工作流,它是一个供全公司员工测试和分享机器学习模型的端对端的机器学习软件,也就是说它目前还是一个仅供 Facebook 内部员工使用的软件。FBLearnerFlow 是一个知识库,公司里任何专注于人工智能或机器学习的员工都可以在里面发布自己的研究成果,供其他工程师在各自的项目里使用。
“假设我们有一个新的垂直广告,需要向 Instant Articles 里投放富媒体广告,但是这个团队没有什么机器学习方面的专家,所以工程师便可以去 “Flow” 这个科研工程流水线里去查看公司里正在开展的所有实验和产品原型,并能够从中选择一些有用的模块直接供自己使用。我总是鼓励大家去祈求、去借和去偷。你并不需要白费力气做重复的工作。” Candela 这样说道。
Flow 还是一个可以用来在一个可控环境下测试新功能的平台。“这是一件非常美妙的事。你可以在这里对自己的科研成果进行测试。如果我们做了一个 1%的用户参与的测试,如果测试结果非常不错的话,那么我们就可以将科研成果推送给 100%的用户。”
Flow 的用途非常广泛,这也是为什么目前 Facebook 四分之一的工程师都在使用它的原因,而不光是人工智能领域的科研人员在使用。Flow 也是 Facebook 在内部践行开放精神的典型案例,它不会将研究结果藏起来,而是会供所有员工使用。
Facebook 采用的这种同时依靠 FARI 做长远研究、依靠 AML 做短期应用研究的双重研究机制为自己在人工智能和机器学习领域赢得了一定的威望,但这并不能保证能够实现 Zuckerberg、Schroepfer 和整个 Facebook 公司大声宣扬的 10年 愿景和目标。
有很多问题都可能导致 Facebook 这个项目的失败,其中隐私问题是其中最明显的一个问题。在 Facebook 的用户意识到这家公司正在越来越广泛地分析自己的每一条动态、每一张照片并越来越深入地挖掘自己生活里的所有事情时,用户可能就会开始反抗。
同时还可能有财务方面的问题。Facebook 的高管和董事会会在什么时候要求看到他们从在人工智能和机器学习方面进行的投入中获得的回报呢?Schroepfer 自己坚持表示,Facebook 的管理层并不担心 FAIR 和 AML 的投资回报问题,他这样说道:“我认为,FAIR 和 AML 这两个团队做的工作已经为未来 5-10年 的回报奠定了坚实的基础,我们现在并不担心投资回报率,因为未来可能只要 1-2 个项目成功,我们就能获得期望的投资回报率。”
目前包括 Schroepfer、LeCun 和 Candela 在内的所有 Facebook 领导层都对开放这个本质属性非常重视,如果一旦情况发生改变,导致这些管理者放弃开放的理念,这时将会出现什么样的情况呢? “如果他们舍弃了开放的理念,像过去很多公司所做过的那样,那么他们可能就会丧失在科研领域的前沿领先优势。当公司到了某个发展节点后,如发展得不太顺利的时候,这时就会自然而然地出现一种促使科研人员追求短期利益的趋势,这只会伤害实验室,同时不利于公司长期愿景的实现。” 蒙特利尔大学的机器学习实验室主管 Yoshua Bengio 说道。(AML 实验室的部分成员)
这里的挑战在于要让像 LeCun 这样真正的强人去充当产品人员和科研人员之间的缓冲器,确保不给科研人员太多的压力去迫使他们追求短期利益。但无论如何,Facebook 未来依然会面临这方面的挑战,因为总会有追求短期目标和利益的压力存在。
即使 LeCun 自己也意识到,有时事情会在毫无征兆的情况下发生转变。“没有人强迫我们去证明自己存在的价值。但在经历了几家科研实验室的兴衰成败后,我开始认识到这样一个事实:除非你在公司里有东西可说,如:因为我们为公司做了这些工作,所以才会花这多么钱。否则的话,你现有的工作模式将无法持续太久。” 这也是 LeCun 和 Candela 在运营这两个实验室时会寻求将科研成果最大程度地应用到产品中的原因所在,以提高成功的可能性。
“你对一家公司要做什么事情越清楚,那么要做的事情就越少,这时就能越出色地完成这些工作。所以,如果你要求他们做 10 件事,他们可能其中的三件事做得比较好,其它 7 件事都做得都非常糟糕。这时你只能希望他们能选对那三件事情。作为对比,如果你说公司目前只需要做一件事情,这时你就能清楚地知道他们是如何做这件事的。对我们自己而言,我们现在就有两个问题需要解决:一是做基于未来的长期科研,二是找到科研成果应用到产品上的方法。这意味着我们需要创造有效的方法在全公司内共享想法。
我们希望能够形成这样一种理想的内部流通方式:AML 成员加入 FAIR,FAIR 成员也将加入 AML。这样的情况已经在发生了。其中一个例子是,Facebook 的脸部识别团队最开始是在 FAIR 启动的,后来就搬进了 AML 实验室,因为这个团队的工作和产品的关联性越来越大。还有一个例子是,AML 实验室的机器翻译团队的一位科研人员对将神经网络研究成果运用到机器翻译领域很有热情,所以他将研究重点转移到了推动最尖端的神经网络科学研究里,于是他后来就去了 FAIR 实验室。
LeCun 表示,很多由一个实验室搭建的基础框架都流向了另一个实验室。举个例子,Facebook 刚刚发布的智能搜索引擎项目 DeepText 虽然由 AML 直接完成,但它使用的确是 FAIR 搭建的基础架构,因为最开始 FAIR 想要搞清楚如何使用卷积网络以及其他深度学习技术去分类文本和理解文本。
当他们在这些领域的研究举得突破的时候,Facebook 并没有将自己的研究成果隐藏起来不和大家分享。以 Deep Text 为例,在刚发布后不久,Facebook 就在自己的开源代码博客里发布了有关 Deep Text 的深度文章。“你在学术界发表研究成果,参加科研大会,积极为整个科学界做贡献。与此同时,你还能看到自己的科研成果影响数十亿的用户。” 计算机视觉团队的主管 Manohar Paluri 如此说道。
一些人可能会担心这样的开放可能会导致一些商业上的风险,LeCun 却并不这么看认为。Facebook 能从让外部人在自己代码的基础上工作里受益良多,因为如果这些外部人的工作做得非常好的话,Facebook 可以直接将他们招入麾下,或者直接采用他们做出的改进即可。
“基于我们的市场地位,其他人使用我们的技术是 Ok 的,因为技术的价值很少存在于技术本身,而是存在于我们利用技术过程里。我们自己是一个巨大的社交网络,如果我们发明了一种能够应用到社交网络里的技术,我们就会是最快利用这个新技术的人。如果我们不先人一步运用这项技术的话,那就是我们的错了。“ LeCun 说道。