Facebook把增强现实列为优先级最高三项技术之一，Why

【腾讯科技编者按】《福布斯》网站发表文章，介绍了Facebook在增强现实上的努力。Facebook的高管表示，公司要想在未来10年或20年里在业界仍然拥有举足轻重的地位，就必须在增强现实上表现得出类拔萃。以下为原文内容：

在2014年1月，马克·扎克伯格首次尝试了虚拟现实（VR）头戴式耳机Oculus Rift。戴上这个像砖块一样的设备，他就从办公室“瞬移”到了一座中世纪城堡的废墟上，周围都是厚厚的雪花。他立刻认定，VR有朝一日会成为一个主流计算平台。两个月后，Facebook斥资20亿美元收购了Oculus。

但是还有一种名为增强现实（AR）的技术，出现得比VR更晚一些，它可以直接通过智能手机，将背景信息或特殊的数字效果叠加到物理世界上。扎克伯格命令工程师同时开始研发AR和VR。因为它们的底层技术是相同，双管齐下的做法合乎逻辑。

Facebook的首席技术官迈克·斯科洛普夫（Mike Schroepfer）表示，AR和VR排在Facebook技术优先级的前三位，另外两个是连接性和人工智能（AI）。在Facebook内部，数百名工程师正在研究计算机视觉这样的基础技术，让手机能够实时跟踪脸部移动，识别咖啡杯，或推荐和背景相称的图像效果。AI对AR来说非常重要，Facebook员工经常将应用内相机称为“AI相机”。公司在这上面投入了“非常多的经费”，斯科洛普夫说。

今天，Facebook正在与苹果和谷歌竞争，可以说还在一定程度上与Snap争夺，希望成为AR开发人员的首选平台。这项技术本身虽然还处于起步阶段，但已经迅速普及开来，这证明了扎克伯格的直觉是对的——VR仍然是一项尴尬的技术，它的吸引力主要局限在硬核玩家圈子，而AR可以普及给大众。 AR的关键优势在于它不需要昂贵、笨重的头盔，用户只要有手机就行。目前全球超过四分之一人都拥有手机。

Facebook应用机器学习负责人杰奎因·坎德拉（Joaquin Candela）表示：“手机机主的数量比VR头盔机主多得多。把侧重点放在AR上是很明显的事情。”

而且早期证据表明，AR可以吸引消费者，有时还能从根本上改变他们与手机互动的方式。一些AR应用人气极高，例如Snapchat上的小狗面具和《精灵宝可梦》寻宝游戏。情况很明显：混合现实的下一个主要阶段是AR，不是VR。

但是科技巨头在AR上大量投资的原因在于，AR的应用远不止是社交媒体、游戏和搞怪特效。它可以应用在从导航到电子商务的很多领域，为网购提供动力。宜家的app已经可以帮助购物者在家中虚拟摆放家具。一些制药公司也在使用AR来展示有关药物的实时信息。现代公司使用AR应用来帮助消费者了解汽车的一些功能。 AR还可以与聊天机器人一起为客户提供教程。 Facebook智能手机团队工程经理汤姆·迈尔（Tom Meyer）表示：“智能手机可以成为你观看世界的魔法镜头。”

在Facebook内部，工程师和高管都承认这很重要。如果没有在AR上走错方向，公司app的使用率可能就会下降。用户对社交应用的忠诚度可能稍纵即逝，Facebook要和Snapchat争夺年轻用户。哪个平台拥有最诱人的功能，最引人入胜的沟通方式（特别是通过图片和视频沟通），不断演变的体验，用户就会迅速转移到那个平台上。

在Snapchat推出AR效果几年之后，Facebook才推出自己的AR功能。在互联网时代，晚一步就可能决定成败，谷歌的社交媒体产品G+就是一个例子。不过，由于Facebook拥有强大的AI（可以支持更大规模的高级效果）以及出色的产品设计，它很快就追赶上了Snapchat，阻止了这个竞争对手的继续增长。

AR的成功可以为Facebook带来丰厚的回报。用户在该公司app中的活动和停留时间推动了Facebook广告业务的增长，帮助它在2016年获得了269亿美元的营收。AR效果促使用户在Facebook上花费越来越多的总时间，鼓励用户更频繁地发送消息，花费更多时间查看朋友的帖子并制作自己的帖子。 Facebook用户平均每天在主要应用Instagram和Messenger上花费大约50分钟 ，而Facebook也需要不断推出新的产品来吸引眼球，促进“影像密集型”沟通方式的发展，把指标维持在高位，在竞争中占据优势地位，尤其是在公司努力打击“标题党”和假新闻之际。

Facebook应用中特效和滤镜的流行，标志着该公司迈出了重要的一步：从静止的图像转变为 “未来的相机”——AI驱动的迷人效果，遍布于朋友和家人圈子中。小狗特效这样的东西看起来可能很无聊，但是它展示了Facebook在AR上的走向。Facebook的首席产品官克里斯·考克斯（Chris Cox）说，向 “影像丰富的沟通”转移，就像从桌面向移动转移那么重要。

“如果我们希望未来10年或20年内，Facebook仍然在业界具有举足轻重的地位，我们就必须在AR上表现得出类拔萃。”斯科洛普夫说。

未来的相机

Facebook现在已经是世界上最大的社交AR生态系统， 但第一个让社交AR变得受欢迎的公司其实是Snapchat。直到一年多之前，Snapchat的AR功能都还远远领先于Facebook。然而，由于扎克伯格早早预感到AR有朝一日会成为主流沟通工具，Facebook一直都在专心研发它的幕后核心技术。

Facebook一直在密切关注Snapchat的举动，同时它也很清楚自己app上的趋势。Facebook上的帖子越来越多地转向照片、GIF和视频，文本日益变得稀少。证据清楚地表明，用户希望在Facebook上通过图像和动画来表达自己，而且要实时做到这一点。

加大对影像共享的投资是不可避免的。当Facebook推出实时视频，并注意到一个名为Masquerade （MSQRD）的自拍特效应用时，公司的产品路线图就发生了重大转折。MSQRD当时已经在东欧取得了成功，并在美国引发了热潮，总用户数达到1600万。创始人尤金·扎特帕金（Eugen Zatepyakin）花了近三年的时间打造的3D图形渲染技术，让MSQRD的搞怪特效工具看起来与Snapchat的相差无几。Facebook高管被它迷住了。

Facebook于2016年3月收购了这家初创公司，交易价格未作披露。之后，Facebook开始加大努力来弥补时间上的浪费。不久之后，扎克伯格在社交网络上发布了一段自己使用MSQRD钢铁侠特效的视频，并悄悄启动了一个重大内部项目：为更复杂的应用内相机迅速构建技术支撑。

AI上的突破

Facebook一直在致力于AI的研发，然而，直到扎克伯格在2016年夏天呼吁组建专门的“相机团队”的时候，公司的AR努力才变得显眼。“相机团队”最初的成员是Facebook应用机器学习团队的几个AI工程师和研究人员。

在接下来的一年半时间里，“相机团队”扩大到100多人，其中包括来自好莱坞和游戏公司的设计师，他们和公司Messenger和Instagram等应用的相机产品主管协同工作，帮助他们发布功能并进行快速迭代。从推进底层视觉识别和深度学习技术，到组织外部用户小组尝试AR工具，该团队的工作范围相当广泛。

比如，在一个用户小组里，有人使用动画效果（表情包）祝他妻子生日快乐，这比用文字语言表达更加容易，也更快捷。

“他用我们提供的工具创造了一种非常亲密而可爱的体验，AR工具为他提供了方便的表达形式。当人们想以蠢萌的方式表达情绪时，这些工具让他们变得更加自信。”一名团队成员说。

相机团队成立后不久，《精灵宝可梦》获得了巨大成功，进一步证明AR可以吸引大众消费者。该游戏在2016年7月推出的19天后，就吸引了5000万玩家。为了用智能手机来搜寻捕捉AR角色，玩家每天常常步行好几英里。扎克伯格本人也是这个游戏的粉丝。这个游戏向Facebook高管证明，AR不仅仅局限于像Snapchat这样的消息应用。

与此同时，Facebook相机团队的工程师正在建立内部AI处理软件，他们希望这将成为未来AR效果的支撑。像Snapchat这样的竞争对手依靠的是外部服务器来提供AR功能，降低了速度和复杂性，但Facebook试图开发一种用于直接在智能手机上处理AI的系统，该技术后来被称为Caffe2Go。 Facebook希望能先构建好基础架构，确保可以实现无缝扩展，到可以提供比Snapchat更好的渲染、面部跟踪和速度的时候，再推出AR效果功能。

就在打造Caffe2Go的同时，Facebook产品团队在MSQRD的帮助下尝试了AR工具。 2016年8月，在夏季奥运会开幕之前，Facebook进行了一些模仿Snapchat风格的测试。它还在Instagram上推出“Stories”，模仿Snapchat那种让帖子消失的标志性功能。

那年秋天，Caffe2Go完工了。它是第一个可以通过直接在智能手机上用AI来处理实时捕获并分析像素的系统。 Facebook在2016年秋季对Caffe2Go进行测试，让用户把照片或视频转换为毕加索或梵高等艺术家的风格。

2017年4月在Facebook举办的年度F8开发者大会上，扎克伯格宣布推出“相机平台”，让开发人员可以在Facebook上构建AR功能。扎克伯格认为，最终这项技术将释放人们的创造力，创造更多的艺术作品。

这是扎克伯格第一次把Facebook应用内相机作为该平台沟通方式的核心，和自称“相机公司”的Snapchat 争锋相对。尽管AR眼镜可能会成为第一个可穿戴AR设备，但扎克伯格预测，人们将开始在智能手机上享受AR的黄金时代。

自从2016年末Facebook开始推出AR特效以来，Snapchat的增长停滞不前。现在每天只有约1.9亿人使用Snapchat，而每天有5亿人使用Facebook旗下的Instagram。

AR竞赛

尽管AR最大的消费用途是在社交媒体上，但几乎所有科技巨头都在为自己的开发者生态系统和产品构建AR功能，大多数开发人员还不知道如何利用好AR。在Facebook推出其AR相机平台两个月后，苹果公司推出了自己的开发人员工具包ARKit，它适用于iOS 11，开发人员和营销人员可以利用它轻松地将AR集成到其现有的应用中。调研公司Forrester的数据显示，大约有4亿台设备与Apple的ARKit兼容。 去年9月，苹果公司为iMessage推出了“Animoji”功能，它可以在iPhone X上利用人脸识别功能，让人们用自己的脸部表情制作表情符。

然而，谷歌可能是在AR方面研究时间最长的科技公司，早在2013年，它就推出了谷歌眼镜（Google Glass）。这种智能设备颇受技术爱好者的推崇，但消费者却因为担心隐私问题，对它的接受度不高。谷歌在2016年推出了一个名为Tango的AR平台，使用深度传感器来映射室内空间，但它只能和少数设备兼容。为了将Tango的能力扩张到更多手机上，而不需要这些手机添加摄像头和传感器，谷歌于8月推出了ARCore，类似于苹果的ARKit。这个开发人员工具包面向现有和将来的安卓设备，比如三星Galaxy 8。

与Facebook一样，谷歌自然也对使用AR进行搜索感兴趣。5月，谷歌宣布推出“镜头”功能，这是一种计算机视觉工具，可以在谷歌照片中对相册进行分类。现在，Pixel和Pixel 2用户可以将摄像头指向店面等对象，实时获取相关信息。 苹果和谷歌拥有自己的操作系统，好处之一就是开发人员可以在这些操作系统上构建大量的AR应用。和苹果谷歌相比，Facebook迄今尚未成功推出硬件产品。

Forrester分析师托马斯·哈森（Thomas Husson）表示：“Facebook的相机平台可以帮助开发者和营销人员吸引越来越多的受众。但Facebook的局限在于它无法控制硬件。真正令人惊叹的AR体验需要软件和硬件的配合。”

虽然Facebook、苹果和谷歌都把侧重点放在智能手机上，但微软一直聚焦于可穿戴设备的商业客户。该公司在2016年推出了Hololens，这是一款价值3000美元的VR头盔。Hololens使用了一个Windows Mixed Reality的操作系统，该系统也可供其他VR和AR硬件制造商使用。然而要让一款AR设备的成本降到亲民水平，吸引大众市场，可能还需要几年的时间。

Facebook可能永远不会拥有自己的操作系统或者AR设备（尽管它正在尝试），但它确实拥有一项重要的独特资产：首先，它比Snap、Kakao、Line和微信等任何其他社交或消息应用覆盖的用户都要多（因此拥有大量关于人们兴趣点的数据，这对于个性化AR效果非常有用）。其次，Facebook拥有最大的计算机视觉团队之一，可以帮助它创建不错的功能。即使Facebook永远不会推出自己的人气AR硬件，它也仍然会是未来数年中最大的AR内容生态系统之一。

广告的下一个趋势

去年7月的热门剧集《权力的游戏》第七季结束时，超过100万人在Facebook上创建了自己的“夜王”可动表情包，发送给朋友。这个人脸跟踪特效可以根据用户的脸部进行实时调整。

重要的是，这个特效的制作者是HBO，而不是Facebook。它很快就成为了Facebook上最成功的AR广告之一。这表明，高质量的AR效果可以成为人们发送给朋友的广告。正如“夜王”特效所示，AR对许多营销人员来说都很诱人，因为它提供了一种新的方法，让智能手机机主停留更长的时间。 Facebook正在将自己定位为AR营销活动的默认平台，其核心是鼓励用户与朋友一起玩AR游戏，张贴AR自拍。

现在只有大约5％的营销人员在使用AR技术。Forrester最近的一项研究显示，17％的营销人员计划今年使用该技术，并且至少在未来三年内，AR对营销人员来说比VR更重要。

现在还处在探索阶段

随着AR从智能手机延伸到可穿戴设备，这项技术可能会成为人类感官的一种永久性增强装备，可能会根据我们的位置、兴趣和社交网络来提供类似于搜索栏的功能。但AR在消费上的用途仍然是个新生事物。在接下来的几年中，各大科技巨头将忙于改进核心技术，为智能手机构建AR，而Facebook将侧重于在短信和个人表达的优势上。随着时间的推移，AR可能会让Facebook的动态新闻变得更具沉浸感，视频更丰富，互动性更强，尽管具体细节现在还很难说。

Facebook需要不断改进自己的AI，提高速度和精确度。例如，在识别视频中的物体时，要明白从不同角度观看是一个场景时，它是怎么像素化的，明白如何映射场景中物体之间的关系。为了吸引发展中市场的用户，Facebook的AR功能还需要能兼容一些较弱的蜂窝网络和一些老款手机。

“我们仍处于基础探索阶段，我们仍在构建基础技术，”Facebook的坎德拉说。

斯科洛普夫称，Facebook正在“大力投资”硬件来支持AR，并且构建更多社交工具。而且改进底层AI还有其他好处，例如可以通过更好的视觉识别和语言理解工具来帮助处理垃圾消息和不良内容，推动游戏和机器人技术。

坎德拉说：“从我们打造的社交基础设施，我们推动的技术来看，你可能很难想象怎样应用它。但我很确信，这将解锁我们今天想象不到的东西。有意义的AR体验将会具有很强的社交性。”（编译/Kathy）