AR将如何发展？Magic Leap、Facebook、谷歌给出如下回答...

现如今，我们大多数人仍然需要通过一个不透明的矩形屏幕连接到互联网。这块黑色的玻璃就犹如数字小岛，与周围的现实世界相比，显得有些相形见绌。但是如果有一个可以覆盖你整个视野的透明屏幕，就像挡风玻璃一样，那么数字世界就可以与真实生活混合在一起。

这或多或少就是混合现实的样子。混合现实（MR）是一种空间计算体验，在这种体验中，你可以使用手势、声音或眼睛与虚拟内容进行交互。当今的混合现实体验仍然处于早期阶段，需要通过昂贵的头显设备作为媒介，比如Magic Leap One和微软的HoloLens，这些头显设备一般包含多个运动传感器、深度传感器和眼球跟踪摄像头。

也许大家对“增强现实”这个术语可能会更熟悉一些。增强现实（AR）是混合现实的近亲，数字图像可以被叠加在现实世界的视图上，但是你不能像在MR中那样实时地与之交互。如今，增强现实主要运行在智能手机上，使用后置摄像头和一些高级软件来捕捉和测量你对现实世界的视角。为了给iOS或Android设备创造AR体验，苹果和谷歌都开发了专门的平台——分别是ARKit和ARCore。

事实上，增强现实世界视角的AR和MR体验，都只代表了空间计算连续体的一端。另一端则是虚拟现实（VR），与现实世界完全隔离。连续体中的各种体验有时被统称为“拓展现实”（XR）。

虽然虚拟现实头显和内容已经很普遍，但AR和MR仍然大部分处于炒作阶段，充斥着夸张的MR演示视频和不断推陈出新的AR眼镜原型。事实上，在XR红为愿景与真正产品之间，仍然存在着一些严肃的技术、创意和社会文化挑战。但大型科技公司正在大力投资开发各种XR技术，许多聪明的人也相信，某种形式的XR最终将取代智能手机屏幕，成为我们首选的个人计算空间。

一直以来，我们真正想知道的是还有多久，Magicverse（Magic Leap的产品）的使用才会变得像拿起眼镜一样方便？

或者我们可以这样问：这项技术向更精致体验的发展速度有多快，还需要客服哪些挑战。为了找出答案，我询问了各大公司的专家，这些专家都将在XR生态系统的发展中扮演重要的角色。

混合现实的宏伟愿景

Greg Rinaldi——Magic Leap的开发者与创作者关系总监

Magic Leap One被认为是当今两款性能最佳的XR头显之一（另一款是微软的HoloLens）。消费者现在可以通过Magic Leap网站花费2300美元买到这款设备，它也将很快出现在AT&T商店里。

“我们今天生活在一个数字世界里，虽然我们看不见数字层，但可以通过手机与之互动，就比如社交网络。先要有物理世界，才会有数字世界，所以我们真正看到的技术发展方向并不是头显，头显只是一种机械设备。”

“真正重要的是集成所有数字层，从而为你提供信息。这些信息可能是一条公共汽车路线，或者如果你是一名工程师，它们可能是城市的排污系统。这些功能层在某种程度上几乎就像是无线电台。你可以根据自己的需求进行选择。”

利用混合现实进行工作

Greg Sullivan——微软HoloLens通信总监

微软于2015年首次推出HoloLens 1头显，并于2016年推出了开发者版。在看到能源、建筑、制造、医疗保健和零售行业的一些应用后，该公司于2月份推出了HoloLens 2。第二代HoloLens的设计同样针对工作场所，扩大了视野和手势控制，实现了全眼跟踪，设计也更加舒适。它将于今年晚些时候发货，起售价为3500美元。

“客户的确告诉我们HoloLens 2有很多可以改进的地方，我们选择关注的是开箱即用的沉浸感、舒适性和实用性。”

“展望未来，我们将继续在这三个方面进行投资。在下一个版本中，你会看到更多的沉浸感、更多的舒适性和更多有价值的应用。实现三者中任何一件都相对容易，但要同时实现这三件事却很难。”

“我们有一个人类因子工程师团队，他们将开发新的方法来让用户感到更舒适。在HoloLens 2，我们发明了一种全新的显示技术，结合了微电子机械转移。将来，我们可能不得不开发新型显示器，通过与设备的自然交互实现更多任务。”

“总的来说，我们希望把数字世界从二维屏幕中解脱出来，混合现实也将有益于新类别的工人，比如需要使用工具或需要四处走动来照看患者的人。顺便说一下，这些类型代表了今天的大多数工人。”

Facebook的必杀技——AR/VR杀手级应用

Facebook被认为拥有业内最好的计算机视觉和空间计算人才，他们致力于虚拟现实的社交体验，以及智能手机应用的增强现实体验。Facebook的第一款消费级产品——Portal家庭音箱/相机——提供了一些增强现实体验，我们也可以期望该公司会在未来增加更多的体验。虽然Facebook旗下的Oculus主要开发虚拟现实头显，但该公司可能正在探索未来发布更多增强现实硬件产品的选择。

Rachel Franklin，Facebook AR/VR体验主管

“我们目前在VR中所探索的是同步（或实时）社交，而不是异步社交。利用好我们手边的所有资源是非常重要的，因为当你沉浸在虚拟现实中时，你需要弄清楚如何表达自己，如何在一个完全成形的环境中与他人交流，如何截取出真正相关的、重要的部分，然后再带入现实世界之中。”

“VR头显现在已经存在于大众市场之上，所以我们肯定会一直待在这个领域里。但是我认为虚拟现实和增强现实都是非常重要的，我不认为一方会胜过另一方。”

Ficus Kirkpatrick，Facebook AR/VR工程总监

“我想区分一下头显上的增强现实，它并不是大众市场的消费级技术。但是现在有很多人会在智能手机上使用社交方式来研发人工智能。人们想要互相分享，想要用不同的方式自我表达，而AR对于如今市场上的产品来说是非常有用的。就像面部过滤器，它可能算是目前市场上最常用的增强现实。我认为这将会是一个多模态的混合世界，有些人会使用头显，有些人会使用Portal，有些人则会使用手机，我们需要最大化这些参与者的团结感。”

智能手机将在XR的未来中发挥重要作用

谷歌AR/VR产品副总裁Aparna Chennapragada

自发布Google Glass智能眼镜以来，谷歌已经取得了长足的进步。该公司在许多增强现实产品中使用了计算机视觉技术，包括Google Lens应用及其基于ARCore手机的增强现实平台。如今，谷歌正在它的地图应用中测试一个虚拟世界AR导航功能。

“对我们来说，这里最大的驱动因素是增强现实及其相机如何成为辅助和实用的另一种方式。AR可以让我们把答案放在问题所在的地方。比如经典的步行导航，当你走出地铁时，脑海中会浮现出我该朝哪个方向走的问题。我们应该把答案放在问题所在的地方，也就是说放在你面前的街道上。”

“人类是视觉动物——大脑皮层30%的神经元都致力于视觉理解。随着计算机视觉变得更为优化，我们可以将作用范围从单一的事物转移到整个场景，并且能够理解整个场景。第二个维度不仅给你信息，而且能够覆盖信息。”

“最后一个维度不仅仅是给你一些信息，而是把事情做好，实际上对事情采取行动。有时候这些事情可能很简单，比如翻译，当你在场景中看到外语时，它会自动为你翻译。坦白地说，这些事情背后有一些非常困难的技术问题，这就是为什么我告诉我的工程师这就是工作保障。”

“人们谈论AR已经有一段时间了。为什么现在对此感到兴奋？对我来说，现在有三个原因。一个是深度学习和机器学习技术的巨大飞跃，帮助计算机视觉更好地识别事物。第二个是，我们通过谷歌知识图表了解了更多的世界。”

“第三件事是，如今有30亿用户在使用手机，相机成为了最常用的工具。因此，手机实际上本身就是一个非常强大的计算平台。”

相机是下一个大计算平台

Allison Wood，Camera IQ的创始人兼首席执行官

Camera IQ帮助品牌在社交媒体上创造和传播增强现实体验。

“空间计算的发生方式基本上是通过相机、电脑和屏幕。所以你可以把相机看作是其他数据集的交换中心，包括视觉元数据、地理位置数据，以及你能想象的任何其他数据集。将这两者结合在一起就可以呈现相关内容。相机本质上正在成为多模态分布式计算范例中的主要接口。有些人把它称为空间计算。所谓多模态，是指输入可以是视觉的，可以是你的声音，可以是手势，可以是触摸。这些数据集可能来自其他计算机，比如我们戴在手腕上的智能手表。”

“我们看到的每一个技术平台，无论是Facebook推出的Portal，还是Snapchat的Spectacles，都在试图拥有下一代硬件。因为如果你拥有相机和硬件，你就拥有了计算平台。”

5G让《黑镜》成为现实

高通总裁Cristiano Amon

高通希望其移动处理器能够为下一代支持增强现实的智能手机提供支持。这家芯片制造商预计，其中一些体验将会发生在XR眼镜上，并通过USB-C连接到智能手机上。它最近宣布将提供参考设计（由骁龙855芯片支持），帮助手机制造商自我研发设备。

“你拥有高速的能力，拥有无限的数据容量、无限的云存储空间。因此，混合现实的内容，尤其是虚拟现实，将很容易实时获得。无论是游戏还是视频，5G可以让你立即访问内容，立即将内容下载到设备上。”

“5G的极致将会让《黑镜》成为现实。假设你部署了5G服务，由于速度很快，延迟很低，我们所使用的设备将具有混合现实能力。”

“当你走进一个房间，马上就使用带有面部识别人工智能的相机，由于100%的时间都与云相连，你可以认出他们是谁，然后追溯到他们的LinkedIn、Instagram和Facebook帐户等等。”

“我认为5G将真正释放增强现实的潜力，因为5G的出现让其变成了一个规模游戏。你得到的设备越多，速度就会越快，然后就会出现更多的应用。事实上，我很乐意声明5G就是混合现实中缺失的成分，它不仅可以解决内容问题，还可以通过将大部分计算能力转移到云中来解决硬件问题。”

忘记Magic吧，现在更应该注重风格和实用性

Steve Sinclair，Mojo Vision产品与营销副总裁

Mojo是一家来自加利福尼亚州萨拉托加的早期AR/VR公司。该公司还没有透露它正在研发的产品，但它已经获得了一些大公司的资助，包括Khosla Ventures、Fusion Fund和Dolby Family Ventures。Sinclair是苹果前iPhone产品经理。

“AR行业正开始好转。我们陷入了一些早期AR从业者的炒作旋窝，但我们开始看到出现了一些解决实际消费者和商业问题的解决方案。”

“吸引大众市场消费者的增强现实硬件平台不仅会提供实用性，还会强调真正的移动性和社会可接受性。这项技术必须让人从视觉和触觉上都感到正常，本质上它必须是隐形的。如果它需要很明显的手势来控制，或者需要你在公共场合大声说话，它是不会被大规模采用的。”

XR在未来几年面临的挑战

Timoni West，Unity Labs的研究主任

Unity Labs属于Unity Technologies，负责开发混合现实内容创建工具。

“在接下来的两三年里，控制器仍然是主流。当人们用旧的方式与数字对象互动时，仍然感觉很尴尬。计算机实际上不能读懂我们的思想。输入方法的可转换性是非常令人兴奋的，非常接近魔法的感觉。但即使那样，你也要做很多校准，才能确保一切正常。”

“要想创造一种与计算机互动的新方式，必须要感觉自然。当前的一些系统仍然使用数字按钮按键模式进行控制，我们需要看到更多身体层面的东西。他们将不得不做研究层面的工作，只是为了在未来三到五年为其中一些模式奠定基础。”

Agatha Yu，Valve的设计负责人

Valve设计虚拟现实头显和软件。Yu曾是Oculus的首席产品设计师，在2018年9月离开之前，她曾在Oculus指导Oculus软件的研发重启。

“整个行业必须改变我们的设计方式，这一点需要技能的转变。我主要负责为团队招聘，我发现我们需要更多设计和工程混合人才。因为我们对技术的控制非常有限，所以需要精通技术并了解基本性能问题以及用户需求的人来进行权衡。”

“在应用设计中，它非常受流程驱动，你可以将应用开发分解成多个阶段。在混合现实中，我们不能控制用户的移动，所以我们必须设计更多的概率。这与人工智能相吻合，因为我们可能有18个不同的参数，我们必须从中找出用户想要做什么。设计师必须关注用户的意图，而环境又总是不同的。”

Celia Hodent，UX战略顾问

Hodent在Epic Games担任UX总监时，曾负责研发热门的《堡垒之夜》游戏。她是《玩家的大脑：神经科学和用户体验如何影响视频游戏设计》一书的作者。

“我们在虚拟现实中看到了更多的多人游戏，但这也带来了一些严峻的挑战。人类是社会性生物，我们需要联系，人们希望在虚拟现实中分享社会空间。但是我们需要考虑到除了关系之外的其他需求，比如能力和自主性。这三种需求是我们内在动机的核心。因此，我们需要在虚拟现实中共享一个公共空间，需要在这个空间中相互交流，以表达我们的自主性和能力，当然，也需要成为所有人的安全空间。”

计算的未来是立体的

毫无疑问，一些严肃的技术挑战阻碍了XR眼镜的开发。是的，XR眼镜已经足够时尚，你可以在公共场合长时间的佩戴。但要想将足够的计算能力放在一个人脸上的小空间里——并保持它的凉爽——所需要的组件还没有做好准备。科技公司仍在努力以人眼能够看到的分辨率提供图形，将视野扩展到接近自然视野的地方，并创建精确跟随人类视线的眼球跟踪。从消费者的角度来看，迄今为止我所看到的混合现实体验感觉研发工作仍在进行之中。

大量XR内容和体验，比如游戏和其他娱乐，也没有完全准备好。还有一个先有鸡还是先有蛋的问题：软件开发人员不想在创造XR体验上投入大笔资金，除非他们看到硬件正在被出售，但除非有足够的游戏和娱乐，人们也不会想去购买硬件。

这些问题最终会得到解决。眯着眼看着一个小黑框，用手指戳开应用的日子可能屈指可数。会是某种形式的XR眼镜将我们从这种范式中解放出来吗？也许吧。或者，正如Camera IQ的Allison Wood所说，XR可能会出现在各种设备中。

这可能归结为一个问题，即数字内容对于富有成效和愉快地生活有多重要——以及公司会给予消费者多少内容控制权。人们真的希望数字层和全息图整天出现在他们的世界中吗？如果他们对XR眼镜没什么意见，那么他们对像AR隐形眼镜这样的东西也会同样满意吗？把数字内容直接插入视神经又怎么样呢？

这些问题最终都将由消费者来决定。各大科技公司及相关专家，必须仔细聆听才能在未来十年成功地驾驭好这一技术转变。