耗时6年，总融资近19亿美金，外媒《滚石》万字长文揭秘AR眼镜 Magic Leap One（下）

雷锋网按：Magic Leap 公布产品后，外媒滚石（Rolling Stone）便发布了这篇详细的万字长文。文中，该记者详细描写了他所体验的一系列 Demo，尽管产品实物图并未曝光，但 Magic Leap 首次向外公布了 6 年时间里，他们在光学方面的探索以及目前取得的进展。由于篇幅过长，雷锋网将其分为上下两个部分，整理如下。

“Hello World”

Magic Leap 的“Hello World”时刻（第一个演示程序）别人可能已经忘记了，但是对于那个四年来一直在努力证明他们的理论的团队来说，这个时刻这是令人欣喜的。

而且，它只是一个单独的像素。

Abovitz 说：“无人关心的真正的第一个时刻是当我们使用一个操纵杆操纵一个像素，让它在房间里移动。“这就像 1970 年索尼的 Pong，当然，并没有 Pong 复杂。只是一个小点在我们房间里走来走去，但那感觉就像'哇，我们刚才那样做了吗？'”

Magic Leap 研发中的“替补”

Abovitz 把 Magic Leap 在 2014 年突破之前的那段日子称为“沙漠里游荡”。2013 年，他们开始建造第一个工作原型。Abovitz 向我展示了一幅这个他们称之为“替补”的原型机图片。我告诉他，这看起来有点像一个巨大的蒸汽朋克断头台，但他纠正了我。他说：“ 这更像是《发条橙》里的东西。你把你的头放在一个巨大的悬挂的矩形电线下面，把你的整个头锁定在那里，你只能坐在那里，静静地等待，因为研究团队需要使用信号发生器来欺骗你的大脑去看那里不存在的东西。”

这个过程很慢，并且非常令人沮丧。Abovitz 说，他经常前往“小鹰号”和“土星 5 号”建筑那里寻求灵感。那时，研究团队是由 NASA 的人员，计算机科学家，物理学家，漫画创作者等人员组成的。团队不断地迭代和重复他们的想法，终于，正如 Abovitz 所说，他们得到了那个可以移动的像素点。

这个点证明了这个理论，之后的创新变得越来越快。不久之后，他们将漫画书中的角色放入了现实世界，并讨论了创建“怪物战争”游戏的想法。这个概念可以让孩子们走进一个真正的游乐场，然后让他们的大怪物在头顶上进行“决斗“。

Magic Leap 的“Cheesehead“

这个时间点很幸运。Abovitz 知道公司的启动资金将要花完了，新的外部融资是必须的。幸运的是，像素和这两个角色足以向 Google 和其他人展示 Magic Leap 正朝着正确的方向前进。所以 2014 年底，Magic Leap 成功筹集到了 5.4 亿美元的风险投资。

他们用这些钱搬出了单间办公室，开始研究他们技术的第一个可穿戴版本，公司现在亲切地将其称为“Cheesehead”。Abovitz 说：“那时，我们就把光场信号发生器和计算机视觉的东西放在上面，然后装配起来，戴着头上开始四处走动。它重达几十磅。从那时起，我们就知道，是时候将运动和高端计算机视觉结合起来了。“

“Cheesehead“表明，他们可以将信号的关键元素提取到纳米芯片结构中，并将其放置到晶圆芯片上，以创建数字光场信号，帮助人们欣赏这个新的混合现实世界。这个庞大而奇怪的设备也使得公司正在成长的软件团队能够测试他们正在开发的代码。

在接下来的两年里，团队继续在软件，硬件，技术和设计方面进行迭代。为了加快生产和测试周期，他们搬到劳德代尔堡外的一个大空地上，并在地下建立了一个晶圆制造厂。Abovitz 说：“从 2014 年 10 月到 2017 年 12 月，我们进行了非常疯狂的冲刺。“

魔 法

在 Magic Leap 庞大的综合地下室里，机器手臂和工人们静静地合作着，组装着稳定的光子芯片，为公司的新款（或许也是更好的）混合现实助力。Abovitz 指引我走过一条长长的水泥走廊，偶尔停在窗前指指里面的工作。Magic Leap 公司负责硬件和工程项目的高级副总裁 Paul Greco 解释说，整个地下的地板必须经过修复和重建，才能成为他们所需要的设备。Magic Leap 的工作人员很少告诉我有关制造的晶圆的事情，可能是因为它们似乎是 Magic Leap 的魔法。Abovitz 把这些小巧的、半透明的长方形晶体称为光子晶圆。但是如果他不说的话，我会把它描述为一种透镜。

Abovitz 说：“直到目前为止，我们还在努力发展这种信号的概念，并试图发明这种信号的晶体管。我们不是用晶体管来移动电子，我们正在移动光子，一种三维纳米结构的光子信号。我们还没有给它起名字，暂且先称之为‘海猴（Sea Monkey）’，当然正式的名字不会是这个，我不想让海猴们生我们的气。所以我们要为我们的结构起一个很酷的名字。“

他说， 晶圆可以在 3D 纳米结构中移动光子，使其能够输出一个非常特定的数字光场信号。那些光子晶圆最终会进入一个更大更圆的镜头，这个镜头会被制造成一副光滑的护目镜。 在楼上一个安静的展厅里，我第一次仔细观察完整的 Magic Leap 硬件。Magic Leap 设备的所有组件都以相似的设计语言捆绑在一起，公司的高级副总裁 Gary Natsume 将这些灰色的晶圆称为月球的灰尘和完美的圆圈。 这个系统，也是公司的第九代硬件，由以下三部分组成：一个头显，一个由单根连线连接的豆荚型微型电脑和一个控制器。 头显看起来就像一副用厚皮带固定的护目镜，它们既轻巧又时尚（至少比目前的 VR 头显都要更时尚）。“镜头的形式非常时尚，” Natsume 说，“我们最终的愿景就是它可以像眼镜一样，人们每天可以佩戴。”

较大型号的 Lightwear

Natsume 表示：“固定眼镜的头带使用的是‘寺庙皇冠’的设计。这是我们研究如何平衡头部重量的成果。” 戴眼镜时，用户需要拿着带子的任一侧，拉开后，眼镜会分开成左、右、后三部分，用户可以像戴头带一样放在头上。两根短的电线便从头带后面伸出，合并成一个，放入 Lightpack 中。Lightpack像是平滑连接起来的两个圆形豆荚，中间留有一些空隙。 这样的设计可以让你夹在口袋里，或者挂在类似于吉他上的那种肩带上。

眼镜将分为两种尺寸，额头垫、鼻托和太阳穴垫都可以定制，以符合用户的舒适度和适合度。最终产品推出时，公司还将为戴眼镜的客户提供专门配镜的细节。

控制器是一个圆形的塑料手柄，握感舒适，上面有一系列功能按钮，是一个六度自由运动触觉感应触摸板。

Lightwear 和 Lightpack 在设计上几乎如同玩具一般，并不是因为他们很廉价（事实上绝不便宜），是因为他们同其他头显和控制器相比实在太轻。 不过，Abovitz 很快就指出制造这个小玩意需要多少钱。他说：

“这实际是一台独立的电脑。就像 MacBook Pro 或 Alienware PC 一样，它有一个强大的 CPU 和 GPU。它有一个驱动器，配有无线网络，所有应匹配的电子附件，所以它就像一台折叠起来的电脑。”

较小型号的 lightwear

接着，他指着 Lightwear 说：“这里还有另一台功能强大的计算机，它是一台可以感知世界，进行视觉处理的实时计算机，它具有机器学习能力，因此能够不断了解用户外界的情况。所以你在这里看到的可以说是一台重量最轻的工程卫星。”

Lightwear 还可以通过四个内置麦克风感知用户周围的声音，并使用一个实时计算机视觉处理器，以及六个外部摄像头以实时跟踪佩戴者和他们周边的世界。内置于头显太阳穴位置内部的微型高端扬声器为用户提供了立体声，并可以对用户的动作以及与用户做出的互动动作做出反应。他说：“这不是一副连着相机的眼镜。这就是我们所认为的空间计算机，它有着完整的空间意识。“

不过，Abovitz 拒绝透露头显的 GPU，CPU 及其他信息，也没有提供电池寿命信息。他说，除了他们还在进行电池优化之外，其他的信息他们需要稍后再发布。当我们离开的时候，我注意到一张被白纸罩着的长桌子。“那里有什么？”我问。Abovitz 说，“是下一个原型机。”

Sigur Ros 音乐和 Weta 机器人

当大家在收拾演示室里的东西时候，Miller 问我在想什么，我告诉他：眼镜非常舒服，我几乎忘了正在戴着它。电脑的附件整齐地装在我的口袋里，耳机的系绳也没有缠在我身上，控制器的感知反应几乎是即刻的，声音既准确又响亮。但我还有一个担心：视场。

像微软使用不同技术来实现混现实的 HoloLens 一样，Magic Leap 的 Lightwear 也不能提供一个与你的眼睛相匹配的视野。相反，Magic Leap 的虚拟图像出现在一个大致为矩形的视野中。由于视野是在空间浮动的，我无法进行测量，所以我做了如尝试：我花了几分钟先拿出一张信用卡在我面前，然后用我的手比划测量这个看不见的框架的大小，结果是信用卡太小了。最终我得出这样的结论： 视野空间大约是距离你半臂远的 VHS 录像带的大小。它比 HoloLens 的视野大得多，但视场依然是个问题。

Miller 说：“我可以说，我们下一代的硬件技术会大大地显着拓展视野。因此，目前这些设备上所能提供的视野大概就是这么大。但下一代产品的视野将大得多。我们的同事正在实验室研究这些东西。”

De Luliis 补充说，开发者还可以选择淡化边缘，这样图像就不会出现这样尖锐的边缘，而你的大脑则会自然而然地填补边缘的空白。”

Miller 想给我展示另一个巧妙的“把戏”。他走到大房间的尽头，叫我弹出机器人 Gimble。机器人乖乖地出现在远处，漂浮在 Miller 旁边。然后 Miller 走进机器人的那个空间，他突然就消失了，算是大部分的消失了，因为我仍然可以看到他的腿从机器人的下面显出来。

我的第一反应是：“这个把戏确实挺有趣”，但是后来我才意识到，我刚刚看到的是一个由 Magic Leap技术创造的虚构物体，完全模糊了现实世界的人类的情景。 我的眼睛看到同一地方存在了两个物体，而我的大脑却认为机器人是真的，而工程师是虚拟的，因此我忽略了 Miller 只能看到Gimble （至少这是后来Abovitz 后向我这么解释的）。

最后，我去了一个单独的房间，这里的体验我终于可以描述所有细节。冰岛实验摇滚乐队 Sigur Ros 早已经和 Magic Leap 进行了一些合作，创作出一种他们称之为“音景（soundscape）”的体验。对于这个特别的演示，团他们让我把耳机插入头显里。“你将要看到的是一个叫 Tonandi（冰岛语为声音精神）的项目。”该项目的技术负责人 Mike Tucker 告诉我，“你将要看到的不是一段录制的音乐，而是一段互动的音景。你看了就知道他们为何喜欢这样称呼它。“

Tonandi 首先会在你周围创键一棵“空灵树”，然后等着看你下一步做什么。漂浮在我周围的是一些跳舞的小精灵。当我向他们挥手时，他们便会创造出一种哼鸣的音乐，继而有的会消失，有的会围着我转圈。随着时间的推移，不同的小精灵会发出不同类型的创作音乐，我会触摸它们，向它们挥手，点击它们，看看我与它们的各种互动会为我周围越来越多的管弦乐合唱团增添什么样的因素进去。

很快，豆荚就从地毯和咖啡桌上的长茎和草地上喷出。豆荚像花蕾一样张开，我发现黄貂鱼样子的小精灵在我周围漂浮着，发出五颜六色的光。我的动作，不只是在改变我周围这个口袋般的世界，它还可以让我参与到音乐共同创造中，将我的行动与 Sigur Ros 的声音结合起来。

Tonandi 的体验毫不费力。这种超现实的、魔幻现实主义的音乐创作，可以交给任何人去尝试。但在幕后，却需要很多努力。Tucker 说，这个项目使用了很多 Magic Leap 的技术。他说：“我们正在为 Magic Leap 使用一些独特的功能。我们正在使用空间的网格划分，使用眼动追踪，而且我们将使用手势输入系统作为我们大部分的产品体验技术。”

后来，在一间会议室午餐时，Abovitz 说：“这个团队曾经尝试过恐怖体验的实验。那真的这太可怕了。人们都不会想要再进那个屋子了。所以我们说，‘好吧，现在就把这个实验放在一边吧。’”

还有很多的可以体验和观看的东西，但是我的时间有限。我曾经希望看到的一个体验是基于 Weta Workshop （那个为电影“指环王”，“银翼杀手 2049 ”和“ 仙境传说”等制作特效和道具的公司）而创造的。但是公司说它不能用于测试体验。

一个正在进行开发的游戏是由 Weta workshop 新成立的 Weta Gameshop 部门创建的。它围绕着“Grordbort 博士的神奇宇宙”概念展开（这个概念由 Weta 概念设计师 Greg Broadmore 创建并由 Weta联合创始人 Richard Taylor 和 Tania Rodger 所共同拥有）。Taylor 告诉 Glixel，目前在 Broadmore 的新部门有大约 55 人正在进行这款游戏的开发工作。Taylor 说：“我们已经为此工作了大约五年。我们一直在开发与 Magic Leap 硬件和软件开发直接相关的游戏。”

Taylor 相信 magic Leap 推出硬件的明年，这款游戏也将会推出。这款游戏是一个基于“Grordbort博士的世界”为背景的第一人称射击类游戏。在这个游戏的原小说中，一个机器人星球发现了一种个入侵地球的通道，玩家必须阻止他们的入侵，游戏中需要使用系统的控制器，看起来像是一种射线枪。Taylor说：“当你进入游戏时，你可以在所在空间的墙壁上看到这个通道，由此看到机器人星球。游戏从你身边这个冷静的机器人 Gimble 开始，接着是与 Grordbot 博士的聊天，最后一切都崩溃了，你必须加入战斗。这是最狂热的现实世界体验。“

现实的坚持

Magic Leap 数十亿美元的技术有时很容易被低估。在某些方面，这个技术的关键创新之一却让你感觉到它的存在。

Abovitz 和他的团队希望能够解决的一个基本问题是：几乎所有人都会发现，在长时间使用任何类型的屏幕后，使用 VR 头显会感到一些不适。Abovtiz 告诉我：“ 所以我们的最终目标是将空间计算做成世界上许多人可以在任何地方、全天使用的东西。 这是个雄心勃勃的目标。实现目标仍然需要时间。但是较长时间的佩戴需要一些轻便舒适的东西。它必须像袜子和鞋子一样适合你。它必须非常贴合你的脸，根据你的身体进行调整。而且我认为，为了佩戴整天，一个基本要求就是它的信号必须与你非常匹配。”

他说：“寻找一种重新创造光场的方式，意味着观赏的体验要如同你环顾四周一样自然而舒适。这就是 Magic Leap 工作的基础。你甚至不用再想这件事。你只是想知道我们把它设计的很好。我们认为这是重要的第一步。”

虽然这项技术的基础可以得到解决，但是 Abovitz 承认，当我提出有限的视野时，就说明用户体验仍然并非完美。他表示，该公司仍在微调设备体验。他说：“我们认为这样的视野对 ML1（即 Magic Leap 第一款消费级头显）来说是可行的。视野问题我们将继续在 ML2 和 ML3 以及更高版本中进行迭代的工作之一。 ”

Abovitz 并没有真正回答我关于技术的另一个主要问题：能否提供多个焦点。从理论上讲，光场应该允许你从透过一个虚拟形象看到背后到现实，同时让这个更近的虚拟形象失焦。不过我所体验的展示并没有真正提供一个机会来查看 Magic Leap 的眼镜是否能够有效地实现这一点。所以当我问产品是否支持多重焦点技术时，他在接下来的电子邮件中告诉我：“Magic Leap 的 Lightwear 利用我们专有的数字光场技术，这是我们的模拟光场信号的数字版本。开发人员可以创建应用程序和各种角色，并在空间中正确地显示，它允许用户自然地关注感兴趣的对象，就像他们在真实世界中一样。”

当我提出一个更加明确的答案时，Abovitz 因为对专有信息的考虑拒绝了我的答案。

Abovitz 认为，他们首次发布的硬件的性能良好可行，这也解释了为什么他们把它称为 Magic One（创作者版）。对于 Magic Leap 来说，创作者是开发者、品牌商、代理商，也包括早期的消费使用者。他说：“购买第一台 Mac 或第一台 PC 的消费者，都会购买第一个 iPod。就是那样的一群尝鲜者。但 Magic One 绝对不只是一个开发工具包。如果你是一个“消费—创造者，拿到产品的你将会很高兴。“

但是 Abovitz 也拒绝提供给我一个发货日期或价格。但他确实表示，毫无疑问，第一个版本将在 2018 年发布。至于成本：“我们有一个内部的价格，但我们还没有讨论过这个问题。预购和定价将会在一起。我只能说，我们不只是一个高级计算系统。我们更是一个优质的手工艺术般的电脑。“

尽管没有回答一些关键的问题，但是在 Magic Leap 的走廊和小路散步的那一天，让我更加清楚地知道公司要做什么，他们要的不仅仅是头显，或是它正在运作的高科技光场技术。Magic Leap 在将他们的系统推向世界的时候，是将大量的技术整合到一起，有朝一日，他们可以彻底改变我们处理所有技术的方式。

光场光子学，这个可以将虚拟现实投射进真实的自然光场中的技术，可能是目前显示技术中最大创新，但这里还有更多的东西。视觉感知系统正在跟踪你活动的世界，它可以注意到平坦的表面、墙壁、各种物体等事物。其结果就是，这样的头显可以看你在做什么，然后对你的行为做出适当的反应，这或许意味着在真正监视器旁边挂一个混合现实监视器，或者是确保你的客厅中浮动的鱼不会撞到沙发上。房间映射也可以用来跟踪你放在真实世界里的东西，所以当你回来的时候，他们就在那里等着你。比如，如果你睡前将六台虚拟现实显示器排列在真实的桌面上方，那么第二天它们还在放那个桌子上排列着。

虽然我们不知道 Lightpack 内置的微型计算机的规格，但我们知道它是可以用于运行一个可以看到真实世界并做出反应的电子游戏的。控制器是与系统交互的一个直接方式，但它也可以使用 Magic Leap 自己的手势跟踪，其中不仅包括手和手指，还包括头部位置、语音、眼动追踪等等。

最后，这项技术不仅提供了光场，而且提供了一个声场，可以跟踪你的动作并作出反应，无论你身在何处，它都可以确保音频始终来自物体。它甚至可以向用户传达距离和强度信息。这些只是用来创建 Magic Leap One 及其 Lightwear，Lightpack 和控制器的硬件和软件。

明年年初，Magic Leap 公司计划开放创建者门户并提供对其软件开发工具包的访问权限。它不仅仅是 Magic Leap 和它的合作伙伴（如Weta，Sigur Ros，ILMxLAB和Twilio）独享的，这将是每个人都能获得的体验。

当体验活动的结束时，公司团队走到 Abovitz 办公室跟我说再见。他坚持把我带到入口处。穿过 Magic Leap 的山洞，到达出口时，Abovitz 停下了脚步。在楼梯间的墙上，单独悬挂着一幅画。是萨尔瓦多·达利（Salvador Dali）的作品，标题是“用基于全息图和计算机的眼镜观看想象中的物体”，Abovitz说，他认为这就代表着 Magic Leap 在重现光场方面所做的工作。他用手指向了图中的相似之处：图像下方的数学式涂鸦、眼镜、视野的插图以及似乎是亮起的视觉皮层。

在我看到了被视觉皮层和大脑吸收处理过的外部图像的情况下，Abovitz 看到了相反的情况：一张画显示出计算机生成的图像被注入大脑，然后投射到用户的世界中。

这是 Dali 的“Magic Leap” ——通过超现实主义者的眼睛看到的魔幻现实主义。

via  rollingstone.com 雷锋网编译

相关文章：

关于 Magic Leap One，行业人士和读者们都是怎么看的？

解读 Magic Leap One：光学成像是怎么做的？（一）

多个娱乐消费应用，Magic Leap One和其他AR眼镜有什么不同

解读 Magic Leap One：除了娱乐，AR 眼镜还能怎么用？ （二）

Magic Leap光场技术：是技术之跃，更是魔法之跃

。