大神支招：打造手机 AR 内容，产品设计会遇到哪些挑战？

AR 的到来会让我们重新思考数码产品该如何设计

雷锋网按：本文作者系 Super Ventures 合伙人 Matt Miesnieks ，这是他有关 AR 的第五篇博文了。本文梳理了 AR 应用在产品设计上会遇到的各种挑战，每个可都是天坑。雷锋网 (公众号：雷锋网) 编译如下。

随着 ARKit 的问世，未来一年里 AR 应用将蜂拥占据 5 亿台 iPhone 的“身躯”，谷歌 ARCore 的入局更是彻底点燃了这个市场。在这一背景下，越来越多的开发人员开始转向 AR，他们也会通过各种实验来摸索这个全新的媒体平台。事实上，AR 的意义恐怕不止于此。一直以来，我们都在通过矩形（从石碑到电影院再到智能手机）来消费视觉内容，而 AR 则首次突破了这一限制，成了完全开放的新型媒体，它甚至有望成为第 8 种大众传媒。

与传统的打印媒体相比，AR 在规模上与其类似，但在种类上却完全不同。新媒体诞生初期的成功产品大多数都带有前人的印记，因为这样更符合人类心智，让他们更容易接受新生事物。其实这样的世代转换在网页诞生时也出现过，当时的网站更像是在线用户手册（干巴巴的静态 HTML 网页）。因此，第一批 AR 应用肯定也会有浓厚的移动应用即视感，所以大家也别把期望值调的太高。不过，一款 AR 应用要想成功，还是得借力新的媒体元素，如果还卡在旧的条条框框里恐怕只能被骂成假 AR。

 最初新媒体从传统媒体处借鉴了很多，取得了成功。我常常听人们说 AR 能让我看到“出租车司机离我还有多远”的想法。AR 应用将发挥新媒体的优势，是那些传统媒体无法实现的形式。

刚刚进入 21 世纪时，我曾在 Openwave（就是那家发明了手机浏览器的公司）就职，当时我们经常会谈到所谓“基于移动端”的体验并不断强调它与“小屏网站”间的区别。2010 年，Fred Wilson 终于把这一生涩的概念解释清楚了。今天，我就会以 Wilson 的文章为框架，将频道调到 AR 再来解释一遍这个问题。

在这里我要提一点，那就是最近苹果针对 ARKit 推出了不少人机界面指南，但谷歌却明显没有跟上这一步伐。

到底什么才能算是“基于 AR”的应用呢？

在下文中，我会深入挖掘一些对智能手机 AR 相当特别的因素。当然，本文与头戴设备关系不大，因为相比智能手机，它们的玩法更为丰富。当然，我个人面面俱到，但这份清单应该是当今时代最具综合性的了，毕竟它融合了超过 50 年的 AR 手机应用开发经验。

作为 SuperVentures 的一员，我经常会过目各种 AR 应用。其实开发者到底有没有用“基于 AR”这一概念来开发很容易看出来。只需问他们“为什么要通过 AR 来开发，而不是选择传统方式呢？”这一问题就能得出结论。

跳出手机的条条框框

虽然用户还要通过手机屏幕观看和交互，但设计 一种能脱离手机的内容在概念上本身就是一大进步。

要想做一款成功的 AR 应用，设计师或开发者必须先实现精神上的飞跃，也就是跳出手机的条条框框。同时，你还要重新思考用户与智能设备之间的互动过程。现实世界的架构、用户如何握持手机，甚至附近的人、物、声，都会对 AR 产品的设计产生影响。毕竟，在 AR 中所有的事物都需要通过 3D 的形式呈现出来。

其实应用程序内的各种互动、过渡、转变、模拟和更新，只是需要考虑的一个方面而已。应用程序外所发生的事情，同样也需要考虑。作为 AR 应用程序研发人员，如果能够实现思维突破，事情就容易多了。

手持与头戴可大不相同

手持手机这个操作习惯是种很大的限制，但同时它也提供了很多机会。要知道，手后面是手腕和手臂，它们能够在很大程度上实现自由移动，这一点头部是无法做到的。此外，单手操作应用和双手操作应用能实现的效果完全不同。

用头戴设备来玩尺子应用就有些强人所难了

这也就意味着，玩 AR 应用时，用户无需总是盯着屏幕看。最为典型的就是 Tape Measure 和那些能对小型物体进行 3D 扫描的 AR 应用。

当然，AR 应用也有自己的局限性，那些紧张刺激的射击类游戏就不太适合通过移动 AR 来呈现。

拿什么吸引用户把手机从口袋掏出来？

许多 AR 开发者往往会忘记这样一点，那就是人们在走路、跑步或者运动时，通常会把手机放在口袋或者包包里。在他们看来，用户点击应用程序图标，才表示用户体验的开始，但事实并非如此，用户体验其实更早的时候就开始了。毕竟 AR 的一大优势就是能够基于我们所处的地理位置，提供全面且详细的实时数据信息。如果用户滞后三十秒钟才打开 AR 应用，这一优势就被浪费了。因为在应用程序需要准确地理位置信息的时候，用户可能已经走过了那个地点。与其相比，Facebook 或一些短信提醒就不需要与地理位置绑定的那么紧。

对手机 AR 来说，如何让用户在合适的地点掏出手机是个巨大的设计问题

因此，如何保证用户能在最合适的地点掏出手机来使用你的应用，是一件非常现实且困难的事情。用传统的推送消息来提醒用户，或者用户看到现实世界某个东西，需要得到更多信息，他们已经知道应用能帮到他们。比如说，用户会在需要翻译菜单上不认识的单词时用谷歌的实时相机翻译服务 Word Lens。如果以上这些方法不行，你的应用就必须通过非结构化内容或特别泛化的内容来吸引用户了。

在我看来，这是所有 AR 应用在研发时遇到的“天字第一号”挑战。对用户来说，主动去发掘内容的事儿他们很少会去做，想成功还得靠主动拿内容去“喂”。

此外，当 AR 应用开发者开始思考“竞争”的问题时，这一挑战又会以不同的形式呈现出来。由于 AR 是一个完全开放的事物，因此许多人觉得只要进入这一市场就能取得成功。不过事情哪有那么容易，大家都在争分多秒的打磨自己的产品，贸然进入的话你拿什么跟别人竞争？

把 AR 打造成一个功能

Yelp 应用中有一个“AR 模式”，但它只是一个功能

每当提到 ARKit 应用，我们经常会想起 AR 模式下的完整体验，这就有些为了 AR 而 AR 了。在日常生活中，有些应用其实更适合用传统方式来呈现，比如输入密码。此外，2D 地图在获取方位信息上也有自己的优势，用户可以随心所欲的进行放大和缩小。因此，在应用开发前一定要三思，到底哪些部分更适合做成 AR 形式？如果需要，完全可以开发一款混血应用，将 AR 模式当成其中的一个功能就行。Yelp 的 Monocle 功能就是最好的范例。

与世界互动

从最简单的层面来讲，一款 AR 应用必须能在某种程度上保证数字内容与现实世界（或真人）之间的互动。如果无法实现这一效果，那它就只是一款再普通不过的应用了。再进一步说，由于现阶段智能手机应用程序就是我们“默认”的用户体验，因此若某种预期效果只能通过 AR 这种方式实现，那你的应用才有存在的价值。我们所说的与世界互动主要有以下三种方式：

物理空间结构成了 AR 应用的关键元素

1. 立体几何结构： 数字内容会被现实世界的结构所阻隔，因此 AR 应用必须针对这种结构给出特定的回应。Tango 项目的演示和 Magic Leap 的小型机器人，就是比较典型的例子。

与身边的朋友共享一个“幻觉”是重要的 AR 应用方式

2. 与其他人共享你的视野和物理空间： 如果你的某款应用优势需要与其他人与共处同一个空间才能体现出来，那么这款应用绝对是为 AR 而生的。例如，建筑师借 3D 立体模型向客户进行展示和介绍。

3. “手柄”的走位： 数字内容或许是静态的，但是你可以自由移动手机，让它变身游戏手柄。在我看来，这是最基本的功能。如果内容设立在桌面上，用户通过移动手机从不同角度观察的做法其实算不上真正的 AR，想实现同样的效果，直接让用户在手机应用上缩放来看细节不就行了吗？但也有人认为，用户能通过这种移动方式获得真实物理感受，就符合 AR 的标准了。其实判断是不是真 AR 标准也很简单，开发者只需扪心自问“这款应用给这种互动带来的除了新奇体验，是否还有其他价值？”如果把手机当做如 Wii 一样的手柄来用，当你移动手机时，可以对内容产生相应的反应。例如，桌面上悬挂着一个虚拟气球，移动手机“推动”气球，气球发生动作。

所以，你要思考是否能让应用实现一些交互，如果没有，应用也只有新奇，或者说还是一款普通的应用。

“地理位置”也是决胜因素

如果只在某个特定地点才能体验，数字内容的稀缺性就会再次体现出来

在 2011 年的 AWE 大会上，Jaron Lanier 上台演讲，他针对 AR 说了一段令人振聋发聩的讲话。当时一直有观点认为，互联网的出现彻底消除了“稀缺性”（如可以无限复制的数字商品），但 AR 有能力重新将“稀缺性”找回来。未来会有大量 AR 体验与地理位置进行捆绑，就算同样的体验换个地理位置也能够实现，但终究还是在最开始设计时的那个地理位置获得的体验效果最好。就像是用 MP3 听歌和现场听歌，两者永远不可能相同。

这就意味着在区块链和去中心化大行其道的今天，数字业务可以焕发出新的活力，商业模式能有更多可能。创新型企业受益最大，因为它们正是以“稀缺性”为卖点的。值得一提的是，音乐行业可能会重新焕发生机，它们能通过新型“私人演唱会”赚的盆满钵满。

最好的例子其实是去年夏天大火的Pokemon Go，它就通过与地点和时间的捆绑让抓精灵的玩家如痴如醉。未来肯定会有更多公司沿着这一思路探索出更多以“稀缺性”为卖点的 AR 产品。

别被自己的“好点子”所迷惑

AR 诱惑力十足，你思考得越深，就越能体会到这个市场的广大和新点子的缺乏。我们经常会遇到带着好点子而来的新创公司。诚然，他们找到了某个问题的解决之道，如果他们的平台发展不错甚至可以成为下一个谷歌。不过问题就在于，现阶段甚至几年以后的技术或者用户体验根本没有办法为他们的想法和平台提供支持。创业者只是一味相信自己的眼光和看法，没有经过深思熟虑就迫切想要创建一家属于自己的公司。不幸的是，在市场或者技术真正达到一种成熟状态之前，他们手上的资金连 18 个月都撑不下去。

好点子是一方面，但如何把它变成现实又是另一方面。因此，如果你想创业成功，必须清楚的了解这个点子现在能否变成现实，或者找到愿意为你的点子买账的大金主。

如果这两件事都做不到，那么你就要问问自己现在的所谓好点子是否有些不切实际。

当然，这里我要提醒一点，那就是所谓的好点子，并不是简单指一个炫酷概念，而是指必须存在、必不可少的创意。也就是说，你的创新 AR 体验，能够一种更加高效并且受到社会大众认可和欢迎的方式，来代替原先那些不具备 AR 功能的体验。

“视场”是个巨大的绊脚石

智能手机 AR 与头戴设备 AR 的最明显区别其实就是视场。头戴设备视场较大，因此沉浸感也比较足。与其相比，智能手机 AR 面临两大挑战：

1. 用户只能通过智能手机这个“小窗口”沉浸在 AR 内容中，你身边的朋友要想加入其中，看到的“窗口”会更小。虽然更好的跟踪技术能增强用户体验，但用户总会觉得自己是在透过一根吸管看世界。

2. 智能手机屏幕呈现出来的，只是摄像头所看到的内容，而不是用户自己所看到的内容。受限于摄像头的方位和焦距，它的视场范围与我们肉眼的完全不同。然而在现实生活中，大家所关注的，就只有屏幕上呈现出来的内容。其他那些没有出现在屏幕上的内容，他们往往会选择忽略。

那么，在摄像头和肉眼二者视场范围存在较大差距的情况下，我们能够采取哪些措施来增强沉浸式体验呢？

首先，只要用户打开应用，就会停止怀疑并接受现有的 AR 体验。

其次，你可以从比例上来考虑。如果你的内容本身体积就不大，那么它很轻松就能塞进智能手机屏幕，不会被手机边缘所限。举例来说，一只猫在屏幕上出现肯定比霸王龙要好得多。如果你的内容本身就比视场大的话，那就要进一步考虑借助可见性功能帮用户看到关键内容。我们就实验出了一个相对可行的办法，就是用一些年模糊手法遮盖数字内容，使得屏幕中的内容相对较为清晰，而边缘则相对较为虚化。

这样一来，就向用户传递出了一个信号，即屏幕之外是没有什么有趣内容的，不用费劲去寻找了。当然了，如果用户愿意，也可以手动左右平移，驱散雾化效果，对其他区域进行探索。不过，这样做的前提条件是，他们已经充分知晓某一物体所处的位置，不需要猜来猜去，盲目地左右平移。

不过，说着容易做着难，这种沉浸感其实很难营造。想让用户爱上你的应用，就必须做大量试验并重新思考用户体验的每一个细节。对开发者来说，用户测试至关重要。你必须要在相同用户身上重复不断地进行测试，这样才能够抛开那些偏见并拿到最为真实的数据信息。也就是说，在 YouTube 上看起来非常吸引人的产品，想成为用起来也令人信服的产品，也需要实现很大的跨越。

接受吧，你根本拿不到场景的控制权

AR 应用与其他软件的不同在于，开发者无法控制或决定用户在什么时候会选择使用你的应用程序。举个例子，假如某款桌面 AR 游戏需要一个边长为 2 英尺游戏区域来玩耍，但用户会在公交车上，或是对着一张小型桌子，又或者是对着一张堆满了盘子和杯子的桌子上打开应用。显然，这时应用便无法使用。

下面，针对这一问题，我简单列出了三种解决方案。其中，第一种和第二种相对来说可行性较高：

第一，你需要给用户提供详细的使用指导，让他们知道该在什么地方使用你的应用。 否则，他们肯定会因为体验较差把你的应用打入冷宫。当然，你也可以专门针对某个使用案例开发一款应用，这样他们就不会因为打开应用不能使用而尴尬了。

第二个可行方案是设计一款带有“非结构化”内容的应用程序。 简单地说，就是这些内容能在任何地点进行完整的呈现，这一经验是我在 Dekko 工作时总结的。如果你打算研发一款 AR 游戏，我的建议就是打造那些能在任何地点玩耍的数字玩具。

Moatboat 的 AR 应用就不属于结构化应用，它在哪里都可以使用。用户体验可以在平面运行，也可以在杂乱的房间运行。

从理论上来讲，第三种是最佳解决方案，但从技术上它现在还无法实现。不过，未来 AR 肯定会朝这个方向进发，即 从 3D 立体的层面来掌握整个场景，通过自动和智能的形式，根据场景中的已有事物来安排各项全新内容的位置 。现在想实现这一效果主要有两大挑战：一是实时 3D 场景重建（几乎已经解决）和语义学；二是程序性内容的布局工具。想解决这些问题，我们还需要几年时间，因此现在还是乖乖使用第一和第二种方案吧。

在数字内容能与世界交互前，AR 设备必须能捕捉或下载真实世界的数字模型

不过，拿不到控制权也让用户有了更多玩法，这也是好消息之一。需要指出的是，在开发应用时你给应用了一个随意坐标系统。它只知道自己在坐标系内的相对位置，缺乏持续性和准确性，用户也不能分享自己的坐标。不过，这一情况在未来 12-18 个月内随着 ARCore 和 ARKit 的更新就会有所改观，许多新创公司也正在开发相关 API。不过，如果你现在要开发应用，还是把这个问题考虑在内吧。

我们该如何握持手机？

移动 AR 刚刚出现时，我们都想当然地认为，用户都喜欢通过双手将手机举在自己面前来使用某款 AR 应用（即所谓的“平视显示”）。但事实上，我们不仅高估了大家改变自己行为的意愿程度，也高估了其他人对于双手将手机举在面前这种行为的接受程度。所以说，在研发 AR 应用的时候，你需要优先考虑人们在日常生活中是如何握持手机的：

第一种握持方法是把手机举到与自己视线平齐，但这样的姿势时间较短。人们这样用手机是为了观看可视化的问题解答，而不是为了进行长时间的 AR 互动。

这样握持手机或平板的方法不能持续时间过长，最好 1~2 秒

第二种握持方法较为常见，即倾斜的握持手机（角度为 13 度），我们大多数时候都是这样用手机的，它会让人感觉更自然也更舒服。在这种角度下，内容就不能太过巨大，因为所有动作都是直接在用户眼前进行的。

这种握持方式，应用的使用时间会变长一些，但背景部分会受到限制

根据用户握持手机的不同方式，手机传感器可以自由进行模式切换。举例来说，当你水平举着手机时，AR 应用所呈现出来的就是很普通的 2D 地图。但是，如果把手机竖直举起来时，它就会自动切换成 AR 模式并立即启动视觉搜索。诺基亚 2012 年时就利用这种设计推出过一款名为 City Lens 的 AR 应用。

屏幕不再是输入和交互的媒介

在你测试应用时肯定会发现，用户打开应用看到虚拟内容后第一个反应就是试图触摸它。发现自己够不到这些内容后，用户会一脸迷茫。这是一个好现象，因为它至少说明你的虚拟内容相当酷，但它也带来了一个问题，那就是我们通常熟悉的输入和交互方式在这里就不管用了，那块屏幕不再是我们与内容进行交互的媒介了，因为在 AR 的世界里内容会离我们几英尺远。

你可以要求还是通过触屏来操作，但这会增加认知负担，破坏沉浸感。但是，巨大立体手势或是依靠的现有的其他交互，依然存在问题。

因此，找到真正适合用户与几英尺之外内容进行交互的新 UI 是一个巨大的挑战。在 Dekko 时，我们在一款遥控车游戏中解决了这一挑战。不过接触了三星的智能家居产品后，我们发现不同的产品要有不同的解决方案，万金油是不存在的。

Dekko 的遥控车游戏，用户只需触摸“屏幕”操作，但要跟桌面有一定的距离

不过，让用户感觉自己“触摸”到了内容并不能解决所有问题。如果你有幸尝试过 Meta 头戴设备或 Leap Motion，就会发现缺乏触觉反馈还是会让用户分心。在我看来，AR 在成为我们的日常伙伴前，必须首先解决输入问题。

控制视频反馈

控制好视频反馈就能让虚拟和真实显得更连贯，用户体验也会更棒。越多的风格化应用其中，真实和虚拟也更难以区分。

与头戴设备相比，智能手机 AR 的一大特征就是用户以为自己看到的“真实世界”其实只是真实世界的视频反馈。这样一来，开发人员就有机会通过操控视频反馈来对自家应用的各个方面进行优化和完善。2013 年，Will Steptoe 针对这个问题进行了不少研究调查。加入 Facebook 之后，他就贡献出了自己的研究成果。Steptoe 指出，如果能够在风格和样式上对真实世界的视频反馈进行细微且合理的调整，就可以让虚拟内容和现实内容变得更加连贯，从而提升沉浸体验。如果能够加以创新的话，完全可以运用到 AR 手机应用的开发中去。

拟物化是个好选择

作为一种全新的媒介，用户一开始都会搞不清楚如何使用 AR 产品。设计师可以从很多角度设计出特色的交互方式，但恐怕不是所有用户都能 get 到设计师的用心良苦。但是，从用户角度出发，可就不见得了。因此，设计师可通过对正在数字化的“真实”物体进行复制，让用户自然而然地学会如何使用应用。

在 Dekko 时我们设计过一个非常可爱的小猴形象，但喜爱它的用户却不知道怎么操作平板上的小猴。不过，当他们玩上了遥控赛车游戏，一切都不是问题了，无需解释用户就知道怎么玩了。

有一点非常重要，那就是这一过程中所涉及到的并不是简单的 2D 拟物化，而是一种全新的 3D 立体符号语言。这种语言会根据各种空间线索（如阴影和透明等），展现相应的变化和发展。

拟物化在用户熟悉新体验时非常有用

想证明这种方案是否有效，只能找从没玩过 AR 的用户来测试。在这里我先给你们打个预防针，因为测试之后你会发现自己的应用还是太过复杂，需要逐字逐句解释用户才知道怎么使用。

用户不肯相信自己看到的怎么办？

许多用户体验 AR 时不愿相信自己所看到的，他们无法相信这些内容存在于 3D 世界。

因此，在这里你就需要用一些比较细微的信号显示出与真实世界之间的联系，以帮助用户理解眼前所发生的一切。要我说，最好用的就是阴影、动态阴影和光源等。另外，利用格网线和其他一些“绘图”方式将互动内容与真实世界分开，同样也是帮助用户正确理解互动过程的有效方法。

应用里的彩色网格线很有用

另一种相当有效但不容易实现的方法是对虚拟对象的动画响应下手，同时控制输入也相当重要，这样物体才能看起来更加“真实”。

不过，稳定只是第一步。如果你研究过在 AR 中走动的虚拟角色，就会发现它们的脚每走一步都会出现“漂移”，这会大大影响用户体验。有时，角色还会无意间遇到物理结构，但却没有任何反应，场面会相当尴尬。不过，与相机进行眼神交流已相当成熟，不过需要选好角色。你选的角色越真实，用户分辨起来就更容易。

当然，AR 情境中叠加的内容和信息密度也是一个重要的部分，但想在 3D 空间里让信息拥有可读性和可理解性，特别是在不断移动的状态下，确实不容易。

角色设计

Dekko 的这只猴子相当成功，即便已经3~4 年时间了，还有人问我。小猴子的脚未能真正站在平面上，这其实很破坏沉浸感。

当考虑应用内的角色设计时，我们发现了许多可行性颇高的方案，这些方案在业内也非常流行。在制作 Dekko 猴子时，Silka 做了很多研究，她发现“成人版皮克斯”是最好的方式。设计师无需穿越恐怖谷，还能实现相当棒的效果。

团队远程合作可不行

如果你的团队分布在世界各地，可能就要三思了。如果大家不能聚集在一起，想描述清楚一个 AR 的问题或目标几乎是不可能完成的任务。除了要描述清楚你到底想要什么，远程团队还会遇到一个问题，那就是它们即使用上了相同的应用，也无法复制相同的场景。此外，地平线、光照、追踪质量可能都会有所不同。这样一来，产品迭代周期肯定会受到影响，团队的学习速度会变慢，应用质量也会不可避免的下滑。所以，要想干一番大事，还是把人手都聚在一起吧。

总结

希望以上分享的这些经验能有效缩短开发者的学习周期，以便他们早日将更好的产品推向市场让用户受益。十年前，我就开始在 YouTube 上关注一些新奇的概念演示，希望能有那种让人非常“想用”的应用诞生。其实，视频和真正的体验之间有个巨大的鸿沟，但许多人始终没能意识到这一点。

如果要用一句话来总结，那就是一定要保证自家团队中有经验丰富、能力较强的AR、用户体验和工业设计师。当然，最重要的一点是始终把用户测试放在第一位。

via Medium  雷锋网编译

相关文章：

大神解读：谷歌 ARCore 就是低配版 Tango，它比苹果 ARKit 好在哪？

大神问答：关于 ARKit 的 16 大问题解读

大神解读：ARKit 很厉害，但苹果做 AR 眼镜还需翻过这 8 座大山

大神揭秘：苹果 ARKit 凭什么碾压对手？

。