与展讯合作，让百元手机实现 ARKit 的效果，uSens 做了哪些努力？

不久前，在京东“天工计划 2.0 年度盛典”上，作为产业联盟合作伙伴，uSens凌感科技带去了他们针对移动端设备推出的 AR 解决方案——基于单目 RGB 摄像头，并结合 IMU 的 AR 解决方案。

今年 6 月，苹果在 WWDC 大会上推出 ARKit 开发平台，毫无疑问成为 2017 年 AR/VR 圈的头号大事件，紧跟着 8 月份，谷歌推出功能类似的 ARCore 平台，两家大厂出手，这也促使后半年市场上出现了不少用手机“扫一扫”的 AR 功能和应用。

不过，ARKit 主要针对 iOS 系统用户，ARCore 目前还只支持 Pixel 和 Pixel XL，以及三星 Galaxy S8，能完全支持两者的还只是高端设备。

 uSens 推出 AR 移动端方案，正是因为看到了 Android 中低端设备的需求。

ARKit 效果图

雷锋网曾发文 《大神揭秘：苹果 ARKit 为什么碾压对手？》 ，大神 Matt Miesnieks 表示，苹果 ARKit 的一大厉害之处是，只通过手机的单目摄像头，结合 IMU，在智能手机上实现 SLAM 技术。谷歌早先也有 Tango，采用相似的技术原理。从本质上看，uSens 此次发布的技术方案跟上述两家大厂是一致的。

2016 年 8 月，uSens 发布了手势识别模组 Fingo，基于两个红外摄像头，可对双手实现 26 自由度追踪，以及基于 marker 的位置追踪。当时一共发布了三个版本，除了基础版，Color Fingo 采用两个 RGB 摄像头，还增加了 Inside-Out 追踪，以及 AR、VR 场景切换，更高版本的 Power Fingo 集成了四个摄像头（2 红外+ 2 RGB），并加入单独的处理单元。

对现在推出的移动端 AR 方案，uSens 早先有一定的技术积累。今年 7 月份时，他们发布了一段视频，展示了在三星 S7 上的 SLAM 效果，但该视频还只是在虚拟背景下的效果。另外，我们也看到，VR 头显的 Inside-Out 方案，配备的也是双目摄像头方案。

尽管对于 SLAM 技术，AR 和 VR 有相似之处，但从双目到单目，从专门的模组到支持移动设备，这中间还是有很多不同。尤其是 VR 和 AR 对 SLAM 实现效果的要求不一样，uSens 技术副总裁、中国研发中心主任马赓宇解释道，

“VR 应用对精度要求很高，如果头部不动的话，识别结果有 1 毫米的抖动，就会感觉三维物体的晃动。同时，VR 设备对延迟要求很高，从图像采集到处理完成，要控制在 20ms 以内。所以，必须用专门的摄像头硬件，以保证整个流程在 20ms 内完成。

而 AR 应用精度的要求不那么高，只要图像和虚拟物体是一起显示，而且图像处估计的位置准确，5 毫米的误差也是可以接受的；对延迟的要求也不大，即使图像传输有 100ms 的延迟，显示时图像和虚拟物体显示一致就行。硬件上，AR 不能要求太高的硬件，手机的摄像头采集和传输的延迟比较大，主要是采集的延迟大，大约要 30ms，手机的 IMU 速率和传感器都比 VR 设备要差。”

Fingo 模组现在能实现双手识别

从原先的 Fingo 模块到移动端方案，他们增减了一些模块，“如原来针对 VR 设备，我们设计的是双目摄像头，全局快门，手机只有单目，我们把双目匹配的模块去掉了，添加了一些针对手机卷帘快门的处理模块”。

与 ARKit 和 ARCore 可支持的功能相比，uSens 的 AR 方案主要包括 SLAM、手势识别和人脸跟踪。

对移动端使用的配置要求包括以下三点：

• IMU，至少具备 accelerator、gyroscope 频率要求在 100HZ 以上。

• Android5.0 以上系统版本,需要支持 Camera2 的相关接口

• Camera 和 IMU 的 timestamp 需要同步 

马赓宇用一款成本价 500 块的手机，向雷锋网演示了他们的 AR 方案。跟 ARKit 应用类似，开启应用后，程序会先检测一个平面，之后我们可将虚拟物体叠加在真实的桌面上。

成本价 500 块手机上的 AR 效果

他透露，刚开始他们用三星 S8 测试，AR 功能会占到一半的 CPU，后来经过优化“S8 只占到 3%-4% 的 CPU。在成本 500 块的手机上，大概占 15% 的 CPU”。

在 《大神解读：谷歌 ARCore 就是低配版 Tango，它比苹果 ARKit 好在哪？》 一文中，Matt 大神谈到手机传感器的标定问题，“智能机的 IMU 在工厂中只在单一温度下进行标定。这意味着 IMU 硬件在某一指定的温度下，误差被调节到最低。但当手机发热的时候，IMU 就不会那样准确。”

为了适配中低端移动设备，uSens 也在做对手机标定的事情，详细了解手机 IMU 的噪声，进行算法定制。目前，他们正在给展讯 11 月发布的 SC9853 芯片适配，后者一直主打中低端手机市场，此前展讯前 CEＯ 李力游曾公开表示 2016 年的出货量达到 6 亿 7000 万套，大概占全球的 27%，联发科占 28%，高通占 32%。

uSens 的工作人员向雷锋网透露，他们正在为展讯适配包括 9853 在内的多款芯片，明年出货量预计上亿万台，而对于像华为、小米这些拥有自研芯片的手机厂商，他们也在接触，但是否合作还未最终决定。

马赓宇也坦言，对于中低端机，像光照这些效果会弱化，手势识别和人脸跟踪会做些取舍，精度上会稍逊于谷歌 ARCore，但能适配更多的中低端机型。

目前，阿里、腾讯、百度等都推出了 AR 可开放平台，但马赓宇表示，打造生态这些大厂比较有优势，而他们的优势是技术。他们确定了三个主要的商业模式：一是与手机厂商合作，提供算法，前装内置，适配硬件厂商 Camera 及系统；二是 APP 应用，与不同领域应用 APP根据场景需求进行适配；三是定制合作，根据客户需求灵活定制方案，联合开发。

在即将过去的 2017 年，手势识别方面，uSens 通过深度学习实现了双手识别，尤其是当双手重叠在一起时，如何识别出左右手分别是哪五个手指，同时跟一些 AR/VR 头显厂商达成合作如台湾 AR 头显厂商 LEAPSY、Pico 小鸟看看、HTC，明年有望出现一些内置手势识别功能的产品。移动端 SLAM 方面，他们已经开始跟手机厂商合作，相信明年我们会在手机上使用到更多带有 AR 功能的应用，更多的用户也有望吸引更多的 AR 开发者。

对于即将到来的 2018 年，uSens 有可能在 2018 年第一季度前完成 Pre-B 轮融资，技术落地，场景化和商业化将是他们的重点。

。