加入手势识别 uSens凌感定义手机AR新玩法

最近，抖音上的“控雨”、“控花”成为许多小姐姐们的“新宠”，手轻轻一挥便能实现大片级的特效。在拍照、视频中，实现这样既简单又趣味性强的效果，就不得不提背后的 AR 技术。日前，uSens凌感 科技 将手势识别加入更多 手机 AR 解决方案，让手机 AR 的玩法有了更多可能性。

uSens凌感之前发布的官方视频中，一只蓝色蝴蝶在办公桌前翩翩飞舞，伸手与蝴蝶互动，蝴蝶跟着手的动作飞舞，接着蝴蝶消失，手心出现一团火苗，手动起来，火苗也跟着手动。视频中，手是真实的，蝴蝶和火苗则是由电脑设计的虚拟动画。由于定位准确，手和虚拟物体的融合度高，给人真实的感受。

此前，uSens凌感一直专注于三维人机交互的技术研发，手势识别是其长项。2016 年发布了 Fingo 手势交互模组，基础产品版本拥有两个红外摄像头，可实现 26 自由度手势追踪及基于标识点的位置追踪。当内嵌于 VR 头显中，用户的双手便变成了鼠标，可进行点击、拖动等操作。2017 年，uSens凌感发布了新版 Fingo SDK，由原先的单手操作提升为双手，用户可进行双手操作。

手势识别技术与多家 VR/AR 头显厂商达成合作，并且逐步布局智能家居、车载手势交互等多个细分领域。现在，手机 AR 也是 uSens凌感实现技术落地的重点方向。

2017年6月，WWDC上 苹果 宣布推出ARkit开发平台，支持多款苹果手机，实现了手机功能的重大突破。随后，2017年8月，谷歌也推出了AR开发工具ARCore，并取消了Tango项目，专注ARCore在Android系统上的普及。同时，不久前华为公布了自研的 AR Engine，OPPO也开始将AR功能加入手机。不过，由于AR效果的实现，对手机性能有一定的要求，苹果ARKit只针对iOS系统，谷歌也是选择了一些高端手机来合作适配ARcore，华为针对的则是自家手机。

而去年，除了手势识别技术的升级，uSens凌感看到了SLAM技术在手机领域的应用前景，他们发布了移动端Inside-out位置追踪解决方案，该方案基于SLAM算法，可支持中低端手机（iOS和Android同时支持）实现较好的AR效果，让AR不再局限于高端手机。2018年美国CES展会上，uSens凌感为展讯Android千元机平台提供的AR相机应用发布。

uSens凌感为什么能实现这样的效果？ uSens凌感选择了算法中间件的道路。对手机和手机 SoC （System-on-Chip，智能手机和 智能硬件 的核心计算芯片）客户而言，更高效的算法和更强的通用性是不可或缺的。算法通用性同样是 uSens凌感 非常着重关注的部分，苹果的 ARKit 依赖于自己强大的 GPU 和最新机型中的 AI 协处理器，Google 也需要高通旗舰平台的顶级 Hexagon DSP 甚至自己设计的 VPC （Visual Process Core），而 uSens凌感 的算法只需要跑在 CPU 上，主流的 CPU 和能够支持相机和 IMU 同步（目前市场上在售的绝大部分手机）的硬件产品和 SoC 上都能使用。而对于中小芯片原厂而言，自己研发 SLAM 和手势交互功能投入大，周期长，回报也不稳定。正是这些原因，让 uSens凌感成为英特尔与展讯的合作伙伴，在后者面向入门级手机市场的 SC9853I 移动芯片直接内置 uSens凌感 AR，让用户和开发者都能直接使用类似 ARKit/ARCore 的功能。

现在，他们又为手机AR方案增加了手势识别功能。想象下，当你和喜欢的卡通形象拍照时，你们不仅仅是并排站在一起，你还能伸手与他互动，这极大的增加了拍照的趣味性。

当然，手机拍照、录制视频仅仅是AR在手机上应用的一部分。试想教育中，学生和家长只需用移动端设备对准某个图片，设备屏幕上便会呈现出 3D 形象，使学习过程更生动有趣；旅游的路上，当游客掏出手机，不仅可以实时导航，有虚拟的卡通人物相伴，手机屏幕上还会呈现各家商店的介绍，数字化的信息能快速、高效地给游客指引；购物时，对于一些不确定尺寸的家居，AR还能帮助顾客进行尺寸测量。还有在路线导航、 游戏 等领域中，AR通过手机将我们带入三维世界。

从早期的手势识别，到移动端SLAM技术的研发，再到二者的结合，uSens凌感不断地探索技术的落地，并且带来更好的体验。2018 年，uSens凌感将完成从技术型公司到产品型公司的战略转型，针对各细分领域，推出落地产品。