与展讯合作,让百元手机实现 ARKit 的效果,uSens 做了哪些努力?

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

不久前,在京东“天工计划 2.0 年度盛典”上,作为产业联盟合作伙伴,uSens凌感科技带去了他们针对移动端设备推出的 AR 解决方案——基于单目 RGB 摄像头,并结合 IMU 的 AR 解决方案。

今年 6 月,苹果在 WWDC 大会上推出 ARKit 开发平台,毫无疑问成为 2017 年 AR/VR 圈的头号大事件,紧跟着 8 月份,谷歌推出功能类似的 ARCore 平台,两家大厂出手,这也促使后半年市场上出现了不少用手机“扫一扫”的 AR 功能和应用。

不过,ARKit 主要针对 iOS 系统用户,ARCore 目前还只支持 Pixel 和 Pixel XL,以及三星 Galaxy S8,能完全支持两者的还只是高端设备。

 uSens 推出 AR 移动端方案,正是因为看到了 Android 中低端设备的需求。

与展讯合作,让百元手机实现 ARKit 的效果,uSens 做了哪些努力? ARKit 效果图

雷锋网曾发文 《大神揭秘:苹果 ARKit 为什么碾压对手?》 ,大神 Matt Miesnieks 表示,苹果 ARKit 的一大厉害之处是,只通过手机的单目摄像头,结合 IMU,在智能手机上实现 SLAM 技术。谷歌早先也有 Tango,采用相似的技术原理。从本质上看,uSens 此次发布的技术方案跟上述两家大厂是一致的。

2016 年 8 月,uSens 发布了手势识别模组 Fingo,基于两个红外摄像头,可对双手实现 26 自由度追踪,以及基于 marker 的位置追踪。当时一共发布了三个版本,除了基础版,Color Fingo 采用两个 RGB 摄像头,还增加了 Inside-Out 追踪,以及 AR、VR 场景切换,更高版本的 Power Fingo 集成了四个摄像头(2 红外+ 2 RGB),并加入单独的处理单元。

对现在推出的移动端 AR 方案,uSens 早先有一定的技术积累。今年 7 月份时,他们发布了一段视频,展示了在三星 S7 上的 SLAM 效果,但该视频还只是在虚拟背景下的效果。另外,我们也看到,VR 头显的 Inside-Out 方案,配备的也是双目摄像头方案。

尽管对于 SLAM 技术,AR 和 VR 有相似之处,但从双目到单目,从专门的模组到支持移动设备,这中间还是有很多不同。尤其是 VR 和 AR 对 SLAM 实现效果的要求不一样,uSens 技术副总裁、中国研发中心主任马赓宇解释道,

“VR 应用对精度要求很高,如果头部不动的话,识别结果有 1 毫米的抖动,就会感觉三维物体的晃动。同时,VR 设备对延迟要求很高,从图像采集到处理完成,要控制在 20ms 以内。所以,必须用专门的摄像头硬件,以保证整个流程在 20ms 内完成。


而 AR 应用精度的要求不那么高,只要图像和虚拟物体是一起显示,而且图像处估计的位置准确,5 毫米的误差也是可以接受的;对延迟的要求也不大,即使图像传输有 100ms 的延迟,显示时图像和虚拟物体显示一致就行。硬件上,AR 不能要求太高的硬件,手机的摄像头采集和传输的延迟比较大,主要是采集的延迟大,大约要 30ms,手机的 IMU 速率和传感器都比 VR 设备要差。”

与展讯合作,让百元手机实现 ARKit 的效果,uSens 做了哪些努力? Fingo 模组现在能实现双手识别

从原先的 Fingo 模块到移动端方案,他们增减了一些模块,“如原来针对 VR 设备,我们设计的是双目摄像头,全局快门,手机只有单目,我们把双目匹配的模块去掉了,添加了一些针对手机卷帘快门的处理模块”。

与 ARKit 和 ARCore 可支持的功能相比,uSens 的 AR 方案主要包括 SLAM、手势识别和人脸跟踪。

对移动端使用的配置要求包括以下三点:

  • IMU,至少具备 accelerator、gyroscope 频率要求在 100HZ 以上。

  • Android5.0 以上系统版本,需要支持 Camera2 的相关接口

  • Camera 和 IMU 的 timestamp 需要同步 

马赓宇用一款成本价 500 块的手机,向雷锋网演示了他们的 AR 方案。跟 ARKit 应用类似,开启应用后,程序会先检测一个平面,之后我们可将虚拟物体叠加在真实的桌面上。

与展讯合作,让百元手机实现 ARKit 的效果,uSens 做了哪些努力? 成本价 500 块手机上的 AR 效果

他透露,刚开始他们用三星 S8 测试,AR 功能会占到一半的 CPU,后来经过优化“S8 只占到 3%-4% 的 CPU。在成本 500 块的手机上,大概占 15% 的 CPU”。

在 《大神解读:谷歌 ARCore 就是低配版 Tango,它比苹果 ARKit 好在哪?》 一文中,Matt 大神谈到手机传感器的标定问题,“智能机的 IMU 在工厂中只在单一温度下进行标定。这意味着 IMU 硬件在某一指定的温度下,误差被调节到最低。但当手机发热的时候,IMU 就不会那样准确。”

为了适配中低端移动设备,uSens 也在做对手机标定的事情,详细了解手机 IMU 的噪声,进行算法定制。目前,他们正在给展讯 11 月发布的 SC9853 芯片适配,后者一直主打中低端手机市场,此前展讯前 CEO 李力游曾公开表示 2016 年的出货量达到 6 亿 7000 万套,大概占全球的 27%,联发科占 28%,高通占 32%。

uSens 的工作人员向雷锋网透露,他们正在为展讯适配包括 9853 在内的多款芯片,明年出货量预计上亿万台,而对于像华为、小米这些拥有自研芯片的手机厂商,他们也在接触,但是否合作还未最终决定。

马赓宇也坦言,对于中低端机,像光照这些效果会弱化,手势识别和人脸跟踪会做些取舍,精度上会稍逊于谷歌 ARCore,但能适配更多的中低端机型。

目前,阿里、腾讯、百度等都推出了 AR 可开放平台,但马赓宇表示,打造生态这些大厂比较有优势,而他们的优势是技术。他们确定了三个主要的商业模式:一是与手机厂商合作,提供算法,前装内置,适配硬件厂商 Camera 及系统;二是 APP 应用,与不同领域应用 APP根据场景需求进行适配;三是定制合作,根据客户需求灵活定制方案,联合开发。

在即将过去的 2017 年,手势识别方面,uSens 通过深度学习实现了双手识别,尤其是当双手重叠在一起时,如何识别出左右手分别是哪五个手指,同时跟一些 AR/VR 头显厂商达成合作如台湾 AR 头显厂商 LEAPSY、Pico 小鸟看看、HTC,明年有望出现一些内置手势识别功能的产品。移动端 SLAM 方面,他们已经开始跟手机厂商合作,相信明年我们会在手机上使用到更多带有 AR 功能的应用,更多的用户也有望吸引更多的 AR 开发者。

对于即将到来的 2018 年,uSens 有可能在 2018 年第一季度前完成 Pre-B 轮融资,技术落地,场景化和商业化将是他们的重点。

与展讯合作,让百元手机实现 ARKit 的效果,uSens 做了哪些努力?

随意打赏

arkit demo苹果arkitarkit应用紫光收购展讯arkit展讯手机展讯通信展讯芯片紫光展讯
提交建议
微信扫一扫,分享给好友吧。