七鑫易维与高通合作,给骁龙845多种移动终端带来眼控技术
自2014被高通连续三年 投资 的中国原创眼球追踪公司七鑫易维,在 VR /AR眼球追踪产品配件、一体机解决方案、 手机 眼球追踪等多个领域开展了多年的深入合作。2018年1月8日,高通与七鑫易维签订了眼控技术的官方合作协议,该协议授权七鑫易维眼控技术用在高通发布的骁龙845平台上。
目前,七鑫易维已成功为骁龙845平台提供了完整的眼球追踪解决方案,并且在高通的845 VR一体机上验证了该方案。
该方案充分利用了骁龙845平台针对XR(AR/VR)所提供的各项技术优势:
* 利用骁龙845平台的Adreno™ 630 GPU,结合高通的SNPE(Snapdragon Neural Processing Engine),推出了适用于移动平台的眼球追踪深度学习算法,深度学习算法的应用使眼球追踪的适用范围大大扩展,比如戴眼镜的人群、不同的人种及其他复杂环境等。
* 结合骁龙845平台的Hexagon™ 685 DSP与高通的FastCV机器视觉算法库,眼球追踪算法速度得到进一步的提升,大大降低了对CPU和功耗的压力,使眼球追踪算法更加适用于移动平台。
除了VR,七鑫易维的眼球追踪技术还应用在基于骁龙平台的AR产品中,多个AR眼镜企业已经展开了与七鑫易维的合作。
七鑫易维AR/VR眼球追踪解决方案可以应用于多种场景:
* 注视点渲染: 利用人眼的特征,只对注视点区域的显示进行高清渲染,可以大幅度降低显示渲染压力,降低渲染延迟,减小用户的眩晕感,降低硬件成本。
* 眼控交互: 利用人眼视线在AR或VR中进行辅助交互,结合其他交互手段,可以达到更加自然的交互体验。
* 眼动数据分析: 用户在AR/VR中的眼动数据对商家来讲是非常有价值的,可以用来分析用户的注意力、兴趣点、兴奋度等各种情绪信息,应用于市场分析、广告分析等领域。同时,这些数据也可以用于心理学研究。
* 瞳距自动检测: 通过眼球追踪技术检测出用户的瞳距并通过电动马达等机械结构为用户进行自动调节,使用户可以体验更加清晰和完美的AR/VR视野场景。
* 虚拟 社交 眼神交互: 在AR/VR社交应用中,可以完美复刻出用户的视线和眼睛运动,比如眨眼、眯眼、瞪大眼睛等,这样使社交应用更加真实,用户之间的交流会更加顺畅。
* 虹膜识别活体检测: 七鑫易维已经推出了结合虹膜识别的眼球追踪方案,该方案可以实现低成本的活体检测,在AR/VR电商领域可以有很好的应用。
* 眼疾辅助诊断与康复: 七鑫易维的眼球追踪可以实现特定需求的校准和追踪,应用于弱视、斜视等眼睛类疾病的辅助诊断和康复训练。
七鑫易维CEO黄通兵表示,除了在AR/VR领域,在今年下半年,基于高通骁龙845芯片,七鑫易维将陆续推出应用于手机、平板等移动电子设备的眼球追踪技术以及解决方案,应用的场合包括:
注视感知: 通过眼球追踪技术,进行人眼视线检测,判断用户的注视区域。例如当人眼的关注视线落在手机屏幕上时,可认为此时用户传达了交互的目的,即注视感知。而在用户视线偏离手机屏幕时,视线检测结果将帮助手机不要进行“非注视”下的操作;
活体检测: 基于眼球追踪的活体检测技术,相对传统生物识别系统的活体检测技术具有更高的鲁棒性,红外成像技术使眼球追踪活体检测技术具有全天时特性,亦可以结合人脸、虹膜等生物技术一同使用,例如在Face ID中,可以防止在用户不知情的情况下,其他人利用其面部特征解锁设备;
眼动交互: 基于骁龙845芯片,开发包括硬件、图像算法、视线算法等一系列眼球追踪技术,实现用户用眼睛操作手机的目的,目标在于提高人机交互效率和用户体验。或者在手机与显示器结合的场景中,作为辅助交互手段。
除上述领域外,高通还与七鑫易维在医疗、智能驾驶、智能家居等多个领域进行合作。
作为中国高新技术企业领军者之一,七鑫易维最早发布了全球首款VR眼球追踪配件,并最早拥有了基于人工智能的眼球追踪算法。作为高通的眼球追踪技术合作伙伴,七鑫易维将持续用眼控技术赋能XR与5G,并保持眼控技术在中国与世界的领先性。