眼球追踪技术,正成为鼠标、键盘之外的一种辅助输入源
继鼠标、键盘、触屏、声控之后,微软于2017年把眼球追踪作为第五个标准的输入源,这项技术正在越来越多的消费级场景下展露身影。
ChinaJoy 2018 期间,来自瑞典的一家专注于眼球追踪技术的公司 Tobii 也怒刷了一波存在感,不仅展示了与功能游戏项目《睛·梦》合作的成功,也同时宣布要大举进军国内市场。
对于大部分玩家来说,Tobii 这家公司的名称比较陌生,但是它的技术已经融入进了目前的诸多游戏当中。作为一家纳斯达克上市公司,它的总部位于瑞典,在美国、中国、日本、德国、英国、挪威、韩国和台湾地区设有办事处,并在全球设有分销商网络。公司拥有约1,000名员工,其中三分之一在研发部门工作。
Tobii 的产品包括全球最大的眼球追踪专利组合的许可,涵盖硬件设计、算法和用户体验概念的关键方面。
Tobii Dynavox、Tobii Pro 和 Tobii Tech 是其主要的三个业务部门,主要承担了不同细分领域的解决方案。
Tobii Dynavox 更偏向于辅助技术供应商,应用于特殊设计的计算机,由眼球运动或触摸屏控制,为低语言和沟通能力的人士,如患有脊椎损伤、脑瘫、肌萎缩侧索硬化(俗称“渐冻人”症)或其他疾病等特殊需要的人群提供帮助。
Tobii Pro 部门的主要工作内容是为研究机构和大学开发并销售眼球追踪设备和服务,以深入了解人类行为。
Tobii Tech 进一步开发Tobii的技术,可集成到消费电子产品和其他批量产品中,如电脑游戏、个人电脑、虚拟现实和智能手机,也是此次Tobii 进入中国大力推广的最核心的技术方案。
什么是眼球追踪?
眼球追踪是一项技术,赋能于你的机器能够知道用户的意图,知道你看的地方是哪里,据此进行自然的人机互动的方式。如果说一个机器设备里面有一个眼球追踪器,就可以让人用眼睛跟机器进行不同的互动。
也就是说,它让人机交互的形式多了一个新的纬度。举个例子,当你在电脑前静止时,电脑是不知道你是否要打开电脑这个行为的,如果有了眼球追踪技术,机器就会自动识别你的眼球进而进行一系列的操作行为。
而眼球追踪技术的实现,通常是硬件和软件配合的形式。目前大多数具备眼球追踪技术的PC当中,都有一个专门的模组,这个模组里面有远红外的光线,再加上算法实时对人眼的图像进行捕捉,机器就会判断出来我们目光所及的位置。
Tobii 4C外接眼球追踪器及下一代眼球追踪IS5平台模组
因为眼球追踪很难像鼠标那么精确,所以精度和速度是决定眼球追踪效果的关键参数,实际的需要离感应器的距离大约是在30-90cm之间。
Tobii 用的是远红外光线模组,所以即使在一个相对昏暗的环境中都是没有问题的。但如果是在强烈的太阳光线下,可能会对效果有一定的影响。因为摄像头要捕捉到人眼的光线之后它才能计算出来,总之太亮或者太暗都不行。
延迟方面,根据Tobii欧洲及亚洲销售副总裁Peter Tiberg的介绍,“根据不同级别的眼球追踪器的频率不同,情况不一样:普通的是60赫兹,延时在15毫秒以内,高阶产品大概在500赫兹。”
相比鼠标,眼球追踪不像鼠标那么精确,因为鼠标是点到非常小的点,但是如果你用眼球追踪的话,你看到哪里就可以瞄准哪里,不再需要用手去移动鼠标。
“眼球追踪并不是要取代鼠标,它只是增加了和机器的互动方式,更赋能你的机器多了一种感知。”Peter Tiberg 认为他们存在一种互补的关系。
眼球追踪有哪些应用场景?
在 Tobii 公司的技术出现之前,使用者都只能固定在一个很小的位置不动,才能有效地工作;而Tobii的技术,则是将眼球追踪技术使用范围扩大到一个比较宽泛的范围,这就让技术的普惠有了更多可能性。
由于眼球追踪从本质上而言是一种交互方式的增强,所以非常适合游戏场景,不仅是传统的PC游戏,包括近两年很火爆的VR游戏也会因此得到新的赋能。
Peter Tiberg 表示,“在玩游戏的场景中,眼球追踪是节省GPU负荷的一种方式。因为它根据你看的位置,对该处图像进行高清处理,即注视点渲染功能,这大约可以减少50%的GPU负荷。在这种情况下,高配电脑在处理4K游戏的GPU时就会更顺畅,体现更多的功能。”
图二:内嵌Tobii眼球追踪模组的HTC Vive头显
在VR虚拟环境中的社交场景中,眼球追踪可以让社交更生动。钛媒体记者也在现场体验了经过改造的一款HTC VIVE,体验的游戏为第一人称射击游戏,用于辅助瞄准。
通过对玩家眼睛的追踪,能够精确地进行操作;对游戏中光线的感知也趋向于自然;通过眼睛锁定目标,并且可以和目标进行互动;而当玩家离开屏幕,游戏就会暂停,等玩家回来以后才会重新开始。
对于我们现在用双手操作的游戏,将来还可以使用双眼操作。例如我们在游戏中要扔一颗手榴弹,需要走到物体旁边,移动捡起手榴弹,然后再转向目标扔出。
Tobii眼球追踪技术VR平台演示
这是因为目前我们游戏中使用的鼠标、键盘、手柄等只能是中心点的瞄准,而在眼球追踪的情况下,玩家可以边走边拿需要的东西同时扔出,因为玩家跟屏幕中的其他物体都有互动,会有参照物,因此不再需要不停转身才能操作。
据了解,现在市面上有超过120款的游戏支持Tobii的眼球追踪,其中有很多是3A级别的游戏,包括《刺客信条》这种顶级大作都有眼球追踪技术的加入。
进军中国消费级市场
今年上半年,Tobi Tobii 和 顶级游戏本品牌 Alienware 推出了Alienware Academy,这是一个培训竞技性游戏技能的在线平台,该平台即将向公众开放。
更早的时候,Tobi 宣布了与高通公司的合作,双方在基于高通骁龙845 VR 移动参考设计平台集成眼球追踪功能,Tobi 在消费级领域的动作越来越频繁。
“作为眼球追踪技术和整合的全球领导者,在过去的六个月里,我们在全球范围内宣布了一系列的合作。”负责Tobii欧洲及亚洲销售的副总裁Peter Tiberg说。“如今,我们正全力侧重于蓬勃发展的中国市场,为中国客户在AR、VR、PC、手机和游戏应用等生态领域都可以提供极佳的眼球追踪解决方案。”
2018 CHINAJOY的腾讯展台,腾讯用Tobii的技术展示了功能4K游戏项目《睛·梦》。这是一款传统中国文化的游戏,采用Tobii的眼球追踪技术,玩家可以用眼睛直接与故宫古画进行互动,探索了眼球追踪在游戏交互设计中的可能性。这是中国第一款该类型的游戏。
对于 Tobi 来说,他们的目标也非常明确,就是把自己定位为眼球追踪方案提供者,开放给游戏厂商、硬件厂商等潜在的合作伙伴,希望眼睛追踪能给作为一种辅助功能普惠得更多用户。(本文首发钛媒体,作者/李玉鹏)
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App