Dexta Robotics推出Dexmo机械外骨骼:在虚拟世界中触摸到现实
现阶段VR交互研发集中在视觉、听觉两个感知方向上,在触觉交互上尤其是手部交互的研究还很匮乏。触觉交互是双向的,一方面硬件需要捕捉手部动作信息,市面上商品化的手部动作捕捉技术已经十分完善,例如惯性检测单元、弯曲传感器、光学式等方案等等;反过来,硬件也需要给予手部触觉的反馈,这正是目前研究的难点所在。仅仅依靠手部动作捕捉的方案,往往不能阻止用户在虚拟世界中将手部穿入物体内部,而这种在现实中不会出现的现象会让沉浸感大打折扣。
近日36氪记者接受Dexta Robotics CEO谷逍驰(Aler Gu)邀请,现场体验了解决了这一难点的Dexmo。
Dexmo是通过即时力反馈技术实现了双向触觉交互,其核心在于力反馈模块的硬件设计以及其软件上的动态握持处理算法。该程序会根据虚拟物体的物理性质计算出外骨骼机械装置向手指提供相应反作用力力度的大小来模拟触摸真实物体的情景。外骨骼还会带来的一个好处就是,无需外加额外传感器就能够捕捉手部动作,其原理是将手部的弯曲动作通过外骨骼连杆分解映射到外骨骼力反馈模块的旋转传感器上,然后上位机会负责推算出手指的位置和姿态。
36氪两年前曾报道过Dexta Robotics团队,当时他们正在众筹,并研发Dexmo的早期版本。而经过了20多代产品迭代,现在Dexmo已成长为一个完整的产品,真正实现了触觉上人机的双向交互。
在体验之前,36氪记者穿戴上类似人体外骨骼的机械手,首先做了一些手势校准动作,作为个人的手部数据信息录入到PC中,PC中会生成个人手部立体模型。
之后,我先后体验了几个测试demo。第一个是体验抓取PC中显示一个虚拟的硬质球体。记者用力握拳抓取,由于外骨骼在对个手指运动尖部的制约,会使人感受到手中有一个硬邦邦的球体使得手指无法向内攥紧。第二个demo中我通过Dexmo控制虚拟手在VR抓取一个小黄鸭。Dexmo根据小黄鸭的物理性质,通过电机控制模拟出了橡胶物质的弹性,我用不同的力道握紧会感受到不同的反弹作用力。
而后我在HTC头显中分别用Dexmo和Vive手柄体验了一个由unity开发的简单VR场景。通过控制虚拟场景中“我的手”拉动电闸、转动旋钮、按压开关等动作控制场景中的灯光。在使用Dexmo的过程中,我在每一个交互动作都能够体验到手中压力的变化、物体质感的转换。而同样的场景下仅仅使用Vive手柄的体验就显得单调的多了。
整体来说Dexmo已经是一款功能完整的产品了,谷逍驰也表示Dexmo已经可以进行量产。
尽管如此,谷逍驰认为推出正式产品时机还不成熟。在把Dexmo出售给消费者之前,需要确保产品是开箱即用的。所以目前的计划是与其他虚拟现实平台合作开发以提高产品的沉浸体验。为此Dexta Robotics做了一些跟Vive类似的Unity插件,使得开发者在阅读完文档之后可在数小时内掌握Dexmo。
Dexta Robotics 2014年成立,目前团队中成员有七人,都来自英国剑桥大学,美国加州大学,UIUC,RSIT,中国清华大学等高等学府,其中还有一名来自剑桥大学的人机交互实验室的教授。