加州理工学院研究人员用HoloLens为视觉障碍人士提供方向和物体识别

当计算机有视觉而人却没有，为什么不让前者帮助后者呢？这是Caltech(加州理工学院)开发的新型HoloLens应用程序Cognitive Augmented Reality Assistant（CARA）背后的要点。

在HoloLens的深度感知功能的帮助下，该软件使用计算机视觉算法扫描环境并识别物理对象。然后，应用程序向视力受损的用户提示物体的存在，并通过立体声来让用户了解物体在空间中的相对位置。

“想象一下，你处在一个世界上，你周围的所有物体都会发出声音，可以和你说话”，Mark P. Meister博士说，他是加州理工学院生物科学教授和Benjamin F. Biaggini神经生物学主任。“无论你面对哪个目标，你所关注的不同物体都会被激活并告诉你它的名字。你能想象在这样一个世界中出行，执行我们通常使用视觉系统的许多任务吗？那就是我们做的事情——让物体发声。”

CARA由Meister实验室研究生Yang Liu领导的科学家团队开发，提供了几种帮助用户的模式。系统的Spotlight模式根据用户的注视报告已识别的对象，而扫描模式则在HoloLens扫描环境时从左到右提示物体的存在。

该团队通过设计一条穿过加州理工学院Beckman Behavioral Biology大楼的路线，志愿者测试了该应用程序。每个测试对象在使用基于HoloLens的系统时成功在楼内进行了导航。此外，该团队还为其他研究人员设计了虚拟现实环境标准化测试，以评估他们自己的辅助设备。

该应用程序仍处于开发阶段，目前的工作包括改进和增强计算机视觉算法。该团队设想在银行，酒店和零售中心最终部署该软件，以帮助客户浏览周围环境。

与此同时，Meister和Yang Liu以及南加州大学博士后学者Noelle Stiles共同撰写了一篇题为“增强现实为盲人提供认知助理” 的研究论文，其中详述了该团队的研究结果。

去年， 游戏 开发商Javier Davalos 与HoloLens一起创建了类似的概念证明。他们开发的应用同样使用环境扫描来识别物体表面和空间音频为用户提供相对位置的提示，但是该应用程序发出的警报会随着用户接近障碍而增加音量。

从事AR和视觉辅助工具的公司越来越多地以各种方式应用该技术来帮助残疾人。最近，纽约大学的一个学生团队开发了一个可以实时翻译手语的应用程序，甚至Magic Leap也获得了类似技术的专利。同样，Starks AR头显可以为听障人士提供字幕。

来源：87870