微软详细分享 HoloLens 2 研究模式，提升计算机视觉研究潜力

来源：映维网  作者  梦秋

自2019年11月发售以来，微软HoloLens 2一直在为制造业、建筑业、医疗业和零售业的企业员工提供支持，帮助其更快地完成任务，并大大减少了错误和浪费情况。它利用了大量的传感器和专用ASIC，并允许多个实时计算机视觉工作负载连续运行。利用研究模式，HoloLens 2同时成为了一款强有力的计算机视觉研究设备。（注：研究模式现在只对Windows Insider用户开放，但很快就会登陆Windows 10 for HoloLens）。

延伸阅读：HoloLens 2 Research Mode as a Tool for Computer Vision Research 

与上一版相比，HoloLens 2的研究模式主要拥有以下优势：

除了HoloLens 1研究模式提供的传感器外，微软现在纳入了IMU传感器权限，包括加速度计、陀螺仪和磁强计。HoloLens2提供了可结合研究模式的新功能。具体而言，你在使用研究模式时可通过API访问手部追踪和眼动追踪，从而进行更为广泛的实验。

在研究模式下，应用程序代码不仅可以访问视频和音频流，同时可以利用诸如SLAM等内置的计算机视觉算法来获取设备运动数据，以及通过空间映射算法来获得环境的三维网格。所述功能是由多个作为彩色视频摄像头补充的内置图像传感器实现。

HoloLens 2包含四个灰度头部追踪摄像头，以及一个深度摄像头来感知环境并执行手部追踪。它同时搭载了两个用于眼动追踪和虹膜识别的额外红外摄像头及配套LED。如图1所示，其中两个灰度摄像头配置为捕捉设备前端的区域，并通过三角测量确定视觉特征的绝对深度。同时，两个附加的灰度摄像头有助于提供更广阔的视场来追踪特征。这种同步式全局快门摄像头的光敏程度要高于彩色摄像头，能够以每秒30帧的速率捕捉图像。

深度摄像头使用有源红外照明并通过基于相位的飞行时间来确定深度。摄像头可以以两种模式工作。第一种模式可以实现高帧速率（45 FPS）的近深度感测，并且通常用于手部追踪；而另一种模式则用于较低帧速率（1-5 FPS）的远深度感测，并且通常用于空间测绘。由于只需在离设备1米之内支持双手，HoloLens 2通过减少照明的数量来节省电力。除了深度之外，这种摄像头同时提供主动照明的红外图像（两种模式）。这种图像本身就非常具有价值，因为它们是由HoloLens照明，不受环境光的影响。Azure Kinect采用相同的传感器包，但深度模式略有不同。

利用Windows 10 for HoloLens的最新Insider版本，研究人员现在可以启用研究模式并访问所述的原始图像传感器流。HoloLens 2的研究模式同时为研究人员提供了获取加速度计、陀螺仪和磁强计读数的途径。为了保护用户的隐私，原始的眼动追踪摄像头图像不可通过研究模式获取。另外，研究人员可以通过现有的API访问眼睛注视方向。

对于其他传感器流，研究人员可以利用内置的计算机视觉算法的结果，并选择将原始传感器数据用于自己的算法。

传感器的数据流可以由设备进行本地处理或存储，或无线传输到PC或云端，从而完成更高计算要求的任务。这为HoloLens2开启了一系列的全新计算机视觉应用。HoloLens 2特别适合作为一个第一人称视角的视觉研究平台，因为它允许你从用户角度分析世界。对于所述用例而言，HoloLens能够在用户面前可视化三维世界中的算法结果，而这是一个关键的优势。HoloLens传感能力对机器人技术同样非常有价值，例如，所述功能可以支持机器人在环境中导航。

微软将在欧洲计算机视觉会议演示所述的HoloLens功能。另外，首批示例应用已经托管至GitHub，而更多技术细节请参阅研究模式的技术文档 HoloLens 2 Research Mode as a Tool for Computer Vision Research。另外，微软在欧洲计算机视觉会议上的演讲PPT如下：

延伸阅读：HoloLens 2 Research Mode:API Overview

延伸阅读：Microsoft HoloLens 2 and Azure Kinect as tools for computer vision research

延伸阅读：The HoloLens2ForCVRepository

原文链接：https://yivian.com/news/77426.html