苹果新AR专利提出普适性环境照明解决方案，根据面部光线确定虚拟对象照明

来源：映维网   作者  梦秋

对于增强现实应用，虚拟对象应该无缝地集成在视图中，从而实现一种真实对象和虚拟对象无法区分的效果。对于这一点，照亮虚拟对象或以真实世界的相同照明条件照亮虚拟对象，以及允许虚拟对象改变照明非常重要。

但对于增强现实场景，光照条件通常是未知的和任意的，所以难以为真实和虚拟对象提供一致的照明。

在增强现实应用程序中，为真实对象和虚拟对象提供一致照明的一种可能方法是估计真实环境光。现有技术的常用方法需要额外的设置，如镜子或特殊摄像头（鱼眼摄像头）。这无疑限制了所述方法的适用性。另外，大多数常用的方法只能估计环境光的方向，不能估计任何光源的位置。

估算或捕获环境光的一种方法是通过全方位摄影头或通过捕获镜像球体的图像。可以根据全景图像直接测量环境光。但这种方法的一个问题是需要额外的设置，如鱼眼摄像头或镜像球体，而且添加到场景中的额外对象会改变原始场景。另外，这种方法主要是测量环境光的方向。

估算环境光的另一种方法是基于真实环境的图像和真实环境的已知模型：使用RGB-D摄像头捕获真实环境的深度图像，然后重建真实环境的表面。根据RGB-D摄像头的RGB数据和深度数据，可以利用表面信息估计环境光。

针对上述方法的种种利弊， 苹果 希望能够提供一种具有普适性的方法，特别是在具有未知照明条件的环境。

在日前一份名为“Method And System For Representing A Virtual Object In A View Of A Real Environment”的专利申请中，苹果介绍了在真实环境视图中表示虚拟对象的方法与系统。

专利主要描述了一种在真实环境视图中表示虚拟对象的方法和系统，所述系统包括提供由摄像头捕获的人脸的第一图像图像信息，提供至少一个人脸特定特征，确定第一图像中的面部图像区域为面部区域，根据面部区域和至少一个人脸特定特征确定照射在面部的至少一个第一光线，并根据第一光线在显示设备上将虚拟对象混合至真实环境视图。所述方法同时包括提供多个面部样本位置，为多个面部样本位置中的每一个提供辐射传递函数，确定第一图像中的面部样本位置的图像位置，以及根据关联的强度信息确定第一光线。

根据一个实施例，至少一个人脸特定特征包括但不限于以下至少一个：通用3D面部模型、面部至少一部分的几何结构、面部至少一部分的材质属性、面部至少一部分的颜色、至少一部分的辐射转移特性、至少一部分的反射特性。

根据一个实施例，确定至少一个第一光线包括确定所述至少一个第一光线的至少一个特征，其中所述至少一个第一光线的至少一个特征包括强度、波长和方向中的至少一个。

根据一个实施例，确定至少一个第一光线包括确定至少一个光源发射、反射或折射至少一个第一光线的至少一部分的至少一个特征。其中，所述至少一个光源的至少一个特征包括以下至少一个：类型、强度、波长、方向、距离、位置、尺寸、面积、形状、球面谐波系数、小波基系数和von Mises-Fisher分布的混合物系数。

根据一个方面，通过确定的至少一第一光线，系统将虚拟对象叠加到由显示设备呈现的真实环境视图中。

根据另一方面，专利描述的处理系统包含在诸如智能 手机 或平面电脑这样的移动设备和/或适于与移动设备通信的服务器计算机中。处理系统可以仅包括在所述设备中的一个，或者可以是一个通过网络通信的分布式系统。

根据一个实施例，第一摄像头与显示组件相关联，使得当人脸面对显示组件时，第一摄像头捕捉到人脸的至少一部分。

根据一个实施例，系统包括移动装置，移动装置包括第一摄像头和所述显示组件，其中所述显示组件的法线和第一摄像头的光轴基本朝向相同的方向。基本相同的方向意味着方向角只有微小的偏差，如不超过5-10度。

简单来说，苹果提出的方法是利用iPhone或iPad的前置摄像头来捕获存用户的面部，并相应地估计环境光，然后确定的信息来提供针对虚拟对象的照明。

苹果指出这种解决方案存在一系列的优点：可用的用户面部，所以不需要添加额外的几何图形，同时不需要繁琐的设置；人脸在几何和材质上的变化范围有限，所以允许基于有效的假设和限制进行某种预处理和优化算法，从而更快、更有效地运行；只要用户面对或看着AR视图，亦即面对前置摄像头，用户的面部总是可用，所以可以支持动态变化的照明。

相关专利 ：Method And System For Representing A Virtual Object In A View Of A Real Environment

名为“Method And System For Representing A Virtual Object In A View Of A Real Environment”的专利申请最初在2020年8月提交，并在日前由美国专利商标局公布。

原文链接：https://yivian.com/news/80202.html