苹果将为苹果眼镜导入类似Zoom的3D背景替换功能
苹果 眼镜未来可能支持用户自定义背景图。
苹果一直在研究如何让苹果眼镜头显进行色度抠像,或者用苹果AR图像替换纯色背景。2020年2月苹果提交一项名为“用于混合现实的低延迟色度键控嵌入头戴式显示器”的专利申请,该专利于本周才被披露。如今大家都知道可以用其他背景图,如海滩或Logo来替代办公室或者家庭背景,大家也都知道这些背景的效果不太理想,尤其是在发言人移动的时候。
然而这种背景替换需要大量的处理能力,在2020年7月的更新之前,Skype iOS版本甚至不能像Mac或PC版本那样设置模糊背景。模糊背景是一个十分复杂的过程,他需要确定主讲人头部的轮廓和背景范围。而Chroma key简化了这一过程,它将人物被放置在一个单一的纯色背景前,这和电影中使用绿屏或蓝屏的原理是一样的。在主讲人和背景之间的界限非常分明时,Zoom和Skype这类软件均可以很容易的替换背景,不过这些都是2D系统。而苹果眼镜的目标是通过3D方式实现背景替换,使在佩戴者四处走动时,背景也可以被替换掉。
此次苹果的专利申请同时涉及为苹果AR制作3D立体版背景替换,以及让背景替换的作速度足够快。这不仅与头显的处理能力有关,也与将数据返回用户视野的速度有关。苹果表示,需要可穿戴式沉浸式头显(HMD),利用嵌入式立体RGB摄像头捕捉环境,并进行实时的颜色键控。还会有一个显示系统来显示增强了虚拟内容的真实世界图像。该系统以高帧率(通常为75帧/秒或更多)运行,通过捕捉图像并将其格式化以在头显中显示,它实现了小于一帧的延迟。
根据苹果表示,头显将搭载相机传感器,在混合现实环境中执行Chroma key,并在延迟最小的情况下完成。低延迟是通过在头显本身嵌入处理来实现的,具体来说,就是将摄像头图像格式化,检测所选颜色范围,并与虚拟内容进行合成。该专利申请并没有解释替换图像来自哪里。在Zoom或Skype会议中,演讲者可自行选择背景图。
新浪 VR 编译