索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

砍柴网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

PlayStation赢得了这场高端 VR 之战。索尼研发高级副总裁多米尼克•马林森(Dominic Mallinson)在本周于多伦多举行的2019年Collision大会上指出,截至今年3月,索尼已售出420万台PlayStation VR头显。

马林森说:“我们对这些数字非常满意,对这个位置也非常满意。“但我们知道我们可以做得更好。目前市场上有超过9600万台PlayStation 4。其中每一个都能够提供良好的VR体验。所以我们想把更多的人转变成PSVR用户。我们不会止步于PS4。”

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

马林森当然指的是索尼上个月承诺PlayStation 5将支持PSVR。因为他是索尼研发实验室的一员,马林森可以看到一些实验、方向,以及“正在酝酿”的新内容。这就是为什么他将他的会议命名为“虚拟现实的未来是光明的”。

在他的演讲中,马林森给观众留下了三个重要的收获:

VR的影响力不同于任何其他 媒体 。

VR技术的快速发展将进一步扩大其吸引力。

伟大的内容已经在这里,但我们需要更多。

在马林森离开舞台后,我们对他进行了进一步的采访。

1.VR不同于任何其他媒体

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

第一点很简单:电视节目、常规电子 游戏 、电影、书籍和广播都能给你一定程度的沉浸感。VR走得最远。马林森说:“VR以一种更高级的方式调动你所有的感官。”它以一种更高级的方式吸引你的眼睛。它以一种更高级的方式与光学相结合。你在任何其他媒体上都无法看到这一点。”

马林森简要地谈到了那些打高尔夫球很烂的人是如何在虚拟现实中玩游戏的。他描述了像钢铁侠一样飞来飞去的不可思议的独特感觉。

谈到感受,我们问他,当他看到自己的经典游戏机《PlayStation》走向VR时,他是什么感觉。

“太棒了,”马林森笑着说。“这让我有点激动,因为这是我们在创造Wipeout时一直梦想做的事情——在VR中实现它。所以看到他们真的做到了,而且做得很好,真是太棒了。不幸的是,就我个人而言,我对VR有点不适应。虽然我很喜欢玩,但我不能玩太久,因为它有点极端。”

2.VR技术日新月异

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

这是马林森在舞台上和后续节目中谈论最多的话题。他首先给出了进化硬件改进的三个例子,并给出了他的预测。

“第一个是决心,”马林森解释道。“这是每度增加的像素。这是关于显示的清晰度。你必须能够用高清晰度匹配人们今天所期望看到的。我预计下一批VR产品的分辨率将提高一倍左右。”

马林森的VR进化改进

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

”最后,HDR。在电视行业,HDR对于创造最好的体验已经非常重要。人类的眼睛能看到从明亮的阳光到深沉的阴影的巨大范围的光。如今的VR面板只能捕捉到其中的一小部分。所以,为了增加存在感,我希望在不久的将来HDR能被采用。”

就这样,马林森迅速转向了革命性的变革。

无线

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

VR需要更少的连线

马林森非常关注无线高端虚拟现实,因为它的采用意义重大。

马林森强调:“为了扩大虚拟现实的应用范围,用户的舒适度非常重要。”“用户舒适度有很多方面。这里我只讲一个。这就是电缆。被拴在这根缆绳上很不方便。这不仅仅是被电缆缠住。这不仅仅是运动中的限制。还包括如何设置,如何配置系统,以及将其存储在何处。让我们面对现实吧,在你的生活空间里有一堆电缆是没有吸引力的。所以这是我们必须解决的问题,以便得到更广泛的采用。”

他提供了两种解决方案:一种是VR一体机,电脑是头显的一部分,另一种是用无线传输技术取代电缆。

马林森说:“在这两种情况下,都需要一个电池,要么放在头上,要么靠近头部。”“从人体工程学和工业设计的角度来看,把电池戴在头上有点不方便。但我认为你现在开始看到的VR一体机实际上已经变得相当不错了。但说实话,它们不可能与有线头显竞争,因为你可以在高端PC或游戏机上获得巨大的计算和渲染性能。你不能把它戴在头上。”

值得庆幸的是,这方面的进展也很快。

“但幸运的是,无线传输技术每天都在进步,”马林森说。“60千兆赫等新技术使这些选项在VR产品中成为可能。但这很可能仍是一个选择,因为它将比有线电视成本更高。”

多个版本

第二个结论引出了一个明显的后续问题:是否计划模块化PSVR2?不完全是,但可能有多个版本。

“这当然是一个选择,”马林森表示同意。“例如,我谈到了无线。这是一个简单的方法。这是一个有线头显。你可以把电线换成无线的。然后你可以有一个范围。所以你可以有一个入门版本和一个高端版本。这就是我们在PlayStation 4上所做的。我们可以用PSVR做到这一点。”

马林森没有做出任何承诺,但他提出的选择将使谣言工厂超速运转。

视线追踪

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

视线追踪:眼睛是我们心灵的窗户

把最好的留到最后,马林森谈到了用户输入的形式,他认为将来会涉及到。

马林森宣称:“视线追踪——这是最让我兴奋的技术。”“我们已经开始在一些行业活动上展示的产品中看到这一点。我认为它最有潜力在一个相当基础的层面上改变VR用户体验。我想是莎士比亚创造了“眼睛是心灵的窗户”这句话。我曾经说过“眼睛是我们思想的一扇窗户”,这句话显得有些平淡无奇。我认为,每个人都能直观地理解,当你进行眼神交流时,人与人之间的交流变得多么丰富。”

“那么,视线跟踪是什么意思呢?”我的意思是了解你在这个虚拟世界中所处位置的技术。你的关注点是什么?然后在这之上,我们可以叠加额外的东西。我们可以通过测量瞳孔扩张来了解你的注意力。我们可以做生物识别来了解你在看谁。我们可以测量你瞳孔间的距离。这对VR非常重要,因为它允许我们精确地设置光学和渲染,给你最大的舒适感。并在VR中真正获得正确的距离和比例感。因此,从根本上说,有了这项技术,我们知道你在VR中看到的是什么。这使得无数的用户界面和用户体验成为可能。”

视线跟踪应用程序

马林森提供了一些潜在的视线跟踪应用。有一个明显的用例是能够控制光标并选择菜单上的内容。用眼睛控制光标(见Windows 10的眼球跟踪功能)是最基本的,但“即使这样也非常有用”。

还有一个更广泛的可寻址性的概念。想象一下,有多个虚拟角色,能够分别查看每个虚拟角色,然后给他们一个命令,或者问他们一个问题。很自然地,无需鼠标、键盘或操纵杆,这些评论就能被正确地处理。“这也适用于 社交 虚拟现实——当VR内部的多人相互交谈并表达自己的想法时,虚拟的眼神交流可以在很大程度上推动人们接受虚拟现实。”

“我认为视线追踪是我们在下一代VR中看到的最激动人心的变化,”马林森说。“所以,如果你回顾一下用户输入的历史,从键盘开始,然后是鼠标,再到最近的触摸屏界面,我认真地认为,把视线作为用户输入将会和我们过去所经历的每一次改变一样重要。这是我对下一代VR的第一个观点:凝视将允许更多、更丰富的用户互动。”

不过,他也承认,在虚拟现实行业,人们对这一点没有共识。

“每个人对此都有不同的看法,但我认为这是最大的区别。有些人只关心视觉效果,因此最高分辨率可能比其他任何东西都重要。当然,如果你的应用程序有20/20的视力是非常重要的,比如你必须能够阅读非常小的文本,那么分辨率是最重要的。但对我来说,跨越所有的体验,都是凝视。”

注视点渲染

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

PlayStation VR:凹状渲染

马林森对视线跟踪如此乐观的另一个原因是,它支持中心渲染。

“更多的像素需要更多的渲染性能,”马林森解释说。“如果你只是强行渲染,它需要很多额外的渲染性能。人类的眼睛在视网膜中有一个叫做中央凹的部分,它负责我们超敏锐的视觉。我们在周边视野中看不到很多东西。因此,如果我们能将渲染性能与中央凹匹配起来,我们就能提供更高的有效分辨率,以及更好的图像质量。因此,在这方面,视线追踪是一种双赢。”

因此,目光追踪“物有所值”。“它带来了一种新的用户体验,并支持中心渲染的硬件优化。

所有这些都包括了技术的快速进步,马林森预计这将推动VR的广泛应用。

3.VR行业需要更多的内容

索尼高管在Collision 2019谈论VR、AR、无线、视线追踪和foveated渲染

马林森重申:“这已经被讨论过很多次了,但它值得重复。”“因为这是最重要的事情。内容就是一切。没有内容,VR只是一项无聊的技术。所以我们真的需要那些伟大的内容。幸运的是,我们已经有了很多很棒的VR游戏。但也有很多非常棒的非游戏体验:运动、电影、训练、治疗等等。社交VR将成为VR应用的一大推动力。”

马林森真的很想让大家明白虚拟现实不仅仅局限于视频游戏。“VR不仅仅是游戏。这对讲故事很有帮助。它非常适合训练和模拟。甚至疼痛管理也可以通过VR来实现。”

索尼正在 投资 于非游戏类虚拟现实应用,但它仍在坚守娱乐领域。这意味着社交VR,叙事故事,等等,但不是医疗用例。

“我们需要更多的人参与进来,为VR创造引人注目的体验。我们对游戏很在行。所以我不太担心。而且我们仍然在投资我们自己的第一党游戏。但是我认为其他所有人——他们可以提高他们的水平。所以我们可以看到更多的教育,更多的培训,更多的医疗应用。”

基于“AR”技术

虽然我们的谈话主要是关于VR的,但我们确实询问了PlayStation的AR计划。

“我们没有对增强现实做任何事情。但显然,从研发的角度来看,我们正在密切关注事态的发展。”

为什么不呢?

“AR非常令人兴奋。我认为它在未来有很大的潜力。但要想做好,难度要大一个数量级。因此,如果我们能破解VR,我们就能转向AR。但我认为,直接跳到AR中去,有点太过了。让视觉效果与现实世界相匹配是非常困难的。”

马林森举了三个例子。他谈到了视觉聚散冲突,这是一个焦点问题。他解释说,这是一个很难解决的问题,目前在VR领域是回避的。在AR中你不能回避它。

他还谈到了对现实世界的注册,使虚拟物体看起来更坚固。如果你把一个虚拟对象放在一个真实对象上,然后快速移动后者,那么前者必须“迎头赶上”。“它应该相应地采取行动,这也很难解决。

最后,马林森说捕捉真实世界的光线是非常困难的。根据击中虚拟物体的真实光线为它们绘制精确的阴影并不容易。

马林森抱怨道:“这样的例子不胜枚举。”“特别是在游戏领域,我们甚至不清楚是否所有类型的游戏都适合增强现实。如果你正在玩《指环王》游戏,或任何类型的幻想游戏,你真的想在厨房里玩幻想游戏吗?”你显然不知道。所以在AR成为游戏领域的一大问题之前,我们需要克服它。我认为会的,但我们首先需要关注的是让VR尽可能的好。然后我们就可以自然地向增强现实迈进。”

最终的想法

VR与下一代PlayStation的整合程度如何?

“这很重要。我认为如果你没有VR,你仍然会有很棒的体验。如果你有VR,你会得到一些你无法得到的东西。但你不需要虚拟现实。(索尼可能不想重蹈微软Kinect的覆辙。)

索尼需要做些什么来保持PSVR的势头?

“很多东西。最重要的是保持好的内容源源不断。鼓励所有开发者创造更多优秀的VR内容。这是第一点。从硬件的角度来看,它是设备的舒适性和累赘。所以,越容易脱下它,就越容易安装起来,并且拥有非常舒适、符合人体工程学的体验,这是我们最大的目标。”

原文出自:https://venturebeat.com/2019/05/23/playstations-dominic-mallinson-on-next-gen-vr-wireless-gaze-tracking-foveated-rendering-and-ar/

来源: venturebeat

随意打赏

索尼2019手机
提交建议
微信扫一扫,分享给好友吧。