NVIDIA周锡健：沉浸式VR对性能要求是普通游戏7.5倍

9月26日，2016中国VR生态峰会将在杭州梦想小镇盛大开幕，本次峰会由中国图象图形学学会指导，电科技网（www.diankeji.com）和传媒梦工场主办。本次大会聚集了来自全球500多名高层代表、200多家虚拟现实产业链的优秀公司和十多家知名投资团队等。

2016中国VR生态峰会以“感知·连接”为主题，旨在为全球VR领域精英人物、领军企业、知名机构及普通创业者搭建专业化的交流分享平台，共同探讨VR产业现状及发展趋势，共享VR发展成果。

近期，国务院在正式印发的《“十三五”国家科技创新规划》中指出，研发新一代互联网技术以及发展自然人机交互技术成首要目标，并且侧重点是智能感知与认知、虚实融合与自然交互。

随着虚拟现实（VR）技术被国务院再一次提及之时，工信部和发改委也在近日联合制定的《智能硬件产业创新发展专项行动》中表示，要将VR、AR列为发展重点。

NVIDIA中国区VR硬件业务开发负责人周锡健认为，VR就是一个对现实的虚拟化。那么VR游戏若想获得完全的体验，性能支持必定是首要需求。对开发而言，强大的开发SDK是必不可少的。NVIDIA利用多重解析度渲染可使虚幻4性能提升50%，NVIDIA PHysX模拟再现真实物理效果。而类似声纳原理的声源轨迹追踪技术使听觉体验更加精准。全方位重建VR体验中的图像、声音、触觉、互动四大感官体验。

以下为周锡健演讲全文：

大家好！我是来自英伟达的周锡健，负责中国区的VR业务。VR带来了很多巨大的机会，我相信在座很多朋友或者是媒体朋友都知道，但是VR到底拉动了哪一方面的图形新商机？

在这之前，我给大家讲两个案例。这幅图是我们冰岛一个开发商开发的应用，简单来说就是珠穆朗玛峰。大家有没有攀登过珠穆朗玛峰？我昨天上网查了一下，如果你要爬珠穆朗玛峰，首先你要有一笔非常大的资金，而且你还要用一年的时间锻炼你的身体，最后你还要承受有可能挂了的危险，才可以成功攀爬珠穆朗玛峰。

但如今VR的应用就可以轻松做到，像冰岛的开发商就可以开发出一个很逼真的珠穆朗玛峰的应用，这款游戏已经可以下载。大家说我也可以爬珠穆朗玛峰，我们也不一定要在家里体验珠穆朗玛峰，我跟大家讲一个案例，这是我们国美国公司一起合作的MASA2030。大家看过一个电影叫《火星救援》，我想在座有钱的朋友也不一定去火星，因为去火星是一张单程票。所以VR给我们带来以前不能感受到的内容，所以带来了很大的商机。

我们来看一看沉浸式VR体验

其实对我们的图形计算能力有一个非常好的性能需求，我们估算要有7.5倍的性能提升，才能满足沉浸式的VR体验。为什么这么说？首先我们平时在家里玩游戏的时候，我们可能用21或23寸的全高清显示器在玩，分辨率在1920×1080就不一样了。而VR要求的分辨率是3024×1680，所以体验完全不可以。

这是我们做的一个调查，其实这也是一个非常大的机会，因为我们认为到2020年，累计会有1亿台配备我们GeForce GTX VR Ready PC。技术是越来越进步的，这就是我们目前VR配备的PC的情况，大家知道我们最近有很多的显卡，但是到了2016年，当我们英伟达发布了新一代10系列，就可以看到我们一直到2020年，我们每一年的性能都会呈2-3倍的增长，才可以勉强满足VR对性能的强烈需求。

跟NVIDIA成为伙伴，在VR市场有什么样的优势？

我们可以看到我们的市场占有率是85%-100%，100%基本上我们在高端的市场特别是VR市场，用户的占有率非常高。当然我们全球有2亿的GeForce玩家。另外我们有1000多台的计算在不断测试驱动的稳定性和兼容性，其实在这里我可以有一个小的插曲，大家想想你在家里玩游戏突然死机，你肯定很气愤，大家会再重启玩。但是如果你在网吧，你老是死机，你受不了，你马上要换。所以可网吧市场占有率就可以看到我们有很多机器在工作。当然最后一个重点，我们超过300位的资深工程师在VR SDK工具上进行开发。

我们看看300多名分布在全球各地的工程师，他们到底在干什么？首先给大家看一张不好看的照片，其实虚拟现实对延迟非常短，目前最先进的一些头盔延迟已经是11MS，但是不好意思，你如果要投像上达到不头晕，要小于20MS，到底20MS是怎样的感觉？我们看到一下，20MS是1秒的五分之一，这是一件非常痛苦的事情。

我们NVIDIA呢？针对头盔的开发者和游戏开发者为全套的NVIDIA VRWORKS，它解决了来自于VR真实世界的四大感官元素的挑战，首先是图象，还有声音，还有触觉，还有物理的特效。我们觉得如果满足了这四大感官元素，那么我们可以有一个比较逼真和比较舒适的体验。

实际上我们刚才提到的关于四大感官元素的挑战，其实我们也有解决方案的。看一下视觉，听觉上用了轨迹追踪的技术模仿声音，触觉也采用了云物理技术进行虚拟结算，待会儿可以跟大家介绍一个小的案例，可以看到物理运算繁衍到真实的触控感觉是怎么样。这是我们全套为VR开发者量身定做的综合性SDK。最近VRWORKS又加入一个360的全景直播，24、32路等拼接，我们都有一些完整的解决方面来解决这个问题。

这里花比较短的时间讲一讲我们的VRWORKS对图象方面的优化。大家可以看到最右边的图象，它是一个不扭曲的正常图片，但是你们知道戴了一个VR的头盔，其实你的眼睛跟屏幕之间有一个凸透镜，凸透镜就会有变化，所以我们的GPU要算出左边的图象，算出一个畸变的图象，最后得出一个正确的图象，也就是负负得正。我们人眼视野应该保持最高的清晰度，大家可以看到红色部分是在你的视野边缘，所以它不那么清楚也可以接受。大家可以看到右边的图象，它直接给变化了。所以相当于我们用了50分的东西出了100分的图象。我们采用了一个叫MIS的特效，我们很多开发者已经用了这个东西。我们刚才讲人眼看见清的地方，就是中间的中格，它是视野最清晰的地方，把周边的分辨率降低，可以加大渲染的效果。

给大家讲一个案例，我们北京有一个做房地产的客户，大家知道房地产是比较热门的，所以虚拟房地产也很热门。我们的客户用了一个礼拜的时间，性能直接提升30%，他还有多余的力量，他就用多余的性能改善光照，所以它非常逼真。但是这么好的技术，让你把几千行代码给你，你也会疯掉。但实际上我们跟全球的两大引擎开发商，我们把这些技术整合在引擎里面，所以开发者只要调用引擎里面的插件，就可以带来性能的提升。通过这些技术，我们甚至可以达到1.5倍的像素及2倍的性能提升，这都是可以测试到了。

刚才我们简单讲了一下关于图象方面的优化，当你觉得你看到的东西不错的时候，其实你想我对听到的东西也有一些追求。传统的音效模式是这样的，有个音源，有个人源。我举个例子，我跟党总讲话，我跟他讲话，我就可以直接传到他。其实声音不是这样，它应该像一个池塘一样的，你丢一个石头，就是一圈一圈的。所以我们用了一个显卡上的很著名的技术——轨迹技术。很简单，还是以党总为例，我是一个音源，在我的口里发出1600条射线，这个射线发出16次，最后12次追踪发到党总这里，因为这里有玻璃等东西，它追踪12次之后的声音是最真实的。这里我们有一个方程，有输入、输出、运算单元，我们输入有声音源、声音位置与方向、环境的几何结构、环境的物理性质，输出还有声音的遮挡、吸收与反射、HRTFs、基于距离的衰减、混响等等，这些技术最后也会集成到游戏引擎，游戏开发者就可以比较方便地做这些事情。

还有一个非常重要的，因为真实世界是有很多的物理规则，所以在虚拟的世界里面，它同样应该有一些物理规则要遵守。我们花一些时间讲一下六大物理效果，有PHYSX、FLEX、爆破，下面的就比较简单，我们叫HAIRWORKS，我们的头发很多，所以你头动的时候，我们计算出来以后，它就非常逼真，还有我们的FLOW和CLOTH，所以我们有这么多了以后，你看到的虚拟世界的东西不那么机械了，你不小心打破一个瓶子，它的水就会流下来，怎么流？完全是遵守物理规则的。

如果遵守物理规则之后，我们还可以做一些什么东西？其实我们还可以做VR的Touch。我们的第三方开发商完全可以利用我们的物理引擎，计算出来的效果就可以挂入他们的设备，就可以有更逼真的物理效果。我简单讲一下，我在这边突然有一个手榴弹，在离我8米的地方爆炸。爆炸了就可以有碎片，物理就可以计算这个碎片到底插到你的脸还是背。大概到了1秒钟有一个冲击波，以一个圈的形式打到你肚子，然后在外面还有一圈有一圈，然后我们可以算出来这些东西，实际上已经有人在做这方面的东西。

其实刚才我们讲了很多复杂或者是比较乏味，让人听起来想睡觉的技术，虽然它们多么有用。我们NVIDIA做了一个模型，我们都是在一个模型里面得到游戏，我们来看一看FUN HOUSE到底怎么样。刚才说的物理效果都是在这里，这个是水，这个是碎片，这个用的爆破，因为用疯狂的机枪扫射它，你可以把这个瓶子打个粉碎。谢谢。这么精彩的一款游戏，其实已经公开发布了，是免费的。

有这么好的技术，我们当然不想就到这里玩完就算了。其实这个游戏里面包含了非常多的效果，包括粒子、洋流、头发、爆破等等功能。有一个好的消息是，现在我们开放了很多的MOD，可以改成自己的FUN HOUSE。当然最好玩的一个地方，就是我们已经把这个游戏的代码，在develop里面把作为的代码开发，游戏开发者可以去改代码，也可以创造出更好的游戏。其实这个游戏开发出来的时候，感兴趣的不是用户，而是一些主题公园和线下体验店，你们可以感觉到这款游戏在这些店里面多么受欢迎。

我们刚才说的VR应用是集中在游戏上，大家可以看到VRWORKS上有加速VR应用的开发，大家可以在医疗、能源、教育、游戏、社群等都可以看到英伟达的足迹。

我们最后说一说NVIDIA帮助构建一个强大的VR Ecosystem，我们有针对VR的头盔、平台&应用商店，包括我们把VR技术直接给到应用开发者，我们还用视觉计算做一些输入和步骤，最后转码加速，我们都做了很多的努力。