IEEE会长袁昱："数字感知"是AR/VR与AI相结合

“数字感知 (Digital Senses)”的概念由IEEE（电气和电子工程师协会）首次提出， 将虚拟现实和增强现实纳入这个统一的框架下，并建立一个跨行业跨学科的全球协作平台，以进一步推动相关领域的突破和发展。

IEEE预测在未来的5到10年内，VR技术将迎来集中爆发期，成为拥有巨大市场潜力的颠覆性技术。恰巧在近日于广州举办的数字感知大会上我们了解到了IEEE会长袁昱博士对AR/VR和人工智能行业的看法。

袁昱博士认为时下火热的VR行业可分为两种，分别的注重商用或是说To B解决方案，这些设备主要应用在垂直领域和零售业。VR的另一大分支则主要体现在内容的多样性上。VR可以让你体验到全新的世界，完全不同的虚拟世界。这样的设备可以使人在足不出户的情况下体验到地球的另一个角落，甚至是另一个时空或空间。另外，VR能提供的各式各样体验，而这能满足绝大多数人有需求却又无法真正实践的梦想。

VR之所以成为时下热门的行业，是偶然也是必然。原因是人们迫切需求一种更真实的体验模式，而不是曾经的讯息获取渠道。VR能够给与人们的是之前所有硬件均不能满足的，就是更真实的现场感，而不仅仅是单纯的信息获取。

那么AR的呢？袁昱博士认为因为接口的不同，AR更像是把数据叠加到现实当中去，或者说是对现实场景的一些拓展和延伸。VR是现阶段的方向，AR是前进的方向。但袁昱博士认为，MR混合现实才是人们对于此类设备需求的最终形态。

最后对于人工智能行业，袁昱博士认为科技是要进步发展的，硬件的形态不能仅仅局限于单纯的操作。随着人们需求的不断提升，只有硬件更智能了；能够更佳简单清晰的读懂人类的意识，那么才能顺应时代的发展。AI作为今年与VR/AR齐名的两大热门风口，目前AI除了商用更多的是帮助硬件变得更聪明，那么AI与VR/AR的结合绝对是可以预见的到的，这也是数字感知大会举办的核心思路。

以下为会议实录：

主持人：大家早上好，请就座，那么今天对我来说感到非常的骄傲，可以邀请我们的专家来这里发表演讲，他们是这个行业的先锋，在学术上和产业上，在数字感知都是先锋，我们的第一个讲者是袁昱博士，他是主席，他同时也是ko主席，那么今天他的演讲题目是数字感知，以及VR个AR的最终途径。

袁昱：非常感谢今天能够来到这里我感到非常的荣幸，可以感受到数字感知和AR和VR，我会讲到什么是VR和AR，我是最后一个时间才获得邀请的，我现在还没有幻灯片，在这个会后，我们的代表会非常的高兴可以跟大家分享我们今天讲到的内容，我们会在微信上分享，为了会让大家不感动困惑，我会用中文，大部分用中文来演讲。

为什么我们要把VR和AR以及其它的一些议题融入到我们的数字感知当中呢，因为我们要控制人类的感官，那么同时我们也会讲到其它的技术 ，不仅仅是VR和VR也包括其它的垂直的运用 ，在这个之前我会跟大家讲到 一些范畴和我们的业务方面，请大家稍等一分钟。那么我觉得下一次我们会有更大的参观，那么我希望下一次 能够有更好的参观，我今天讲话声音够大的，希望大家可以听清楚。

我们这个是全球最大的组织，没有之一啊，我们的会员在160多个国家 ，在VR领域是规模最大的，然后我们每一年大概有300多万的论文的发表，还有一些期刊，我们这个应该是全球的标准。我们同时还有500多个新的标准的项目，那然后呢，这个VR是一个比较独特的，他是一些新的方向，而且是跨学科的方向，他有40多个，如果是跨学科的，如果有非常大的战略意义的呢，以前我们有一些孵化结束的，我目前还在孵化当中，还有智能材料。

那回到这个ds，为什么我们要说这个题目 来说呢，因为我们认为呢，VR和AR他实际上是对人的感知做相应的工作，包括把外界的感知信号过来，我们这个有一些公式，他是一个怎么样的信号的流向，AR又是一个什么样的信号的流向，不管叠加的也好 ，他会被人的感官感知，也会被机器感知，这个就没有这么深度的，就是人工 智能方面，这个就说明了，我们为什么要用VR和AR来表示，这个scope呢，我们主要是VR和AR，还有一些别的领域和一些相关 的方向，我们认为说呢，VR我们可以分为2类，1类呢，他是让你体验另外一个世界，在很多的垂直领域，包括教育的领域，还有VR的零售业，他也是靠计算机产生一个虚拟的市场，那么第二种的话，是让你体会世界上的另外一个地方，你可以体会到另外一个地方，比如说VR旅游，他可以让你去体验另外一个地方，还有科学考察啊，包括成人的运用 ，他可以规划到这个地方。

那么AR的话呢，他的结构有点不一样的，他把计算机生成的地方叠加到现实当中去，国内也有很多这样的公司，有的是手机的卡版，还有是汽车的头衔，还有一个会被经常提到的mr，我们加了一个虚线，所以实际上我说到是一个微软的，你可以跟别的人进行互动，以及远距离的交互，这个就是mr的范畴。这个cooke是非常的有意思的，每一年他都会发布一个最近的发展的曲线，VR和AR呢，我们知道，他们曾经是火过一段时间的，最近两三年呢，他迎来了第二春，他会不会掉下去呢，我觉得不可能，他的顶峰已经是过去 了，我们希望他可以逐渐走向市场的成熟和爆发，他有一段非常火的一段，他不会掉下来的，我们希望他可以稳定走向市场的成熟。Idsi是智能的增强和身体的增强，我们主要是讲智能的增强，我们可以把人的感官进行扩展 ，比如说残疾人，他们听不见的东西，他们都可以听见了。

另一个方面，因为在我们这个也涉及到机器和人的交互 ，机器可以辅助人做相关 的反映，这里涉及到了一些人工 的智能，是不是走在这个框架 下呢，不是这样的，举个例子，智能驾驶的话，我们觉得是比较简单的工作，跟人的感官的理解是一致的但是人工 下围棋呢，他的区别就比较大了。当然还有一些相关的领域，我讲到了自动驾驶的例子，这个是我们的CM，我们会对他们进行5个纬度的研究，怎么合成等等，以及相关 的领域，在技术 之外呢，我们还要做生态系统啊，还有一些内容方面的工作，还有立法方面的工作，总的来讲呢，他会对各行各业有颠覆性的影响的，我们认为他会促进很多的传统行业的专业，这个是很大的市场的。大家可以看ARVR的信息呢，可能会觉得他是很成熟了，其实我们会看到他有很多的空白 的，我们对不同大感官进行捕获也要，还有一些反映，这个举证呢，我们相对 比较成熟的就是是集中在视觉和听觉 方面，在味觉等方面还有很多 工作要做的，视觉方面呢，我们做左边的是不是都是挺好的呢，其实也是有疑问的，我们对可以这个形式进行分析，我接下来要讲一下有起义的东西了，这个是我自己的观点。

VR和AR的话，我们可以做社交，实际上，我觉得他们差的是非常的远的，左边是大脑，中间是人的集中的感官，我就举例了常规的，为什么视觉可以靠计算机呢，，因为可以靠光的颜色，听觉呢，可以用声波去叠加，但是我们讲促觉有没有这样的基本的元素呢，如果没有找到的话，你不可能有这样的体验的，像触觉的话，他智能是粗糙的表面，我认为这个是不可以回答 的问题的，我对这个也不看好的，嗅觉是不是气味的分子呢，闻到毒气就是这个分子呢，我们是不可能靠这个做虚拟现实的体验的，味觉的话，酸甜苦辣就有很多 ，他这个是不可能做到的，我们说的VR社交，我们去喝酒，，你可以闻到他的闻到，你也模拟不到他背后的一些开心方面的等等，社交的话，还有一些非常远的距离，这个有一些绿和红线，这个可以通过脑筋接口说法 ，外界就是所谓的红尘啊，6十是你从不同的感官去感召不同的东西，从视觉跟听觉 的话，我们可以对他们进行相对 好的模式，如果把其它的也可以更好的模拟的话我觉得应该在红线这里进行工作，有了这个理论之后呢，我们需要有一些突破性的进展，我觉得光产是一个非常有意义的，国内的也有做这个赚了很多钱的，还有是光产的捕获的，实际上现在最难的就是他的显示方面，光厂的显示也是一个难点，很少有人讲到，我们为什么需要这个。

但是这个是一方面，通过这个光厂呢，两个眼睛之间他会跟自然的一致，但是最基本的是在他的信号，他的本质的是他不可能看到是窗户还是屏幕，这个是不可以一眼就可以看出来的。你不仅仅是每一条光线的强度和亮度，你还要捕获他的角度 ，这个的话呢，对于人眼而言，你就可以把他当作一个界面的，你不知道他是显示器放出来的还是其它的。视觉方面，我们可以靠光厂做到完美 ，整体的话，我们还有很多的感觉是不可能在这个感官之外去做的。

接下来脑接口是一个非常大的事情，这个举个例子，现在有两个运用 的例子，右上角他是靠这个VR来减肥的，这个东西可能是牛排或者是汉堡，你带着头盔的话，他会给你一个东西，他可能是其它的东西做的，他会欺骗你的大脑的，会帮助你来减肥，右上角的话，他会让你假装你喝酒了，我们要做VR的社交包括大家的聚会，如果说，我不可能靠VR来完整模拟这些吃喝的体验，那这个社交也好 ，他天生就是半成品，没有人认为可以在现下社交去达到效果，这样的问题只能可能脑接口，实际上脑接口，他会对人的大脑有一些约束的作用，但是我们知道呢，就是人类的技术呢，他是一个指数速度发展的，他发展是比较快的，大家都这个这个摩尔定律，也会拿这个做例子。我们在未来5到10年，我们就会看到他的一些相对 成熟的运用的。

我们刚才讲到的光厂，如果要全面体验的话，就是脑接口，接下来这个是我个人的观点，终极体验就是感知，还有他的虚拟世界，这个初级的，比较好的例子，你可以在里面做一些东西，这个世界本来是自恰的，这个有一个建筑物，这个建筑物是死的，我用一个炸弹也不可以把他们炸死，他们是一个互相的作用，说到这个呢，我顺便就是想要评价一下，大家可能看到，我们会觉得我们是生活在虚拟世界当中的，因为他觉得人的技术 是不断在发展的，发展再慢也可以以假乱真的一天的，有10亿的设备 都在做这个现实的，我们现在在这个虚拟现实里面，他的这个概率本身计算是错误的，人的不断在发展的，我们是最终一定会有完美 的虚拟的现实的，但是这个是不成立的，为什么你不成立呢，技术 可以在发展，但是他是有限制的，你不可能证明一定可以做出完美的这个点的，这个是第一个，第二个 呢，他必须假定在达到这个之前把人类把自己搞死，所以人类灭亡了，这个也是不可以达到的，我看到媒体说这个是不屑可击的。你要怎么样去证明这个事情呢，首先你要做出一个以假乱真的虚拟世界，就是n等于0的时候才成立，我才可以假定说我是不是生活在虚拟世界里面，你没有理由说这个完美 的虚拟世界是可以实现的，n等于0的时候就可以成立了。如果是n等于0成立，即使我们生活在虚拟世界里面，那么也是只有一层的叠加，但是很可能说k到k加一也可以成立，他可以造很多的物体，那么我们是不是可以造一台计算机，只有k等于k加1的时候，你可以这么说，否则你到的这一层也不是这个，他很可能是很多层的叠加，只有论证这个才可以证明我们在虚拟现实当中，根据展望的话，我们这个虚拟现实是刚刚开始的，市场上也有很多人再问了，头衔等等都在瓜分了，其它的公司还有机会吗，这个就好像是90年代，我们刚刚有浏览器的时代。

很多的企业都会告诉，你只有在我这里的平台才可以，是我也会这么说的，实际上虚拟现实的人，要说谁是巨头的话，都是言之过早的，这个是刚刚开始的，所有的公司都是有机会的。你要是相信他你就输了。我们现在讲讲ds我们后面会做什么事情，我们有标准，还有攻关，会展，会员，还有出版物，我们会像前面 讲到的，我们会去做一些预测，同时，我们也会提供一些平台来促进 这个虚拟现实和增强现实的发展。同时我们也正在筹建顾问委员会，我们去年也办了一些研讨会，今年我们也在计划说，我们是不是借助一些大的会展，我们去做一个圆桌的讨论，sa是最强大的 的标准之一，他参与度是比较高的，我们这个是宽进。但是这个也还做的别的标准，这个标准的话，很多的组织都在VR和AR工作，首先我们要把已有的一些标准进行梳理，看看他们是怎么样去共存的，我们也会做一些推荐，我们现在也有一些组，这个6月底的时候，我们正在走这个流程，一个是智能眼镜，我们现在在走这个流程，我们不出意外话，是会批准的，我们会把他们作为大的sta，这个辅助驾驶也是很多人的建议，185他是专门做这个VR的，他的工作组也是高的院士的，我们现在的很多的设备 都是要做VR的视频和VR头衔的。

同样你用3d的去放这个也是老的东西的，我们要订立一个规范 的话，可能这个是获得全景没立体的。同时另外一边还有另外一个围度的，尤其是像计算机合成的话，他允许你去移动试点的，但是这个是一个例子，我们从这个需求来讲的话，大家都是一样的，为什么你的贵我的便宜，这个是要靠这个标准去做的，我们希望未来 的5到10年了，我们会开发很多的标准，我们会去使用，我下午的话，我的另外的同事会讲，我现在有一些组，微信我们都在筹建当中，你可以免费加入到这里，只要在你的购物车上选定就可以了，会议的话，我们也会有一些套的，在上个月的话，我们专门办了这个，今天就是这个会议，后面我们也会有一些合作，还有在9月份的话，我们会有西雅图，后面我们有一些技术时光机，他很快就可以出现了，大家也可以把他当作一个指南，这个包括我们跟他合作的。这个从学术的角度来讲是最大的，今年的话，在布达佩斯有一个年度的会议，我们也会发表我们的一些观点，我们也可以加入一些会员，我们会给企业一些福利，一个共同的工具啊，参与的权限等等。

教育的话，我们也有一些进展，comten他和他的合作伙伴去提供一些技术 ，我们后面 在这个技术 开发方面去做一些合作的，VR本身之外他有一些技术 ，这个后面我们的演讲嘉宾 有更多的分享的，我们要怎么样去讲故事呢，这个是要一些推荐的方式和实验的，我们会做一些顶级的电影学院的，我们会跟这些影视学院去合作，看看怎么样去做培训，我们也有一些其它的计划，今年5月份的话，我们跟他们签订了一些合作，这个大概是由300万的学生组成 的，他可以发学位证书的，这个是我们在国内的一些计划，最后呢，就是出版物方面，我们会有一些技术 的展望，包括一些杂志上，我们也在计划，所以整体来讲的话，在这个计划方面我们有很多的东西去做的，对于我们讲到的东西有兴趣的话，大家可以联系我，我的邮件是@dr。我的报告就到这里了，谢谢大家。

主持人：非常感谢袁博士的讲话，我们会有一个问答的换届，那么现在我们有请明明博士，来自北卡�来大学的明明博士，他已经发表了4本关于这方面的书，他也是超过一百个已经参加了的VR会议，他同时也是IEEE的主要编辑。

IEEE & ACM院士Ming C. Lin：我中文就会讲，但是我不习惯，那么接下来呢，我会讲一下，关于多模态的互动，他袁昱博士已经讲了，VR和AR是整合立体，VR是什么呢， 你会找到这样的一个定义，VR是虚拟环境呢，他是一个进入式的媒体，可能再造一个环境，模式人的感官，在真实的世界里面，或者是在一个想象的环境当中，这个是重要的一点，他会捕捉 到一个世界，可能从来就没有存在，可以让用户进行一个互动，VR是人工 创造出来的，他是感官的一种体验，你的视觉听觉 ，味觉触觉，感觉，刚刚袁昱博士也讲到了，这些感官，这些是人类的感官，这个也是帮助我们建立虚拟世界的感官，这个是技术 发展区县，这个是VR的相关 的技术 ，我们会看到他是上下波动的，他会跟过去的世界是紧密相关，在最近已经上升了，已经出现了很多的问题了，他已经地达到了高峰了，是不是可以坚持下去拉，我在这个大学里面就讨论过这个问题。

我们每一天都会有一些访客，包括一些大使，我们在2000的时候就出现了很多的问题了，VR的领域在上升的，我们都很兴奋 ，一个这一点就是在2004年点时候，VR在一个领先的大会上面我们有一个这一点，facebook收购，VR是一个世界，他给我们提供一种新的体验，让我们有社交和互动的体验，同时也可以体验其它人的体验，就是我们一直知道的东西，这个非常激动人心的，只是因为他还没成为主流，我觉得很多人也同意我的观点，VR会成为颠覆下一代的技术 。

这个一个社会杂志里面有800亿的报告，我觉得他会得到一千亿的产值，为什么大家会对VR和AR感兴趣呢，我们一直都在做，得到没有做的很好，这个我们一些做的现实模拟，在中国也一样，已经有5个模拟系了，有很多的大楼和航站的人员，他可以让人体验不同地形的路况，如果是醉驾的话，会怎么样，这个模拟器是一个很好的例子，这个是大范围的在讨论的事情，但是不是唯一的市场的，还用到教育，在大学的时候，我们把VR看作一种技术的，甚至是播音的公司也跟我们合作的，我们可以用技术设置一个圆形，我们已经在这方面合作了很久 了，VR在治疗方面，你可以创造多系统的程序，在美国已经使用了，我不知道中国怎么样，医疗模拟很多的公司也在用，在美国也在用了，同时也可以培训很多的外科医生，我们现在是2016年，已经培训了很多 医生了，为什么会这样呢，他可以模拟很多的问题，模拟人体，这个就意味着他有很大的权力，技术人员主要他们感兴趣的话都可以的，怎么样让他们成为现实，外科医生已经获益了。

如果是有一些病人他们在看病的时候呢，可能很容易会死，会有很高的死亡率，你可以用VR作为一个平台你就可以降低他的死亡率了，外科医生也可以训练你的技能了，我们同时也在看，怎么样把VR看作工具，作为科学探索 的工具，你可以用纳米设备 ，有一个就是umc的操作研究者，我认为他是有很大的权力的，VR可以带你去旅游，可以让你的爷爷奶奶去，想想要跟他们分享你的这种体验，VR就是你分享的工具，你可以跟你的家人去分享的，这个只是其中的可能性和权力，这个网络和空间的实现的旅游，可以在VR实现。我要讲一下研究领域有一些问题在里面。首先袁昱博士也提到了，就是追踪和原始的问题，另外的一个问题就是怎么样去创造一种体验，你可以了解很多的这方面，另外就是捕捉这方面，很多人都没解决这个问题，AR怎么样融入去里面呢，另外一个呢，就是一个还有互动的空间，怎么样让这两个系统进行互动，我们这里也做了很多 努力去解决这方面的问题，你可以创造可视性的环境和VR环境，你不可以去互动的话，你这个没有意义的，所以这种互动，人与VR环境，这个环境的功能是一样的，还有可以有价值的，所以有很多的研究已经在开展了，都是关于怎么样去显示的，显示的话是视觉的展示，今天我要讲的几样东西，一个是触觉，触觉这个是一个非常有挑战性的话题的，我们的皮肤是可以传达感官的，你知道怎么样去取样的话呢，你可能要运行上千次的。那么这个标准是怎么样的，很多台计算机才可以预算出来 ，你的感官怎么样进行互动，你这里可以看到很多 已经开发出来的系统，还有一些捕捉，另外一种就是比较商业化的是技术 ，这里也可以看到，我们尝试了不同的装置的，他们同时有很多 的用户或者是开发者他们是以皮肤为基础的，但是没有足够的装置，你是开发者或者是研究者的话，你会鼓励你去研究这个领域的，如果你是物理学家的话，这个是非常困难的问题的，医学的话这个是非常重点的的问题，我们在硬件方面没有更好的装置的，我现在还会讲的是其它的领域，包括实时渲染，我今天想要跟你说的是细节我们不是特别的好的，现在我可以方这个声音吗，这个是速度与激情6，这个影像非常好，但是没有声音，那么我们现在可以放声音了吗，好的，我们再放一次。

我相信这一次是感觉更好的，因为加上声音的话，会更好的，你看电影到时候，你在VR系统里面，有声音和没有声音差别是相当大的，意味着你在其中还是不在其中，你看到的这个画片已经是非常好的，但是他的声音是非常的不好的，这个就是我们的声音的一个问题，这个声音那么是非常好的，但是电影音效是非常好的，但是你想象一下，我们是一个交互 的虚拟环境的话，你是怎么样进行声音的录制的，我现在可以放视频吗，这个是一个开发者来做视频运用的一个例子。请放声音好吗？那么所有的电影都是有声音的，如果你可以把声音放出来的话，是最好不过了。好吧，你现在什么都听不到。所以说声音控制在哪里，我觉得这个就是我的观点，你看这个视频你没有看到声音的话，你都不知道发生了什么，谁管这个声音的，把这个声音开一下吧，再大声一点。

这个有点向是VR，但是你听不到声音的话，你都不知道他是发生了什么，他其实是在讲电影和游戏，当这个物体是这么小的时候，他可以变这么大，我觉得这个录像你可以听到他是怎么样的话，你可以获得更多的信息的，声音渲染他是跟VR有关的，我们现在做的一个相当于我们研究的一个区域，AR环境，是可以提供一个空间感的，可以增强一种视觉，会让你深处这个空间的感觉，那么我们去产生这个声音的话，我们要讲到一个我们具体要做什么呢，我们要有一个建模，我们要准备好材料，我们要有其它的音频信号，我们要模仿声音的一个过程，你可以看到一个折射等等一些干扰的元素，我们要把这个声音传导你的耳朵里面，我们会给大家看到一个3d的环境，你会感觉到一个空间的存在 ，我们可以看到我们这个是如何去感受的，如果我们看到什么东西，只是可以听的的话，你可以感受到一个礼堂还是在一个大的环境，我们要依赖这种感受，我们都不知道他们对我们有多么重要，我们现在的声音的线索 是非常的重要，你可以想象一下，你是一个紧急救援的人，如果没有警铃的声音，没有人建交，那么你会觉得怎么样呢，你会有什么感受呢，假使你现在可以听到声音你有什么感受呢，这个是音频上的一个重要性，我们要有一个处理的过程，这个声音是怎么样进行传播的呢，我现在最后要讲到的话，如果我们人类要去感知这个声音，就是我们精神上去感受这个空间上的声音，同时我们也要去感受到他的交互 性，我们在AR上，我们要是一个实时的感受，不仅仅在AR上是一个好的运用 ，你在多媒体方面等等，你必须要想到不同的运用 ，比如说有声音的话，可以提醒你去辨别，他也是用非常好的科技运用 ，比如说你进行房屋设置的时候，比如说10年前 买的房子，你觉得他是非常的漂亮的，直到你住进去之后，之前我们是没有一个开放式的阳台的房子，可以是整个是开放式的房间的话，你会看到非常大的空间的，这个声音会到处去散播的，你很有可能必须早期和晚睡，你可以听到整个 房子的声音，这个声音是非常的重要的，你要想到在工程设计的时候，你在设计飞机和船的时候，都要有一个建模的，人们在这个设计的时候，你必须要想到一个噪音原，在游戏当中，声音的线索 是一个很重要的一部分。

那么我现在还要简短讲一下声音的传播是怎么样进行的。我希望大家可以听到这个声音，那么我们现在来讲数值和几何方面的声音的传播，我们用这个数值来讲声音是怎么样进行传播的，声音的话，我们是做一个模拟的，我们要看到他是怎么样进行的，也就是声音是怎么样进行传播的，声音的话，他就是压力搏声音的话，他就是一个压力波而已，你用方程来计算的话，他就是欧姆的4次方，他是一个非常高的频率，这个是你要做的一个运算 ，你做这个运算 的话，你要用一个超级电脑来做声音的运算，你必须要想象一些波动方程是一个大的挑战 的，我们要做的是数值的可能性，我们知道我们会有非常多的解决方案，比如说是一个巨型的空间，有巨型的方阵。首先我们要讲一下大体的想法 ，首先你要有一个不同的用于视觉展现的方案，这个要用你的cpu来进行，你要有100倍来升级的，10倍是不可以的，我用视频来展示吧，有声音吗？

开始的时候呢，声音是比较大的，然后是比较小的，这个是声音在教堂里面的一个分散，你会用不同的材料，也会有不同的吸收率，这个材料的质量和本质是不一样的，不同的材料会有不同的效果，怎么样做应该模拟呢，我们下面讲到一些技术，那么下一个呢，我要讲不同的技术 ，不同的技术会模拟在路径追踪是相似的，我们会处理声音，只要有这种技术 的话，你可以在实施中运用 他，你会问我在这一种计算的话，可能会需要更多的更高级的计算机，这个要求是更高的，我们要选择不同的技术混合在在一起。我现在要展现一个在户外的环境，这个是几年前，我们还不能模拟教堂的仿真，这个是户外的模拟，需要非常高的互动率。请放一些视频，这个是在炼油厂里面的，有一些其它的噪音，还有直升机飞过。

那么另外呢，还有一个靠近这个炼油厂的地方，另外一个在城市生活的户外的环境，都是可以去渲染的，现在我要一个比较高的互动率，请开声音。好的，你刚才听到的东西，都是模拟出来的，就是用我们的技术 模拟出来 的，他们是模型，通过模拟就让你听到了这样的声音，另外呢就是VR和AR需要的，都是比较感兴趣的领域就是声音，在很多的场合都是需要我们的眼睛和耳朵，这个是特殊的，可能没有发现，其实你的耳朵的形状，就决定了你听到的声音都是不一样的，因此我们的耳朵的形状都是不一样的，距离多远都是有联系的，这个是耳机的系统，可以帮助你改善你的听觉，音频是越来越重要的技术，特别是在游戏的时候，而且我们也会有VR的显示，对每一个人展示，我们要想一下，如何有不同的听力，跟脑部相联系的技术，这一块决定你看到的是什么东西，接下来我们想做的事情是脑部传输的技术，我们会拍一下这些照片，然后你会看到个人的VR的声音，我们会使用这个模拟，增强现实，这个是在VR系统里面的现实，让你有进入感，想到一个特殊的3d的声音，我们讲到的是声音的感官，为什么我们要讲到录音这一块呢，我们意识到这个声音已经产生了，我们的耳朵要如何去感知，我们这个声音是可以在VR环境中产生的，这个声音呢，他就是通过振动来产生的，这个振动就是通过压力波来传播的，实际上我们在电脑当中可以做同样的事情，这个是我们目前在做的技术。

这个对这个声音进行的一个录制，比如说像刚才这样的，我们把这个视频再放一次，他们是两个人在斗争的，他是用声音来进行模拟的，比如说我们有一个交互 ，我们为什么要这样做呢，我们可以对这个交互 进行模拟，然后制作，这个是我们目前来说的，不去录制这个声音，这个声音的录制是非常的贵的，非常的耗时和重复的工作，我们现在要做的是把这种动作用物理引擎来模拟，以及这样的声音，所以说这样的声音就跟我们的VR的环境想匹配的，我们可以把这个再放一下。每一秒都有非常多的声音在振动。那么所以说看到这个视频的话，我们当时做的事情，就是我们做一个校本，我们做70年代的音乐的脚板，我们用电脑生成的声音，他不是一个声音的录制，他是一个及时的制作，接下来我们要讲的是，我们如何去收集声音生成的材料，我们要把这个参数 跟我们的这个不同的材料相匹配的话，时间是非常长的，我们要把他们放在虚拟环境当中，我们之前有发表一个论文，我们做一个真实的声音的例子，然后我们把他们带进一个虚拟的世界，很多人已经在做这个工作了，就是把物理中的材料放在虚拟的材料，我们就是一个声音的克隆，那么每一个材料就是我们现实中的物体发出的声音，大家看到的就是一个录制，其它的声音就是一个模拟，我们是通过电脑计算做出来的，每一个不同的材料都放在虚拟世界进行模拟，我们不会具体说我们是怎么样去做到的，我们可以做模拟水流的声音，我们可否自动生成这个声音呢，这个是一个流体的模拟，这个是你看到的一个没有声音的情况，那么我们现在用物理引擎来生产这样的声音。

好的，好的，实际上这样的声音的生成是一个事实的生成，我们可以给大家看看，这个是一个流体的声音，可以允许用户感觉在水中进行一个互动，就是一个流水 的声音，你可以用不同的就是做一个不同的声音的模拟，我想还要把声音和触觉不同的多模态的方式来模拟，我们会有这样的文理，但是你实际上就是用非常复杂的几何来代替一个简单的，所以说大家都是不知道怎么样去生成这样的声音的，我们有这样的技术，我们可以把不同的模态的用不同的文理融入当中进行一个声音的合成，大家可能需要把这个声音调高一点，这个实际上是一个游戏，我们会玩的一些游戏，你们之前看到的仅仅是一些画面，那么所有的这些物理当中的声音，都可以进行一个模拟来进行一个生成的，你可以把这个地图想象成旧金山的一个地图，你可以看到他在不停的循环，这个是用文理来形成的一个事情。我们可以用这个技术来进行一个多交互 ，所以说这个是一个多模态的一个交互 ，这个是我们纽约大学做的一个一个研究。

同时呢，你可以把这种技术放到你家里，通过这样的一些声音，把声音的材料融入到VR环境当中，所以说这个是多功能的一个桌面，用一个多功能摄像头，然后你去跟这个多功能的台面进行一个互动，有很多人同时玩这个游戏，麻烦放一个这个视频。那么同时你可以来做这样的一个虚拟的鼓，这个是大学生，他是一个业余的鼓手，他可以在一个虚拟的桌面 来做这个。刚才真的很想是一个本科生来玩鼓的感觉，你可以想象一下，可以做出这样的一个协同和一个模拟，实际上你可以做一个非常，比如说你可以用你的手机来操作，我们可以再试一下吗？好的，我想这个可以让你知道怎么样去用这个技术 ，可以是乐器的模拟，在音箱方面有什么困难要解决的呢，很多的理工的毕业生呢，他们也有很多的合作，有一些技术呢，已经有很多的企业在做了，我会把这个问答的环节放到最后。

主持人：谢谢袁昱博士的演讲，我们下一位呢，他和狄士尼乐园有很多 合作，是这个方面的专家，他会有很多的专业的知识，首先要跟我们讲的是好莱坞的一些事情。

Philip Lelyveld：好的，谢谢，我很高兴有这个机会来参加我们的会议，我邀请大家站起来，因为我希望你是清醒的。好的，伸懒腰，好的，坐下吧。今天我要讲的话题呢，可能跟之前的讲者有一些重复，我从好莱坞的角度 来讲，我会讲的快，如果你觉得无聊的话，我会讲得快一点，所以呢，首先我要讲一下我的背景，我是南加州大学的，我是为了融入这方面的学生，讨论一下这方面的技术的未来，讨论一下他们同意跟不同意的观点，进行解决，而且做一些相关的行业的工作，我们的中心呢，其实是坚决中立的，我们在这个行业是完全的中立的，包括好莱坞的工作室，我们可以做研究和盛会，采取合作的方式进行的，我们有一些是永久的成员，另外一些是流动的成员，他们可以决定自己的去留，我接下来要讲的是一些语音，以及一些VR的重要性还有一些问题和重点，这个是比较重要的部分，最后就是总结，接下来讲一下基础的概念，我想很多人都讲到了，如果你拿着一个相机，进行里面，你的手机就会展示这些信息，增添信息的话，你会有额外的信息，得到你如果坐在沙发里面，你看到这些的话，而且提供的是一样的东西的话，这些是虚拟的，你根本就不在这里，但是你可以获得一样的感官和感觉，其实他们是相连的，做左边是增强现实，右边是虚拟现实，你的感觉和嗅觉都要替代 ，都是要来自其它的地方，很多的公司都在推荐触觉等方面的发展，我们在市场上看到大很多的产品都是在中间混合的现实的，VR，我们的这些头衔呢，他们不会是一个屏幕、

在AR的话，你可以看到很多的信息，可以了解很多的实体的世界，这个是基本的概念，我把这个VR展现为4中体验，第一种是魔术窗口，可以看到在虚拟世界不同的物体，这个是不一样的体验，那么接下来呢，还有可以移动的，这个是谷歌的直板，还有三星的，这两种像这一种手机的VR，还有你刚才看到的手机窗口都是入门级的，3星的话，也在下降他的成本，我们可以看到很多VR的体验，你不用 花很多的成本都可以有这样的体验，下一个是头显，头的显示器，你就像带着一个透视镜一样，你可以在这个虚拟空间走路 ，可以享受这个过程，也可以感受你身体的动作，同时也是比较具有吸引力的，那么最高的水平就是临场的一个娱乐，有一个公司呢，他们在模拟一个完全虚拟世界的时候，他们可以感受到这种VR的环境，可能是在家里的，有很多的投资，包括中国的投资者都已经在这个领域投资了。

在这个商业的角度来看呢，都是有很多的回报率的，每一秒都是有很大的回报的。我们在这里看到的，会在你的展示厅里面看到的，你会有一些体验，就是你在购物商场里面的一个体验，这个是中国化的体验，这个是在中国是比较火的，我在美国也可以看到有这样的一个购物的商场也是有同样的技术 的，消费者其实在的是体验，是技术交付给他们的体验。首先我是在电影学院里面学习的，我在电影学院里面教书，我问学生的第一个问题就是你做这个东西是需要人们 可以看到的，你做VR要有一个理由，你要讲到一个故事，这个跟问题的媒体是不一样的，我会跟你讲一下怎么样的不一样。接下来你可以感官的呈现，我们要了解，你要知道你在什么地方，怎么样更好把用户放到这里，有很多的组织，有很多的国际社都在做研究，怎么样去做好这个控制器。你在这个角色之间是更加的紧密的。很多人都知道，一个知名的游戏，在这个侠盗列车手里面，开发者觉得这里面有一个罪恶感。

另外我们学习到了一个方式就是在这个游戏里面呢，如果是3d角色的话，他是更加有一个同情心的，在开始的时候，你想要做的就是说，在2d的时候，2d的图片他一个更加好的距离感的，这个图片展示的就是说，你在这样的环境里面呢，其实是很难获得帮助的，这个是在洛杉矶模拟的，在你身边的人被枪击了，你想要救助他们，但是你做不了什么，你想要哭，你想要知道这个倒下的人是谁，这个代理是一个很强的讲故事的工具，接下来我们很多新闻届的结构，他们要把他们的能力放到里面去，有很多的组织都在问一个问题，我们把新人带到里面，怎么样去展示成功呢，怎么样去运用 到VR和AR里面，有很多的特殊的语音，我接下来要给你看一个例子，这个是音乐的视频，叫做好朋友，我不知道他们有没有发布，这个是比较好的VR的视频，比较开心的视频，因为这些舞者会在你身边，他们会给你微笑，在另外的一段跟水危机有关的一个纪录片，我们看到就是这个水的危机的产生之后，他们是怎么样去存活的，他们用声音来讲述这个问题，同时你听到这个声音的话，你可以感受到这个故事，那么同时，我也喜欢这样的cgi的环境的故事的讲述，他这样的一个短篇，然后他讲的是一个虚拟世界的一个战争，那么迪士尼他们也在做VR的工作，他们做的是最近的一部电影，他们把这样的虚拟与现实的技术去感受，让你去参与他的故事，我的一个同事说，你可以深处在这个故事当中，你有一个临床感，他们cg的就是和VR的技术，我们可以有这样的一个感受，比如说在音乐会，以及其它的现场活动当中，我们也可以用到VR的技术，我们看到这个图片，有一些直板挂在空中，其实是音乐家表演这个和弦的。你在做VR的时候，你就要决定他是由摄像头来捕捉的VR还是现场的，如果你是摄像头的话，你是使用者就要跟着摄像头来走动，如果说你是作为一个故事的讲述者的话，你必须用VR的工具和语言，或者是微妙的强制性，让你的用户觉得他们真的在这样的环境当中，让用户觉得他们跟着你进入这样的旅程 ，用这样的VR技术让他们身在其中，你也要 决定是2d还是3d，如果你用3d的话，是用双摄像头呢，还是数学算法的计算，左右两边不同的摄像头，会给你不同的知识，比如说右边是不同的摄像头，他有不同的效果，说到声音的话，他们是非常的重要的，尤其是空间，他是一个非常重要工具，我们可以通过声音来辨别环境，当你在做空间的声音的录制的时候，你必须要通过3个不同的方面来对声音进行录制，你要对声音进行捕捉，你要对声音进行空间的捕捉 ，你要对不同的部位来追踪 ，你要通过不同的部位来对声音进行录制，但是有一些声音，比如说交响乐的声音他们是没有空间的感觉的，你现在有18个不同的摄像头做很多的不同的资料，你要把他们拼接，有一些软件可以自动生成这样的画面的，你要有一个好的数学的算法，但是要达到好莱坞级别的话是非常的昂贵的，我们现场的VR的生产的话，或者是VR的录制的话，我们必须要有更好的设备 ，你想要一个好的互动的话，好莱坞他在这方面会有更多的工作的，现在有两个大的公司都在做他们的比较大的贡献的，你必须要保证用户的体验是可以相结合的，你现在在一个VR环境当中，让他感觉布满鲜花的道路 的话，你要给用户一个非常的自然的感受，我们目前在做一件事情就是这样的一个VR的有什么样大最佳的范例，我们在加拿大的电影中心搜集更多 材料，如何去做一个更好的VR体验，在娱乐业来说这个是非常的重要的，产生3d的模型都是通过VR来实现的，你不希望其它的部门去做同样的事情，你要有一个共享，我们跟其它的工作室都是会进行一个电子资产的共享的，我们在这样的一个世界，我们必须投资就有回报，你必须要把这样的分发渠道去考虑这个事情，你的市场越来越小，你的产品就必须越来越专业，这个是页面你可以往下看，他是一个非常高端的VR的头衔，然后这个头衔必须有相应的内容进行播放，这个是标准浏览器的一个体验，你3星的头衔，那么接下来呢，我还会跟大家说的是我们要在标准方面做工作，我之前提到的，你VR体验是现场制作的，还是电脑生成的，你必须要看到的，我们通过其它的技术也是有这样的现实的，你通过不同的镜头来捕捉。在3d的公司的话，他们是把摄像头放在这样的环境里面，比如说在运动场当中，你可以更好模拟他的环境，你可以做一个游戏的角色，参与到这个游戏，这个就是能够让用户来去进入这个游戏当中来进行这样的运动。

我们还要讲到的是社交，VR的重要性，我们说到的很多的内容，和其它的娱乐方面现在大家已经想要进入VR的世界，然后在VR的世界进行对谈，你会有自己的角色，这个是很多人想要做的事情，右边的图片是工厂做的，就是很多人在虚拟环境当中，他们把这个企鹅的虚拟人物放到当中，看他们自己播放的电影，在这个市场当中有很大的市场的份额的，在社交VR呢，有很多的竞争者的，有一个公司可能做这个产品的，有4万的角色可以分享这样的体验的，或者说在整个 城市当中有很多的角色可以进入到这个角色当中，他们在控制声音方面也有很大的成果。比如说在一个会议当中，当很多人在说话的时候，你是不是办法明白他们是做说什么的，如果在VR的环境中，你有会有不同的体验，不同人说话的一个感受。而且你也会看到在不同的位置里面，也在同样的虚拟空间里面互动，我们看到他们有一些人可以跟不同的物体进行互动，现在已经是发展很快了，那么接下来讲一下这个行业里面的重点，这个是缺少标准化，消费者的不给率是比较低的，开始的时候，都没有很多人去采用的，蓝光等等，他们会使用他们的dvd，消费者也没有不给起来，他们用了很多年了，他们都已经习惯了，不是很多人知道好的VR的体验到底是什么。现在有很多的VR的体验，有写是窗口，有些是低水平的在你的手机上体验，我们要思考怎么样是标准化的，接下来你要开始思考了。

在90年代 末的时候，开始数字影院的计划已经开始出现了，我也跟迪士尼合作了，我们做的主要是一些角色，就是摄影师。还有服务器的公司，就是我们要怎么样去做这个服务器，我问他们最基础的技术 的问题是什么，需要什么技术才能做好客户的体验呢，怎么样去给市场带来影响，和带来利益呢，对于好的客户的体验，技术 是什么，这个就是对每一个参与者都是有利的，我们后来就发现这个图像的分辨率，颜色应该是怎么样的，我们也设置了最低的好莱坞标准，我们需要设定一些标准，去竞争，这样可以给客户更好的体验，在你使用投影仪的话，就会有好的内容，苹果的话，也采用了标准化，在标准化里面呢，委员会和一些公司也开始采用了，我到底想要消费者有什么样的体验，用你的资源进行并发。那么怎么样去限定和购买这种体验呢，VR的体验呢，我们要给客户提供一个好的体验，也要有一个好的标准，要早早就讨论这些标准，然后形成标准的委员会。

这些标准的话，可以会限制创新，你要去平衡，我们要考虑这个平衡 的衡量的问题，因为涉及到每一个方面，然后给大家带来更多的利益，怎么样去大规模采用呢，这个是很大的市场，我们想要更加高端 的体验，而且产品的产生会更好，标准化可以加速市场的发展，我们同时也要 知道模拟的一些，因为这里有3个元素，有技术上的元素，你在VR世界里面你可以会觉得晕眩的感觉，90每秒的时候呢，你可以要50毫米每秒才行，这个是技术 的问题，在真实世界里面呢，在一个空间里面走动的话，这个摄像头会告诉你，你要创造一个更好的VR世界，我们要掌握VR的语言才可以掌握世界，人才方面呢，1%到20%的人口，他们在看3d的时候，如果你要改变他们的眼睛的话，是不可能的，但是他们可能会因此感到晕眩，这个我们要控制这个，这个是仿真的，我们最近也在看虚拟现实的问题，如果你是涉及到暴力的电影和内容等等，你可能会吓倒这些孩子，那么我们要怎么样去做好这方面的事情呢，成年人有些也会 敏感的，看看这些是不是适合儿童去看的，要控制好，要有一个分级的水平，不要有一个非常的惊悚的体验，我们要控制好个人的空间，他们是不是要碰到，这个是我们要考虑的东西，另外一个是安全性的东西，你在这个虚拟世界里面呢，你不想别人挟持到你，他突然就给你一些吓人的画面，这个是VR体验的安全 ，你要怎么样去做呢。另外就是你要把你的头衔弄干净，这样的话，你就不会晕眩 了，接下来技术的话，是很中立的，可以用在好的地方，可以用在不好的地方。消费者购买的不是技术，而是技术的一种体验，有趣的是，现在的文化呢，已经是准备好了，VR的文化已经准备了，我们的这个文化已经准备好了，我们有技术和一些相关的设备，但是我们是否能够推进这一块的改革呢，有一些相关 的方式进入这个世界呢？谢谢。

主持人：非常感谢你这个讲话，也反映了影业发展的方面，接下来我们邀请IEEE标准的主席，同时呢，这个先生也是视觉图像全球公司的ceo和总裁，也推动了VR和AR的计划，我们给他热烈的掌声。

Stephen Dukes院士：早上好，各位嘉宾们，我想给大家讲述一下，等一下，我要播一下这个声音。我是IEEe标准协会的主席，我也参与一些相关 的活动和咨询，在这个活动里面呢，我是负责加速，开发制定，在2到4年的时间里面建立这个标准，在市场发展的情况下呢，我们要制定这个标准办事的，这个也需要1年的时间，这个是有难度的，但是这个也是根据市场的发展来走的，对于rv和AR也是一样的，那么这个就是要加快VR和AR的补给，这个是关于时间的，怎么样去创造一个环境，让你进行互动，创造相关的制造的环境和容量，让消费者可以放心在这个市场里面。接下来是相关的一些标准，而且也涉及到一些技术，其实我们会有一个未来 的导向的委员会，会处理一些技术 ，其中一个是数字感知，现在的技术是怎么样去呈现出来的呢。

我们现在也有一些活动，有一些一个流程和虚拟现实的一些标准也在慢慢形成了，我们的工作是2014年开始的，这个工作组的主席是在中国，我们想要继续在这里的活动。现在的标准化活动是不同的情况下工作的，看看怎么样才能加速影响活动的发展。而在虚拟现实相关 的活动，我们也会跟学校合作的，像南加州大学也有合作，还有跟很多的计算机学院合作，还有相关的一些使用酷狗平台的一些合作，IEEE呢，同时也跟南加州大学有很好的合作，我们也会继续和其它的大学进行合作。在西南偏南大会上也有一些相关 的活动，在南加州大学也会有一些相关的活动。在袁昱博士的讲话当中都可以看到，VR在发展的下一步是非常的重要的，能够让这个市场有一个更大的发展，那么同时也让这个产业以及在学术方面有一个方面的话，这个标准是一个非常重要的事情，如果在这个标准方面，我们太早的话，会对创新有一个抑制，所以我们就进行一个开始的定制，在98年就有一个平台来做这个标准了，他们处理一些视频，一些内存卡的一个标准，我们现在有一个视频的平台是更加吸引人的，我们是进行261的标准，在消费者或者是产业的价值的实用性。

他可以导致更低的价格和竞争，我们要加快技术的发展，那么现在还有一个AR的采用的问题，他是一个新的科技，在一个传统的产业当中有很多的挑战 ，电子产品的产家会有一些冲突 的，我们在制定标准方面要保证产业的可以往前发展，哪些是可以明确获利的，哪些是起反作用的，我们要说明书上要说明什么呢，我们要有一个系统融合，我们要面临什么问题呢，我们要怎么样去确立投资的回报率呢，我们要建立一个标准，然后让可操作作为发展的动力，但是不去限制，不对创新有过多的限制，我们会在1、2年期间，对这个产业做出更多的内容，让更多的产商参与其中，我们的标准要考虑很多的东西，比如说技术层面的问题，连接的问题，没有我们的这样的一个标准的话，这个是没有办法做到的所以说这个是一个驱动力，可以让我们的产业比有一个更好的力量，我们的前进的道路 有一个好的连接，那么同时这个跟产业以及跟不同的大学都有一个合作，我们在标准的发展方面，我们发展新的标准计划，然后去解决ieee标准协会的一个发展。

我们有超过42万的成员，我们有45个技术协会和委员会，我们每一年有超过1600个会议，我们有超过80万的技术文件，然后我们有超过160个被人引用最多的杂志，这个是我们IEEE协会的一些清单，如果你希望加入进行一个标准的制定的话，你可以加入不同的协会，尤其是IEEE的协会，这个是IEEE的结构，我不去细讲了，IEEE是一个非常大的机构，我们的机构其实是非常的精讲的。IEEE标准协会被全世界认可，然后我们是以市场为导向的，非常高质量的一个技术，同时希望可能有一个广泛的采用，我们的任务是去推动他的发展。尤其是是技术标准相关的一些活动的发展。所以说这个实际上是一个非常大的细分市场，IEEE同时在跟其它的一些标准机构来进行合作，之前在袁昱博士的演讲当中也提到了，我们跟其它的标准的组织，之间有共同的协同，希望可以有一个可互的操作性，IEEE和其它的标准组织，跟其它的组织都有合作，来发展我们更多的标准，我们也共同支柱了很多的标准的活动，所以说IEEE在标准协会做出了很多的活动，向我之前说的，我们有一个新的标准的学术委员会，在这个委员会当中有很多的标准，来保证很多的事情都可以顺畅发展。这个是非常重要的。

这个是我们一个标准发展的一个过程，我们有很多的利益相关 者，会做出一些最基础的工作，然后通过这样的程序来制定出标准，我们实际上不断在精简这样的程序产生的时间，因为这个市场变化非常的快。那么还有一些人是希望个人和企业都可以加入我们的这样的一个标准制定的协会。那么这里就有一个例子。IEEE是怎么样在这个环境里面造成标准和带来很大的效益的，这个是1800年的一个标准，这个标准是怎么样的呢，是在IEEE和其它的机构呢，都涉及到了1800的标准，在45个国家 ，91个产品，和109个企业，2007年已经有370家企业都用到了我们这个标准，这个是一个公司的计划，有很多的标准呢，都是涉及到了很多的公司，他们也参与到了我们的标准制定当中，或者是标准制定当中，VR和AR 的制造商呢，希望你们可以加入到这里，参与我们的标准，IEEE的标准过程中呢，我们都是统一制定的，我们有很多 协会，参与很多的标准协会，还有技术的来源，他们都是一个家族的，有一些参与者带来了全球的影响，这个是我们的一个流程，是怎么样制定标准的，可以联系IEEE的哪些人，这个是我最后的讲话，谢谢。