THE9演唱会制作团队揭秘：如何用科技打造一场沉浸式观演狂欢

即将于3月26、27日上演的THE9“虚实之城”沉浸式虚拟演唱会第一场——“昼·造梦”已经进入倒计时，作为使用全球比肩技术的国内首场沉浸式虚拟演唱会，演出将平台的技术优势融入内容呈现之中，搭建了一场拥有丰富想象空间的虚拟大Show。

不久前，官博释出最新一批演出场景概念图，其中有异域风情十足的神庙、有 科技 感拉满的电子空间、也有来自宇宙的星环。在过去的传统演唱会中，这样沉浸式的场景营造和丰富的场景变换是无法想象的。

正如爱奇艺首席技术官兼基础架构和智能内容分发事业群总裁刘文峰所说：“当技术应用于娱乐行业时，首先要看技术是否给用户带来价值。”而在制作团队的采访当中，我们能够窥探到XR技术和影视级LED写实化虚拟制作技术融入线上演唱会所带来的震撼魅力。

XR技术不是新东西，但能和创意碰撞出新舞台

XR技术在演唱会的制作运用当中，最重要有两点，一方面是调试与更新并行的实时测试。据THE9演唱会执行制片人吴磊介绍，这次搭建了专属的虚拟测试间，模拟整个XR舞台，拥有完整的流程，这是过去所没有的。另一方面，技术团队和导演团队的认知沟通也非常重要，“导演团队一开始只有内容设想，但具体怎么做、为什么不能做、要做多久这些东西都需要技术团队进行培训，我们起码要理解技术的内容逻辑。”总导演谭寅子说道。

XR技术应用于演唱会、晚会已渐成趋势，刘文峰认为，将 游戏 领域应用广泛的XR技术迁移至娱乐领域，是为了让用户拥有更加沉浸的观看体验。“XR在真正的C端，特别是游戏领域的应用已经很成熟了，消费者接受度也很高，现在我们把电影、综艺、演出的创意，和这种技术两相结合，一碰撞就形成新的东西。”

作为技术团队参与演唱会的制作，跟导演团队之间会出现哪些需要解决的沟通挑战？

刘文峰：很多。互相之间语言体系就不一样，在XR这个概念上技术团队的描述方式和导演团队的理解方式是不一样的，诸如此类还有很多。所以需要大家花时间针对一个目标共同讨论解决方案，然后再对齐大家的认知。就这一个方法，没有别的方法，包括现场大概有几十个工程师、产品经理、研发人员等等，并不是只看不做，而是直接在现场研发，有任何需要做代码调整的就现场修改上线了。目前这种做项目的方式，将来可能都会产品化，形成一个个新的演出形态。

XR技术真正应用到剧综、演艺表演，或是类似的规模化、高效应用的场景时，还需要解决哪些关键的问题呢？

刘文峰：最大的挑战在于实时性，与用户之间的互动是否能够做到流畅和自然。它和传统的制作非常不一样，和用户之间的互动越实时，给这个节目带来的不确定性越高，而这个不确定性是考验创意的，考验内容制作团队的，考验现场导演的临时反应的，也考验准备的充分程度的。所以这类内容制作将来的方式、团队的组成和结构以及创意方式等有可能会有很大的变化。

影视级LED写实化虚拟制作技术，成为“不穿帮镜头”的必备

据了解，此次演唱会应用了四面LED大屏组成演出舞台，用以提高场景的真实感。众所周知，起步之初的XR表演并不是真正使用LED进行场景搭建，而是先利用绿布拍摄再进行后期加工，艺人在表演中无法与场景进行互动。“LED则能够将环境投射在人的皮肤、穿戴上，增加了真实感，这是LED的优势。”执行制片人吴磊介绍。

同时，这种技术的变化会对未来娱乐产品带来内容与形态上的革新，“这些正在开发和使用的技术会在制作流程、内容成本、内容质量上带来非常大的改善和提高。”爱奇艺副总裁杨海涛说。

这次的LED屏幕跟一般会议活动演出的LED屏原理是一样的？

刘文峰：原理类似，但是会比普通屏的精度高，像素和像素之间的距离要小。有一个数据是《曼达洛人》拍摄用的屏也是中国的屏，它就是两个像素点之间的距离是2.84mm，我们这次比它还要小。这个点距决定了你站近一点，也看不出屏幕上每个点的颗粒。并且接口之间的缝隙是感觉不到的。

在演唱会的准备上有遇到过技术挑战吗？

刘文峰：软件的挑战更大，传统的将LED屏作为节目的一部分时，很多是应用于氛围的，比如说舞台上的LED屏，后面播出的内容是用来渲染当前的演出氛围，我们称之为是风格化的一种用法。而这次的虚拟拍摄，LED屏上是一个真实的三维场景，这个三维场景在屏幕上的渲染符合透视原理。这个透视原理相当于摄像机看到的画面等同人的眼睛看到的真实世界的画面。但真实世界显然有很深的深度信息，在屏幕上都是用平面展现出来的，这意味着摄像机在有轻微的位移时，屏幕里所有的像素都要立刻计算出新的数据，包括经过的所有屏幕显示出来的内容，经过GPU 3D引擎计算出当前摄像机偏移以后新的位置和大小。这些是基于虚拟拍摄的一套复杂的软件系统和一套很强的算法做成的。这个技术也运用在部分影视制作中，不同之处是电影拍出来之后还要经过后期制作，并不是直播的，而我们是完全直播的场景，所以挑战大太多了。

据了解，演唱会里有一个雨林场景，需要做到不穿帮的实景化场景，其中有哪些需要解决的具体技术难点吗？

朱梁：第一要点关于分辨率，我们希望看上去是真的，高清的模式已经不行了，因为屏幕面积很大，如果完全用高清的视频，一旦扩大到宽十几米宽、高六米的屏幕，就会很粗糙。因此我们用引擎当中的nDisplay技术，只渲染我们真正给观众播出的画面，它的质量是最好的。还有一个难点，解决屏和屏之间怎么互相影响，以及色彩准确度的问题。在不同的视角看屏，颜色的偏转是不一样的，这是LED的灯珠制造决定的。怎么改变彼此的亮度和色彩的关系，使你不管在哪个角度观看都是完整无缝的影像，这些地方是很困难的。包括和地屏的配合，地屏容易出现高低不平的情况，鞋或舞台上的道具可能会损害我们的屏，我们也需要想保护措施，既可以保护屏幕，也可以维护色彩的一致性和更高的画质。

从世界范围内看，这次使用的技术有什么优势呢？

朱梁：据我了解，在北美，算上美国和加拿大，伴随着《西部世界》和《曼达洛人》的应用，大家已经看到LED的优势。现在至少已经有200个摄影棚在北美地区开始装配LED拍摄的方案了，这会是一个非常大的潮流。

技术和娱乐结合的演出，核心在于技术还是故事。在技术和故事融合的方面，有没有故事可以分享？

刘文峰：核心是我们如何能够将技术和创意两者进行结合。我一直认为我们科技和创意的“双螺旋”特别有意义，互为依赖。光有技术没有办法娱乐大众，光有创意没有办法很好的实现与展现，也没有办法让用户体会到新的技术，所以是互为存在的。

比如这次整个的演唱创意是每个成员心目中有一个自己理想的世界，我们在虚拟世界里创造出来。正好也契合爱奇艺的企业使命，让梦想绽放，让快乐简单。先让这九个小姑娘的梦想绽放了，她梦想说我要在什么地方跳舞，好，就像上帝说要有光一样的。真要物理搭不仅仅是难，而是可能无法实现。当你看到演出会发现，要去外星球、在狮身人面像前跳舞，还可以从中间分开到里面去，很惊人的。其实是没有边界的，可以海阔天空的想，然后技术同步实现，往尽可能满足演员的方向去发挥。这次投入也是非常大的原因也在这了。