元宇宙创新者2: 改变了吴小毛一生的三个瞬间
作者:董子博
编辑:岑峰
2022年6月的一个傍晚,杭州东站正是人来人往、行色匆匆。
人群中,一个中年人正要从杭州赶回上海的家。他年初远赴德国公司主掌工作,回国航班落地成都,数周隔离后,又是上海疫情吃紧,全城封锁。到这天,他已有将近半年没见过家人一面了。
他到了车站,时间还早。在候车室的长椅上坐定,他看着熙攘的人群出神,回忆起了自己的职业生涯。
在计算机图形学的赛道上,他从一个学徒,成为一个远赴海外多年的专家,再到执掌一家横跨中德两国、规模数百人的图形引擎公司,花了他20年的时间。
入行20年,他曾与中国图形学界的最前沿同窗钻研,也曾与世界范围内最强的引擎团队共事。图形学20年的发展大潮,他身处其中。
有人说,人的一生,就是由先前经历的无数个瞬间所定义的。他回忆他在图形学领域探索的生涯,有三个瞬间,他总是无法忘怀。
他叫吴小毛,是图形引擎公司——粒界科技的创始人。而今天要讲的,不只是他的故事,还有图形学领域在这20年间所经历的发展与飞跃。
一、彼得杰克逊的“来信”
一条大河上,几个人撑着几桨扁舟,向着远方的地平线航行。而画面远端,伟立着一座奇特的山峦,状如石笋,高耸入云。
2002年,仍在南昌大学读研的吴小毛看到了这个场景,在电影银幕外惊掉了下巴。
如此奇景,自然不是实景实拍,而是由计算机动画(简称CGI)制作而成。
这部电影的出现,为全世界展示了CGI在电影工业界的无限未来,为计算机图形学在电影上的应用,开启了一个全新的时代。
这部电影,就是彼得·杰克逊在2002年上映的传世之作——《指环王·护戒使者》。
CGI技术的发端,可以溯源至1958年的好莱坞。电影巨匠希区柯克,开创式地将计算机动画运用在了他的电影《迷魂记》中:在影片开篇,在一只动人的眼睛里,一个绿色的旋涡逐渐旋转、扩大,直至占领整个画面。短短数秒的动画,在开场时就抓人眼球。
电影《迷魂记》
而经过了近半个世纪的演变,随着先驱Edwin Catmull、Patrick M. Hanrahan 等人对领域前沿的不懈探索,图形学技术也走向了影视、游戏等许多领域,成为了一门能够为大众所认知的“显学”。
多少年过去,吴小毛早已忘却了《指环王》的情节,然而这个画面却始终烙在他的心里,挥之不去。谁知道,这封彼得杰克逊的“来信”,开启了他后来在图形学领域的探索之路。
一般人看电影被感动了,大不了买两张海报挂在宿舍的墙上。而吴小毛却不一样,他想弄清这奇美动人的画面,是怎么被制作出来的。
于是,吴小毛坚决要学计算机。然而这时他已经在机械领域本硕读了好几年,研究生读的是工程热物理,简单来说,研究的是汽车发动机一类的东西。
跨专业考博,又是时下正热的计算机专业,吴小毛的一个室友也想考,但只觉得不现实。
而吴小毛不肯,这个计算机系的博士,他无论如何都要考上。
没条件要上;没有条件,创造条件也要上。吴小毛家里出身江西农村,身上有一股楞劲。没有电脑,他和室友就用实验室里配的电脑学编程;没有人脉,吴小毛用了几年时间,给全国各大高校的几十位博导“骚扰式”地发邮件,期待有人能看到他们的闪光点。
用吴小毛的话说,“脸皮厚”让他们的梦想得偿所愿。没用多长时间,吴小毛便拜在中国图形学领域的先行者——马利庄教授门下,在上海交通大学开始了他的博士生涯。
吴小毛在上交对图形学领域苦苦钻研,学院也看到吴的刻苦用心,给他授予了当年的“三好学生”称号。谁知,这个“三好学生”的称号,竟成为了吴小毛进入亚研的敲门砖。
作为IT技术界的最前沿,微软亚研招人的标准从来是“宁缺毋滥”。顶着“三好学生”的名号,吴小毛成功获得了亚研的面试资格。而与他一同参与面试的,几乎都是“天才”级别的应试生。
浙大“竺可桢班”、上海交大ACM国际程序设计大赛冠军队、清华复旦的优等生……和这些人同队,半路出家的吴小毛心里也犯嘀咕。在面试前,他收集了近几年他领域相关的所有论文,东拼西凑,装订了厚厚一本,沉甸甸的,拿着就让人心安。
幸好,面试官并没有单凭简历论英雄,但面试题确实铁面无情,技术问题严格且刁钻。吴小毛见招拆招,以专业素养和学术见解一一应对,最终脱颖而出,挤过了独木桥,接到了微软亚研的橄榄枝,师从中国图形学界最负盛名的学者之一——郭百宁教授。
从上海到北京,吴小毛飞机落地后,就快速进入了状态。事实上,吴小毛对我说,他可能更适应北方人的沟通方式——直接且坦率,让研究工作少了很多社交应酬。甚至北方的气候他也更习惯,“衣服晾在厕所一晚上就干了”,也让他颇感惊讶。
在亚研的工作很忙,但对吴小毛来说,算不上辛苦——毕竟他很享受这种潜心研究的状态。
当时在亚研图形学实验室,研究员们都要以实现SIGGRAPH(图形学领域的权威期刊)论文为入门基础打底工作。学术成果自然与实操不同,论文数据也并不能完全用来照本宣科。
无论论文写得多残缺,亚研的研究员都必须可以将其在软件上实现出来,这是亚研对研究员们的要求。在实验室,一般两三个人一组,来实现一篇论文的效果。
刚到北京不久,吴小毛就实现了一篇SIGGRAPH论文。过了一段时间,吴小毛又完成了另外一篇,由亚研发表的SIGGRAPH论文。
彼时,吴小毛还不知道。直到后来,组里的同事才告诉吴小毛说:“小毛你知道吗?如果当时第一篇论文你都实现不了,就要被赶回去了。”
听到这话,吴小毛心里是一阵后怕。
二、孤岛危机与“悲伤王子”
在亚研时,吴小毛也有不少与他一同奋战在科研一线的同僚。
用吴小毛自己的话说,早在那时,他就已经见识中国的世界图形学界顶级学者。
同时期,与吴小毛在亚研院的同事中,后来创业的,有光线云的创始人王锐、象衍科技的许威威,及不鸣科技的王希。
王希曾在亚研与吴小毛并肩作战。在吴小毛心里,王希想法更活跃,是天生的创业者。
一次,王希问吴小毛,未来如果离开亚研,准备做些什么。吴小毛几乎没过脑子,直接答道:“去巨头啊。”
“没出息。”王希答道。
不能怪当时的吴小毛“胸无大志”,早在十几年前,图形学领域的创业远不像今天活跃。那时的资本,更倾向于容易执行的商业模式,图形引擎这种“投资大、周期长”的科研型项目,在市场上只有遇冷的份。
尽管每天劝着吴小毛创业,王希也没有在离开亚研后直接自立门户,反而来到微软练级。2012年,羽翼渐丰的王希来到了网易体系下,创立了“不鸣工作室”,并以自研的“混沌引擎”开发了一款动作游戏《战意》,引起不少话题。
有趣的是,不鸣工作室在网易,所处在雷火事业群中。而雷火的老大胡志鹏,也是微软亚研出身。
说回吴小毛,在亚研结束了8个月的实习,他又去到法国国立计算机及自动化研究院(简称INRIA)读博士后。
读书读得越久,离开象牙塔就越容易感到迷茫。2009年,吴小毛从INRIA毕业。学术上,吴小毛已经把该读的书都读完了,人生的下一个阶段,该何去何从?
吴小毛心里清楚,自己读图形学是半路出家,在学术圈想做到第一,“血统”不够纯正,难以出头。他想有个“成为世界第一”的机会,而要拿到这个机会,必须在工业界里找出路。
这时,吴小毛接触到了一款名叫《孤岛危机》的游戏。
吴小毛这边暂且按下不表,简单聊聊当时图形学在世界范围内的发展大环境。
图形学在电影领域,技术更偏向于如何在固定的视角,呈现一个已经被编排好的画面。
而在游戏领域,交互则成为了影响图形学的重要因素。
游戏将图形学从2D拽进了3D的世界,随着视角的移动、玩家与游戏元素的互动、甚至环境的变化,从光照到渲染都需要实时变化。
虽然在当年,电影要求的效果要更逼真、细节要求更高,但玩家对游戏越来越高的需求,也带给了图形学领域巨大的挑战。
于是,游戏引擎应运而生,成为了图形学在游戏领域大展拳脚的利器。
现在提到游戏引擎,人们都会想到Unreal Engine(下称UE)和Unity两大巨头。
而13年前,今天占领了游戏引擎市场“半壁江山”的Unity还尚未出生UE就站在市场风口上的,除了98年出生的UE,还有一款名叫CryENGINE的德国产引擎(下称CE),可以与UE一争高下。
翻译者还用中文给它起过一个好听的名字——“悲伤王子”。
CE最早由德国的Yerli三兄弟创造,它最初只是英伟达用于宣传自家的技术水平,所开发出的技术演示,而产品刚刚释出便一鸣惊人。Yerli兄弟不想只为他人做嫁衣,于是继续进行CE的开发。
最终完成的第一款第一人称射击游戏,就是后来被育碧连IP带技术买走的,开放世界标杆射击游戏——《FarCry》,中译名《孤岛惊魂》。
游戏《孤岛惊魂》
CE擅长超远视距渲染,视野距离可以达到2公里,能够实现“无缝”的场景切换。
在原先的3D游戏中,人物从室内走出室外,通常需要经过一个不短的“Loading”界面,而CE完成的“无缝场景切换”,在当时的游戏开发、乃至图形学界掀起了一次革命。
今天,CE的名声虽然不如UE、Unity响亮,然而在电子游戏乃至图形学的历史上,CE却留下了不少“浓墨重彩”:从最早的《孤岛惊魂》(后来连IP带代码卖给了法国大厂育碧)、《腐烂国度》、再到后来声名狼藉的《星际公民》……
中国厂商也十分喜欢CE,畅游、蜗牛等厂都用CE开发过游戏,腾讯与卡普空合作的《怪物猎人Online》,也是用CE开发的。
而《孤岛危机》绝对是CE的当家作品,由CE的开发者Crytek所自研,几乎穷尽了当时CE的最大潜力,从光影到细节,画面令人震撼,不过也因为对硬件性能压榨过于严重,在玩家中常常被称作“显卡杀手”。
游戏《孤岛危机》
某种程度上,吴小毛是个十分感性的人。如同数年前,被《指环王》所感动看到了《孤岛危机》的吴小毛,又燃起了对Crytek这家公司的热情。
说干就干,没过多久,吴小毛就应招进入了Crytek。在这家规模数百人的世界一流引擎公司里,吴小毛是当时引擎研发部里唯一一个中国人。
吴小毛刚进入公司时,正是Crytek风光无限好的时候。
彼时,CE早在游戏业界建立起了不错的认知,当年图形学顶级学会——SIGGRAPH大会上,Crytek主持的讲座一台接着一台,甚至让不少学术界的研究人士汗颜。
要知道,如CE这么大的工程,核心开发团队不过十几个人,个个是以一当十的极客精英。每个开发模块都仅仅由一两个人负责,也不强调加班,与国内“堆人堆时间”的开发模式差异巨大。
这种自由、纯粹的极客精神,不由得让吴小毛大开眼界。在德国,吴小毛一干就是6年。
三、鲸鱼从体育馆中跃起
对游戏或图形学领域有所了解的人,大多了解CE最终陨落的命运。Crytek有一流的团队,也有好的作品,为什么最终没能打过Unity和Unreal?
在吴小毛的叙述,和从业者给出的其他消息中,雷峰网认为,Crytek的败局很可能是“成也极客,败也极客”。
一方面,在《孤岛危机》名头正盛时,Crytek没有乘胜追击,将IP的价值发挥到极致,反而转向开发了《罗马之子》等一些新的IP,甚至还分出力量做了社交类应用。旧有领域还尚未做透,就要向自己所不熟悉的领域进发,最终结果当然不如人意。
反观Epic,用了几年时间,将《堡垒之夜》做成了世界级IP,并且将这一IP与Unreal紧紧捆绑,建立了不错的品牌认知,距离C端更近,也借此更进一步,在与CE的竞争中占得先机。
另一方面,一个开发了十几年游戏引擎、接触过CE源码的老兵对雷峰网表示:CE“很技术,但不工程”。
他说,CE3的代码相当混乱,就如同是大量的技术的“一锅乱炖”,冗杂在一起,竟然还能跑起来,让人十分惊讶。
在渲染器模块里,CE居然将DX9和DX11两个不同版本的API混在一起编写,整个代码逻辑几乎不可读,更新维护起来更是根本难上加难。
“CE能做一个非常好的Demo,但要用它去按项目开发的方式,去做这种流水线式的开发,CE是做不到的。”他最后这样总结道。
Crytek热情洋溢、甚至有些放飞自我的开发模式,让CE代码的技术端十分超前,但却忽略了最重要的框架。
虽然在产品端,玩家一时看不出引擎的优劣;但在开发端,开发者们却很难把这个工具实际投入使用。
越来越少的人愿意用CE开发游戏,CE的生命力也就慢慢消亡了。
吴小毛身处其中,也自然能看到Crytek的弱点,逐渐开始动了离开Crytek的念头。
提出离职时,Crytek的CEO——Cevat Yerli也很不解:一个中国人,能在这家世界一流的引擎公司里,做到直接与CEO汇报的级别,薪资待遇也相当优渥,为什么会想要离开?
Cevat Yerli,Crytek的创始人与时任CEO
“我想让图形引擎的工具,有更多和更广泛的群体使用。”吴小毛如此回答。
尽管言之凿凿,但吴小毛还并不清楚这条路具体该怎么走。不过他心中有一个明确的方向:游戏技术的严肃化和工业应用。
可以说,吴小毛最终选择创业,是被一条视频“忽悠”了。
彼时,一家叫Magic Leap的AR眼镜公司发布了一则产品宣传片。视频中,一群学生围坐在一个体育馆里,而倏忽间,一只鲸鱼从体育馆的地板上跃出,带起惊天的波浪,又扑回地面,转眼间在水花中消失不见。
靠着这个惊艳的效果,Magic Leap给XR领域呈现了一个令人信服的愿景,收获融资无数,一时估值达到67亿美金。
然而,不少人是后来才知道,这个视频居然并非实机演示,而是一个特效“假视频”。
别人看过一次,只觉是特效惊人;吴小毛则是翻来覆去地看了许多遍,他看到的是图形学技术在非游戏领域里新的可能。
游戏技术——尤其是图形学技术——在文化作品保护、智慧城市、影视制作的领域,正越来越受到重视。
尤其是在国内行业严重受制于版号的今天,逃离游戏,可能将成为不少游戏厂商成长的“第二曲线”。
而早在Crytek时,吴小毛就开始接触,如何使用游戏引擎赋能影视行业。他曾搭建了一个叫Cinebox的团队,用CE的技术,辅助过《移动迷宫》、《猩球崛起》的特效制作。
由于影视团队大多不懂程序,Cinebox的产品也主做低代码,来让更多不懂技术的人加入CG后期制作中。
这一块,吴小毛就做了三年半。
2015年离开Crytek后,吴小毛先是在德国“招兵买马”,又回到中国拉起了一个团队,起名“GritWorld”,中文名“粒界”。
刚开始,吴小毛想复制他在Crytek组建Cinebox团队的经验,通过改造一个成熟的游戏引擎,为非游戏领域——如数字内容创作、智慧城市和混合现实等领域——赋能。
随着领域的前沿疆域被不断突破,图形学技术也再不愿被局限在建模、动画和渲染。它正在从交互入手,逐渐对计算机学科的各个其他领域提供新的视角,也为新兴硬件(比如XR)的交互,给出了新的可能性。
XR领域的交互,较之3D游戏领域更加充满挑战。XR的交互不仅是3D的交互,更是虚拟和现实互联互通的交互,相较游戏又多了一层维度。
粒界尝试过UE,也尝试过其他开源的引擎。然而这么做,一方面开发难度巨大、周期很长,另一方面公司的核心竞争力也积累不起来。
于是吴小毛又花了5年时间,一边持续做项目,保证生存;一边持续开发着自己的自研引擎。
通常认知下,图形引擎赛道早就被Unity和UE两款产品占领,前者轻量、泛用,后者精致、逼真,吴小毛想做自研引擎,凭什么和这两家引擎争夺市场?
开发思路上,粒界选择的还是傻瓜化、低代码的道路,以让创作者在没有经验的情况下,不需要学习那么多重度的复杂的功能,就能创造内容。
在XR和元宇宙正成为大趋势的当下,粒界开发的引擎工具也正超前地进行布局。做智能的引擎,以让更多使用者能加入3D内容的创作;做异构的引擎,以适配更多的终端,覆盖更多用户。
结语
与图形学结缘20年,吴小毛一路钻到了这个学科的最深处。他辗转待过两个中外的最顶尖团队,如今终于还是走在了创业的路上。
疫情前的吴小毛,每个季度至少都要飞一次德国,2020之后频率降为每年两次。光在两地隔离,吴小毛一年几乎就要有2个月的时间住在酒店里。
回到上海之前,吴小毛在杭州,和他当年在微软亚研的同僚们聚会喝茶。在朋友圈里,他写到:“想起当年半夜困了就睡沙发,醒了就继续编程,半夜还有永和豆浆,全力以赴冲击Siggraph的岁月。
“爽!”在最后,他加了一个大大的笑脸。
以下是雷峰网与吴小毛对谈的采访实录,其中有关于产学研结合和“智能异构”图形学引擎,两个方面的前沿认知和观察,雷峰网在不改变原意的情况下做了精选和整理:
雷峰网:在您看来,图形学的发展一共经历了几次大的变革?
吴小毛:在我看来,图形学的发展与人机交互方式的推进分不开。从最早的SketchPad,到Windows,再到智能触屏手机和未来的XR,图形学仍在向着更智能、更多样的方向发展。
同时,硬件的变化也是不容忽视的趋势。图形学的历史进程,与硬件的发展脱不开干系。如果英伟达、AMD晚两年推出他们的独立显卡,那么UE、CE、甚至Unity的上市都会受到很大影响。
雷峰网:那在交互和硬件仍在不断变化的趋势下,粒界的技术布局是怎样的?
吴小毛:图形引擎在接下来的下一代人机交互里面,我觉得它是一个连接器和求解器,而开发“智能、异构”的引擎,是我们的技术目标。
一方面,我们的图形引擎要深度和AI技术结合,以人机协同代替人机交互:另一方面,我们的引擎也要能够足够覆盖更多的硬件设备,以提前应对未来纷繁复杂的硬件生态。
下一代的人机交互是迭代出来的,不是被定义出来的。人和AI的维度太高了,而且应用领域也比以前更广。硬件对软件的定义作用会越来越小,而软件通过一个交互来定义,所以在未来,软件和硬件的整个生态是反过来的。
而如果没有一个智能、异构的图形引擎,下一代的交互可能永远都迭代不出来。因为开发者不知道他怎么去异构地统一调度他的资源,这样就会导致每个单点设计,他都可能会走偏掉。
举个很容易理解的例子,如果只在AR眼镜里不停迭代交互方式,那就容易面临一个问题:实际不可能把所有的计算放都在眼镜里进行,有时要在手机、PC等其他终端进行计算,否则单凭眼镜的算力难以满足轻量化和3D计算的需求。只考虑单一硬件算力的交互,从出发点上就有问题。
异构的图形引擎可以在不同的硬件上实现泛用,就避免了这个问题的出现。
所以我常说,我们在做的是第四代工业革命的第三代图形引擎。
雷峰网:在图形学发展的路上,除了企业自己实现技术升级,您认为还有哪些助力,在未来值得期待?
吴小毛:其实产学研结合,是技术发展中一个很值得关注的趋势。
当时在Crytek,我们做了一个非常酷的事情。皮克斯有一个叫RenderMan的渲染器,它的算法REYES Pipeline当时使用的还是CPU计算。我就从德国卡鲁理工学院招来了一个博士生,我们团队和他一起,将这个算法移植到了GPU上,极大提高了它的性能。
后来皮克斯的创始人,图灵奖获得者Edwin Catmull 对我们的这个项目赞赏有加,说他们皮克斯都没有实现的技术,被我们Crytek实现了。
在Crytek时,我们还与德国的亚琛工大有一个合作项目,研究关于面光源软阴影的项目。
雷峰网:那我们在中国,产学研结合做得怎么样?
吴小毛:从企业角度来看,我们产学研在中国做得并不好。
这一点其实德国人做的比我们好很多,企业和高校之间的绑定关系非常紧密,而且他们学生在大三大四的时候就会大量的实习,所以他们在掌握很强研究能力的同时,学的东西又比较实用,这种能力对于产学研结合是十分重要的。
产学研结合还很挑项目:找到一个又有研究价值,又有工程价值的项目,本身就很难。
当然,中国也有产学研结合做的很好的项目,我在上海交大的恩师,马利庄教授,就与腾讯的优图实验室有很好的合作,在今年的Chinagraph大会上还荣获了“计算机图形学杰出奖”。
雷峰网 (公众号:雷峰网)
雷峰网原创文章,未经授权禁止转载。详情见。