英伟达8年自动驾驶之路：拖沓的奔驰项目，救火的吴新宙

“为什么老黄偏偏看中了吴新宙？”“自动驾驶部门会重组吗？”“奔驰的项目终于有救了？”

在英伟达内网社区里，各种各样的疑问不断涌现。而引起热议的正是这张拍摄于英伟达大楼的三人合照，照片上的何小鹏、吴新宙、黄仁勋都笑意盎然。

何小鹏千里送吴新宙，黄仁勋喜添猛将。站在两人中间的吴新宙，身上却有千斤担。从入职英伟达第一天起，吴新宙似乎就明确了自己的核心KPI——他必须想方设法，带领英伟达的自动驾驶团队，在明年中旬如期交付奔驰的合作项目。

吴新宙还未加入英伟达之前，Autonomous Vehicle（自动驾驶）部门一直是英伟达内网社区里的众矢之的，“奔驰项目”的拉胯是核心原因。

2020年6月，英伟达和奔驰官宣合作，英伟达将为奔驰的下一代车型提供AI软件架构，包括了自动驾驶软件方案、智能座舱等。

在此之前，英伟达和奔驰已经有密切的往来。黄仁勋用一套PPT打动奔驰CEO的故事，更是在圈子里广为流传。

达成合作后，奔驰的高管经常出现在英伟达的GTC（开发者）大会上。黄仁勋也多次高调为奔驰站台，频繁出现在奔驰新一代S级车型的宣传物料中。2022年5月，英伟达的财报会上，黄仁勋更是隔空喊话：

“奔驰CEO康林松是一个梦想家。”

黄仁勋之所以对奔驰的项目着急，是因为英伟达和奔驰合作，既不是按照工程收费，也不是按照IP授权收费，而是在基础的研发费用外，再按照奔驰新产品的销量来分成——奔驰的新车卖得越好，英伟达赚得越多。

左：奔驰前CTO Sajjad Khan，右：英伟达CEO黄仁勋

放眼奔驰乃至汽车发展史，从来没有一家头部的主机厂和合作方采取按销量分润的模式。在供应商们看来，主机厂们的姿态永远高高在上，想要从它们手里分润，简直是天方夜谭。

奔驰给了英伟达最大的诚意，英伟达却没拿出像样的产品。

今年，在一次给奔驰展示实车的辅助驾驶能力时，英伟达自动驾驶团队翻车了。侧后方倒车连试了几次都没成功，现场气氛降至冰点。

此时距离英伟达接过奔驰下一代车型的自动驾驶研发项目，已经过去将近三年。黄仁勋还没找到人灭火，奔驰就主动提出解决方案：“不然让Momenta来负责这代车型中国市场的自动驾驶研发，剩下的研发仍交给英伟达？”

鲜为人知的是，2020年Momenta在德国设立了一办公室，又派了近200人的团队到欧洲，为的是在奔驰的老家安营扎寨，贴身服务。

原本拿下奔驰全线项目的黄仁勋，又怎么甘愿让早有筹谋的Momenta中途截胡。吴新宙，毫无疑问成为了“皮衣杀手”黄仁勋牌桌上的关键筹码。

端到端、无图城市NOA，英伟达赶了两次晚集

英伟达和汽车的结缘是一次偶然。

江湖传闻，大约在2011年，大众研发部门的人用英伟达的SoC芯片，把Google 的三维地图直接搬到车内的显示屏上，此举大获成功，并且顺利进入了奥迪的产品规划。

英伟达的人都没想到，原本一直赔钱到差点被叫停的SoC芯片突然有了需求，一夜之间打开了汽车行业的市场。

可惜好景不长，英伟达的SoC芯片功耗太大，最后这个领域被高通拿下。黄仁勋见状立即调转了舵向，决定不在低端芯片内卷，要做更难的自动驾驶芯片。

2015年，在英伟达内部，一个名叫“计算机视觉”的小团队成立，当时这个团队仅有20多人，干的却是自动驾驶系统研发。

后来，“计算机视觉”团队不断壮大，正式改名为 “Autonomous Vehicle”。黄仁勋把这次“偶然”变成了一项新业务的“冒险”。

曾在百度自动驾驶、和英伟达接触颇深的老霄告诉雷峰网，早在2015年英伟达就有人提出了采用“端到端”神经网络的自动驾驶，并且有了初步的demo。

老霄感慨：“我们当初试过英伟达的demo，拿它做了端到端的泊车。后来尝试的人越来越少，因为没有人知道端到端神经网络真正的工作原理。直到今天，黑盒也没有完全变成白盒。”

即便英伟达起了大早，但是提到“端到端神经网络”，大多数人最先想到的却是特斯拉。尤其是今年8月末，马斯克在硅谷的街道上直播测试特斯拉FSD Beta V12，该系统被视为全球首个端到端AI自动驾驶系统，引来了4000多万人线上观看。

虽然英伟达和特斯拉实现“端到端”的具体方案不同，但大致的思路相通，两者都以仿生学的人工智能为终极目标，让自动驾驶系统做出的每个决策都不受规则束缚。

在学术圈，获得今年CVPR的最佳论文也和“端到端”自动驾驶相关。这篇最佳论文是由上海人工智能实验室主导研究和撰写的《Planning-oriented Autonomous Driving》（简称UniAD），该论文提出了一个自动驾驶领域端到端的感知决策一体框架。

产业界和学术界一同把“端到端”自动驾驶推向了神坛。可最早提出“端到端”自动驾驶的英伟达，却没有把“先驱者”这个标签贴牢在自己身上。

除了端到端的自动驾驶，无图城市NOA系统的落地同样无疾而终。在2019年GTC大会前，英伟达自动驾驶部门的L4小组已经能做出比较丝滑的无图城市NOA系统。同时，该方案能可以在仅用毫米波雷达的情况下，进行夜间行驶。

经黄仁勋钦点，这个demo被专门放在了当年GTC大会的keynote上，为英伟达赚足眼球。但当时许多已经可以实现的功能至今都没放在车上。 （更多细节，添加微信WLX_Charlene_0905交流）

拥有超前的构思，能做出两三个不错的demo，但还不具备量产落地的能力，英伟达自动驾驶团队有点令人惋惜。

黄仁勋为什么不死磕自动驾驶？

“英伟达的自动驾驶系统做不好，可能是黄仁勋也没有想的很清楚。”

今年年初，吴新宙和友人交谈时，曾给出一个类似表述的评价。英伟达收购DeepMap后的操作，是黄仁勋还没想清楚如何排兵布阵的一个佐证。

2021年6月，英伟达收购了高精度地图初创公司DeepMap。该公司成立于2016年，其定位是高精度地图行业的“SaaS”公司，为客户提供包括硬件、软件解决方案、现场数据采集服务的服务，可以将客户的自动驾驶车队数据转化为高清地图。

收购DeepMap之前，英伟达内部已经有好几个做地图和定位的小团队，只不过分散在各业务部。自动驾驶部门一直有人提议，“我们做不好还不如直接收购DeepMap”。

大多数业内人士对这次收购不算意外。黄仁勋和DeepMap的创始团队熟识已久，英伟达既是DeepMap的客户，又参与了DeepMap的B轮融资。

原本大多数人都以为，DeepMap被收编后，英伟达内部做地图和定位的团队会和DeepMap团队合并到一起。但合并一事只有传闻，没有下文。（ 关于DeepMap的故事，可添加微信WLX_Charlene_0905了解 ）

黄仁勋的举止令人费解，因为资源浪费、重复造轮子在英伟达是少有的，尝试新业务、快速纠错才是英伟达的常态。黄仁勋有几条沿用至今的管理哲学，都是在英伟达数次濒临倒闭，涅槃重生后悟出来的。其中，最经典的一条是：“我们要成为最伟大的公司，要做难的事，要去冒险”。

他还信奉这样的员工管理理念：我会尽全力给你创造一个安全的环境，因为人只有在安全的环境中才有创造力，才愿意去冒险。

所以，英伟达从来不会主动开人。即使是2008年经济危机时，黄仁勋也没有通过大规模裁员来降本，而是选择了包括高管在内，所有人集体降薪10%。

作为英伟达的舵手，黄仁勋的管理风格似乎是割裂的。他对VP很“残暴”，但对工程师态度却春风和煦。以至于有一种说法，在英伟达当工程师的幸福指数远超VP。

比如，某次自动驾驶的测试，黄仁勋坐在后排，一位负责汇报进展的工程师，突然被黄仁勋质问：“这项功能是不是以前就有？”对方含含糊糊，不敢正面回答，生怕没有新进展而被黄仁勋责备。

黄仁勋没有当即发火，一边听着对方支支吾吾地解释，一边耐心地再问了两遍同样的问题，对方才得要领，不再回避。

对待VP们，黄仁勋又是另一幅面孔，他要求高且极其严苛，VP们没把事情做好会被他骂得狗血淋头。

因为黄仁勋不喜欢听“promise”，不喜欢虚头巴脑的汇报文化，他不要求下面的人事事都要写详细的计划，但要求他们做到最好。

可为什么同样的管理哲学，放在自动驾驶部门身上却偏偏失灵了？

在英伟达前员工蒙怊看来，其一是黄仁勋没有拿出死磕到底的精神，其二是黄仁勋手下没有几个得力干将。

最核心的问题是，自动驾驶业务并不是英伟达的核心业务，GPU才是。

尽管外界尽力把自动驾驶业务描摹成英伟达的第二增长曲线，实际情况却是，汽车业务的营收的占比还不到总营收的5%。自动驾驶的成败与否，在现阶段不会从根本上危及这家巨头的基本盘。

当然，这种现象并不会是英伟达一家独有。放眼全行业的CEO，把大部分精力放在强势业务上，是一个必然之举。

至于缺少得力干将，正是吴新宙加入英伟达最重要的意义。吴新宙不仅要在管理上为黄仁勋排忧解难，而是协助黄仁勋重新梳理英伟达自动驾驶业务的定位。

优化组织结构，英伟达自动驾驶的必修课

吴新宙加入英伟达，协助梳理业务，或许要先优化一下略显臃肿的组织。

一般来说，英伟达的组织架通常是，一个部门由一个SVP统管，SVP向黄仁勋直接汇报。而SVP之下会设置几个VP，比VP低一级的是senior director。

但自动驾驶部门的组织架构是按照产品线来划分的，分为应用软件、DriverOS、神经网络训练、地图和定位等多个大组，每个大组都有不同的负责人。

结果就是，自动驾驶部门有20多个VP，跑一个测试任务，会出现3个VP一起坐在车上的景象。

在英伟达内部，和芯片相关的团队总是“不动如山”，几个SVP都是和黄仁勋一起打江山的元老，位置稳坐二十多年。而自动驾驶团队却频繁换帅，从两、三年一换，变成一年一换。

这些负责人中，有从英伟达内部调任，也有从外面花重金请来。

2016年左右，英伟达自动驾驶团队正式成立。过了一年，黄仁勋挖来了计算机视觉领域的技术大牛David Nister，让其担任自动驾驶部门负责人。

加入英伟达之前，David Nister曾先后在微软、特斯拉任职。在微软任职8年里，他曾对微软搜索引擎Bing的视觉、音频等方面作出贡献。

2015年，马斯克为了组建特斯拉Autopilot团队，挖来了不少大牛，David和传奇架构师Jim Keller几乎同期加入。David出任特斯拉自动驾驶副总裁后，亲手搭建了特斯拉自动驾驶视觉团队。

正是因为特斯拉的那段从业经历，让黄仁勋很看好在学术和产业都颇有建树的David。再加上，彼时业内既懂计算机视觉又对自动驾驶领域兴趣浓厚的人才，一票难求。

David担任英伟达AV部门负责人后，在原来的基础上搭建了一个L2级自动驾驶的团队。

而后的三年里，David曾带领团队尝试过较为激进的技术方案，该方案可以在不需要高精度地图支持的情况下，能让工程车在硅谷101高速公路上正常行驶。唯一的缺点是，测试时自动驾驶系统总是不够稳定。

2019年英伟达GTC 19，AV团队成果

英伟达自动驾驶团队内部的早期成员对David的评价很复杂，毋庸置疑的是，他是计算机视觉大牛。在管理上，David比较细致，但偏学术。

2020年前后，黄仁勋亲自上马为英伟达拿下奔驰的独家合作项目后，David逐渐淡出。有一段时间，英伟达自动驾驶团队群龙无首，有些中层会挂靠在其他条线，干自动驾驶的活。

David掌管英伟达自动驾驶部门前期，多数人都愿意冲锋陷阵、卷技术。因为一旦有成果就会直接得到黄仁勋的肯定。

2021年，黄仁勋重整自动驾驶团队，英伟达开始了新一轮招兵买马，在市场上搜刮了一批自动驾驶人才。与此同时，一位前英伟达人——Sarah，填补了自动驾驶团队“应用”负责人的空缺。

右一为Sarah

“二进宫”的Sarah，早在18年前（2005年）就曾以实习生的身份加入英伟达。最初英伟达开发技术团队担任软件工程师，和客户一起优化游戏性能，比如实现游戏中的流体渲染。

Sarah也是英伟达“计算机视觉”团队的早期成员之一，曾担任自动泊车的技术主管。她中途跟随英伟达自动驾驶部门的一个VP跳到了无人车独角兽ZOOX。Sarah在ZOOX待了6年，ZOOX被亚马逊收购不久后，她又回到了英伟达。

对于黄仁勋来说，Sarah至少是自己人，知根知底。后来，Sarah逐渐统管整个自动驾驶团队。（ 更多细节，添加微信WLX_Charlene_0905交流）

不过，Sarah管理上，也略显粗放。她不是一个铁腕的管理者，如果下属没有如期完成任务，Sarah并不会直接冲人发火，勒令其加班加点赶工，只是口头上教导下不为例。

从David时期到Sarah时期，英伟达自动驾驶团队从几十人扩大到几百人，最后变成了如今上千人的团队，但是却有着“事倍功半”的反面：做出的方案放到测试车上跑，有时连最简单的LCC走直线都会出问题。

以测试为例，为了提高自动驾驶系统的泛化能力，大规模的测试是不可或缺的一环。

吴新宙在小鹏时极其重视路测，“测试不能停”是一条铁律。2022年疫情严峻时，吴新宙早在广州封城之前，就把几个车队派到深圳和上海做测试。

英伟达却不是如此。多位自动驾驶部门的员工向雷峰网表示，他们大多数时间在车库做测试，而不是在开放道路上做大规模的路测。

“自动驾驶团队的紧迫感不足”是多位受访者达成的共识。和国内那些坚持“大小周”，甚至是“007”的自动驾驶软件研发公司不同，英伟达自动驾驶部门没有加班文化。

英伟达自动驾驶前员工范一奇表示，在初创公司待过的人很难适应英伟达自动驾驶部门的风格。在初创公司做事追求速度，每个人都要快速响应，不能因为一个人进度慢而拖累团队。

而在英伟达做自动驾驶，个人的工作感受和权益被强化，完成不了上级交代的事情，不会成为个人被诟病的直接原因。以至于有一批“外来者”，因为忍受不了这种工作氛围，入职数月便匆匆离开。

在不少接近英伟达的人看来，如果黄仁勋裁掉英伟达自动驾驶团队80%的人，效率反而会提高。比如，同样位于美国的特斯拉，其自动驾驶研发团队才不到200人。

人多，有时候并不会力量更大，关键是要找到拧紧麻绳的那股力量。

吴新宙是不是黄仁勋苦寻的“救世主”？

2023年2月初，春寒料峭，上海的大街上人潮涌动，大多数人还沉浸在过完春节的松弛感之中。

吴新宙难得在国内和老友们吃饭叙旧，神经不再紧绷。友人们能明显感受到，他身上有种异于往日的松弛。

那时，只有寥寥数人知道他又一次走到了抉择职业生涯的岔路口。左边是万亿美金市值的英伟达，右边是还没有脱离危险期的小鹏汽车。

去留一念之间。

旁人都能看出来，吴新宙对小鹏有所留恋。对他而言，加入小鹏汽车的这五年，是遂了在高通后期未了结的心愿，成功从芯片正式踏入自动驾驶，证明了自动驾驶升维路线走得通。

吴新宙与何小鹏

在投资人圈子里，从2022年底就有吴新宙打算离开小鹏的传闻。今年年初，小鹏自动驾驶团队变阵的消息陆续传出，而后立刻有敏锐者四处打听吴新宙的动向。

一位接近小鹏的投资人表示：“甚至吴新宙要把家人安置在哪里，我都听到了两个截然不同的版本。”

关注吴新宙的不止投资人，还有英伟达的CEO黄仁勋。

不得不提，吴新宙和英伟达的缘分，是到了小鹏后才结上的。

谈及对吴新宙的印象，那些和他有过接触的英伟达人纷纷表示，“第一次和吴新宙打交道，就觉得他是个狠角色。”

很快，吴新宙给他们带来了第一次震撼。2020年，P7上市时，小鹏在英伟达仅有30 Tops算力的Xvier芯片上实现了L2级自动驾驶量产。

“小鹏在Xvier上用了两个激光雷达、 6 个摄像头的方案，没想到居然真的成功了。我们根本做不出来。”英伟达自动驾驶部门有人如此评价。

更何况，吴新宙做到这一步只用了一年。

吴新宙给英伟达的第二次震撼，是他带着近千人团队，在两颗Orin X芯片上跑通了不依赖高精度地图的XNGP。在行业内，“吴新宙”这个名字逐渐响彻，并且最终传到了黄仁勋的耳中。

吴新宙曾经向友人说过，“无人驾驶一两年以后再落不了地，肯定就挂了。接下来是强者更强、弱者更弱的世界。或许前三名还有希望存活下来。”

意识到奔驰的合作项目可能会遭遇滑铁卢后，黄仁勋很快就找到了吴新宙。不过，和黄仁勋一对一地聊完后，吴新宙并没有立即接过对方抛来的橄榄枝。

期间，吴新宙接触过VC，透露过自己想要创业。高通现任自动驾驶负责人曾是吴新宙昔日下属，也向吴新宙发出回归的邀请。

吴新宙这边，经过一番深思熟虑后，才在今年2月接过了英伟达的offer，决定离开小鹏。

知道吴新宙的选择后，何小鹏意外地答应得很痛快，只是让吴新宙留出小半年的交接时间，把中、美两边的团队安排妥当。 （更多细节，添加微信WLX_Charlene_0905交流） 甚至今年8月24日，吴新宙到英伟达报道，何小鹏还亲自把他送到黄仁勋跟前。

雷厉风行的吴新宙，前脚加入英伟达，后脚立即飞到了北京。

他把在小鹏的那股狠劲儿，原封不动地带到了英伟达。新官上任，压力迅速蔓延开来，英伟达自动驾驶研发团队一改往日到点下班的工作节奏，北美团队也连续几天都加班到凌晨。

吴新宙的打算是，先在国内招200个人，组成精锐部队，用国内的团队卷北美的团队。他深知，奔驰的合作项目是他在英伟达站稳脚跟的第一仗，只能胜不能败。

雷峰网了解到，今年8月18日英伟达已经通过官方渠道发布了自动驾驶感知、地图和定位算法、规控、测试、Tegra、AI基础设施等在内11个团队的岗位，base在北京、上海、深圳三地。

不可否认的是，吴新宙自己将化身一条鲶鱼，在英伟达自动驾驶的水里掀起一波水花。

认识作者，看本文更多隐藏内幕可添加作者：WLX_Charlene_0905， 主编：Gru1993交流。后续，雷峰网 (公众号：雷峰网) 将推出“小米汽车和小鹏汽车必有一战？”话题文章，感兴趣的读者欢迎来聊。

雷峰网原创文章，未经授权禁止转载。详情见 转载须知 。