英伟达解决方案架构师程亚冰：用深度学习构建自动驾驶的决策网络

在7月27日由高德主办的“2017未来交通峰会——智能汽车新技术论坛”上， 英伟达 解决方案架构师 程亚冰 ，做了《 自动驾驶 的“芯”》的主题演讲，他认为：①在自动驾驶程序设计上的感知模块要利用 深度学习 里面的强化学习做决策；②L3到L4有非常巨大的计算量的提升；③自动驾驶要解决商用最基本的前提就是比人类司机更安全。以下是程亚冰演讲实录，亿欧有删减：

我来自英伟达，非常感谢高德让我在这跟大家一起分享英伟达对自动驾驶的理解，以及针对自动驾驶我们已经准备好的软硬件整套的解决方案，高德地图也是我们在中国非常重要的合作伙伴，在此很感谢高德地图。

首先讲一下我们的自动驾驶是基于 人工智能 自动驾驶解决方案，但是人工智能在我们的自动驾驶里面只是一部分。 目前人工智能确实非常火爆，从2012年在国际大赛上，基于神经网络一举夺魁，人工智能就成为各行各业研究的热点。2012年以后，基本上每年的计算机视觉挑战赛，所有的团队都采用深度学习的方法。微软公司有超深入的神经网络，当时那个神经网络图识别准确率超过人眼很多。

人工智能算法在很多领域性能方面，比人类具有更好的能力，这也是为什么现在很多行业采用人工智能解决以前解决不了的问题。

现在人工智能已经有很多机构，包括很多人工智能初创企业都在这个领域进行研发，在自动驾驶领域，包括顶级的OEM，还有一些自动驾驶的初创企业也在这方面进行研究。基本上世界上所有的研究机构和研究者，采用的人工智能的计算平台，都是基于英伟达的GPU，英伟达GPU已经成为目前事实上的人工智能计算平台的领导者。

简要概括一下关于英伟达GPU深度学习的硬件加软件。底层是GPU，我们英伟达基于深度学习神经网络的框架开发了软件算法库，可以一层一层的设计网络，而不需要每一层都编写代码。在我们提供的（NVIDIA）包括伯克利大学加州大学，还有谷歌，都是非常知名，基本上深度学习工作者和研究者所采用的深度学习框架，基于我们的硬件平台，加上我们的软件算法，以及第三方提供的深度学习框架，人工智能开发者可以开发出他们所想要的一些深度学习应用。

在自动驾驶里面主要的几个模块。其中底层汽车的车载硬件以及车上的各种传感器，我没有罗列出来。现在我们可以看到我们很多客户都在采用雷达还有各种各样的射向GPS，有的还采用红外，在传感器有高清地图定位感知驾驶，我们在自动驾驶里面是必须的产品。

大家可以设想一下中国很多路况环境，有时候交通堵塞的情况下，车左右前后被众多车包围，仅靠视距没办法获得准确位置。高清地图也是分为两种，一个是静态的，比如说像高德地图，他们可以用自己的高清地图采集车，通过车载的传感器配置，采集到数万公里数十万公里的信息，放到他们的云数据中心处理。

另外是中国很多现在城市都在大力建设发展，很多路况其实都是更新今天的道路信息可能跟明天不一样，所以说针对这种动态的高清地图，我们英伟达也有高清地图。我们看有三个层次的高精度定位，像一些比较大型的公司，尤其是高科技公司，他们目前采用激光雷达，加高精度的GTS，加上RMU通过这种定位，定位精度能达到厘米级别，但是这种成本很高，在短时间内我个人认为是看不到利用这种传感器配置商用的可能性。

一种更为经济有效的手段是很多厂家也在选用车载的（照相机）以及民用的GPS加上RMU推动这种方法结合高清地图做匹配。能够达到几十厘米的定位精度，横向定位精度可以做到一二十厘米，这在自动驾驶中是够用了。当然有一些关注于这种低成本的驾驶方案的客户，可能选择更为便宜的解决方案，以照相机为主，做一些视觉里程做定位，但是你的定位精度误差是累积的，长时间运行，定位可能已经失真了，不可信了。

感知这一块目前也是国内很多初创公司和高科技公司非常擅长的领域，也是人工智能算法应用最广的模块。 很多客户在利用他们的深度学习算法做目标的检测识别，以及追踪。现在很多客户他们的算法已经具备很强的实力了。我们认为的驾驶模块，这里的驾驶可以理解为决策、路径规划、控制这一块，我们认为它是自动驾驶里面最核心也是最复杂最困难的一个模块。 比如说以路径规划为例，假如说我要从北京到上海，基于传统的路径规划，传统的地图，其实给了我一个静态宏观的路径规划，是最短的时间到，还是以更舒适的，反正它会给你两到三条路径规划。自动驾驶里面是不一样的是自动驾驶在道路上行驶的时候，前面的行人、其他的活动物体，或者前方发生任何的事故车祸，都随时可能影响你自动驾驶的下一步的动作，所以说不仅要有宏观静态的规划还有要实时的动态规划，这一块是业界同仁们未来需要着重发展的领域。

人工智能应用于自动驾驶，我们认为主要有以下几个模块。

感知模块。 我刚才说了，这是很多公司非常擅长的领域，他们基于神经网络还有目标检测追踪。在决策这一块目前非常困难棘手的问题，就是说大部分公司还是基于传统基于规则的算法去做，比如什么情况下汽车要怎么做，但是这种规则很有限，世界上的道路状况错综复杂，不可能通过传统的。大家写程序的知道，要写多少才能把世界上的场景涵盖到。 所以要利用深度学习里面的强化学习做这种决策。

还有一些路径规划，强化学习大家可以简单理解为饲养员训练狗，不用告诉狗具体遵守什么规则，如果狗做出对你有利的动作，赏它一块骨头或者肉，它做错了，你就打它，久而久之，狗就会知道它的什么反应会让你高兴或者让你生气。强化学习这里只要对它不好的行为惩罚就可以了。但是实际场景中不可以，基于强化学习的算法还是在模拟器里面做，但是模拟器的建立是很具有挑战性的工作。怎么在自动模拟驾驶汽车上的传感器，没有很好的建模方法。

另外是说车体的空气动力学。 像很多高科技公司，对车体的空气动力学不熟悉，还有另外层面的挑战，以真实场景下的建模不可能建立跟现实世界完全一模一样的真实场景。所以说综合传感器车体动力学以及真实场景这三个因素建立一个模拟器，让自动驾驶汽车深度学习算法去学习世界上复杂万千的路况信息，非常具有挑战性，这也是大家正在研究的热点。

像高清地图，我们的合作伙伴高德，也会在自己的算法中有一部分是基于人工智能算法。比如要用到神经网络识别检测前方的物体，在检测追踪之后，你才能做一些定位信息。我们英伟达对自动驾驶，每个级别面临挑战的简要概括，前面嘉宾已经介绍各个级别的定义，我不过多叙述。

我现在想讲一下我们认为在各个等级的自动驾驶，我们要面临的挑战，在L4的自动驾驶技术里面，有高清地图模块的加入，多种多样数据整合，供做决策和路径决策规划使用。还有底层，汽车的车载硬件打交道的动态的控制，结合这个还有OTA，今天嘉宾也在强调，自动驾驶的算法不可能一步到位，要通过不停的迭代，循序渐进升级。 综合模块加起来，我们认为L3的自动驾驶所需要的计算量和数据量是（高级）辅助驾驶的5倍左右，这是我们英伟达的观点。 L3到L4有非常巨大的计算量的提升，首先是L4相对于L3是高度的自动驾驶99.99%的自动驾驶，相当于完全脱离人类司机及基本上在所有的路况中都能实现 无人驾驶 的状态。 为了达到这种目的，我刚才讲基于传统规则的算法，做一些决策控制算法已经不适用了，只能用强化学习去做，这样神经网络计算量非常复杂。

还有L3的自动驾驶，大家目前所采用的方案是一些比较浅层的网络，而且它的（摄像）1920×1080，是一张图片200万的量级，但是大家采用算法的时候，还是有几百乘几百的小型的，相对于L4很小，L4为了胜任各种各样的复杂场景，肯定你的网络规模有量的提升。

另外L4安全纠错机制是更为复杂，L4软件的框架要比L3复杂很多，为了保证完全自动驾驶要有更多的安全冗余加入其中，不可能依靠一套算法，去解决问题。假如这个算法在运行过程中失效了，随时可能车祸人亡，这个不可行，自动驾驶要解决商用最基本的前提就是比人类司机更安全，自动驾驶才能够成功。

针对L4相对L3我们认为有50倍的计算量和数据量的提升，所以针对L4巨大的挑战英伟达发布了全球第一款的车载人工智能。我们深度改进的架构，还有512GPU，是我们在今年CTO发布的最新的GPU，性能很强悍，而且其实里面加了类似谷歌TPU的深度学习加速器。另外我们的硬件平台符合最高安全凌玉姬所以我们这款芯片能在30瓦的功耗的情况下达到30TOPS的处理能力，相当于好几十个高性能服务器的处理能力，是高性能的怪兽。

英伟达自动驾驶整套解决方案，比如高清地图采集到的数据之后，可以在我们的英伟达GTU上做创建，创建好神经网络模型之后可以部署做处理，我们集中网络，我们英伟达自动驾驶整套的软件加硬件解决方案。针对L3L4计算量要小一些，我们推出PX2，在硬件平台之上，我们推出整套软件解决方案。我们整个平台在硬件平台上，基本上所有的算法一些东西，在我们软件自动驾驶解决方案里面，人工智能技术只是其中之一，而不是这个平台是全人工智能。我们是为了保证自动驾驶的安全性，有非常复杂的安全机制保证软件的安全性，不是人工智能从头到底就这一条线。

针对其中深度学习的东西，它包含四种神经网络，一会我会详细介绍，还有辅助驾驶行为，比如像在车内加一个相机，可以识别驾驶员的门部表情唇语，还有做驾驶员疲劳驾驶的检测，还有NLUDNN自然语言处理，还有高德推出的高清采集绘制的，还有像高德这种合作伙伴建立和良好的合作伙伴关系，在高清地图上进行开发。我们的软件从底层操作系统到基本的开发工具链等全套的解决方案，另外包含了传统的计算机视觉的算法。

我们软件协议站里面是四个神经网络，DriveNet可以识别车辆行人自行车等信息，还有Lanenet识别车道线还有识别前方区域的神经网络，这三种都是一个模块一个模块的性质，还有最右下角端到端的，还有传感器拿到数据之后，通过学习你驾驶员的行为，直接输出的决策控制这种，跟汽车底层打交道的，我们的这些算法。我们跟全球顶级的OEM达成合作伙伴，包括丰田、奔驰、沃尔沃、奥迪等，在座有很多都是我们的合作伙伴和好朋友，我们跟全球顶级的Tier1合作，一起推动开发自动驾驶的平台。