轻舟智航钱祥隽：NOA，新的兵家必争之地

几年来智能驾驶成为汽车行业的焦点，随着软硬件性能的提高，厂商们也开始了向更高级别的自动驾驶迈进的研发之路。

从简单的控制汽车横纵向移动到点对点自动驾驶功能的完美实现是众多汽车厂家及供应商钻研的方向。

在一定程度普及ADAS功能后，依靠高精地图导实现自动驾驶的领航辅助驾驶（NOA）开始慢慢的出现在大众视野里。

这其中不乏有些玩家是从L4赛道上切入进来，那么从更高级别的技术层来到NOA这个赛道，他们又会面临怎样的境况呢？

雷峰网新智驾邀请了轻舟智航PNC算法总监钱祥隽来进行业内分享。以下为钱祥隽的演讲内容，雷峰网 (公众号：雷峰网) 新智驾进行了不改变原意的整理：

大家好，我是钱祥隽。我在轻舟智航从事自动驾驶决策规划和预测算法的研发工作。或者换一个形象的说法，我的工作是让公司的自动驾驶系统的大脑变得更加的聪明。

今天很荣幸能够有这样一个机会去做一个题目为“NOA,新的兵家必争之地”的直播，来和自动驾驶行业以及对自动驾驶感兴趣的朋友们分享一下关于高阶辅助驾驶上的一些思考。

在正式开始之前，请允许我简单地介绍一下轻舟智航：轻舟智航是一家以将无人驾驶带进现实为使命的自动驾驶通用解决方案公司。自2019 年成立以来，我们拥有一支轻、快、高效的科技型自动驾驶团队，以L4级自动驾驶技术起步，但是现在已经不仅仅是一家 L4 自动驾驶公司；我们坚持以技术和商业化并重的发展思路，实现自动驾驶系统的广泛落地。

我们的代表产品是「轻舟乘风」高阶辅助驾驶方案，专门为前装量产而生；另外我们还有代表着公开道路L4级自动驾驶能力的龙舟系列自动驾驶小巴。

今天我想和大家分享 4 个部分的内容：

1.NOA，新的兵家必争之地

2.NOA技术路线：百花齐放

3.L4公司切入L2++：机遇和挑战

4.乘风：轻舟L2++解决方案

NOA，新的兵家必争之地

市场的一些分析数据显示，越来越高阶和智能的辅助驾驶目前已经成为了汽车高端智能化的大势所趋。

左边的数据显示，到2025年，L2以及以上的辅助驾驶的市场渗透率将上涨到40%。右边的数据可以看到，很多消费者越来越关注车辆智能化，在减少疲劳、解放双手、增加安全性等方面的一个能力，说明辅助驾驶能力带来的价值也是越来越受到重视，逐渐成为了一个众望所归。

辅助驾驶有着很悠久的历史的，从 20 世纪 90 年代的辅助驾驶萌芽起，随着整个汽车的电子电气化、电动化以及智能化的发展，辅助驾驶的功能的复杂度和能力其实也是快速的提升。

从最早的警示类系统，像交通标志识别，车道偏离预警，到后面的安全干预类，像AEB、LKA，再到舒适性，像ACC、LCC，再到最近大火的NOA，也就是我们经常说的领航辅助驾驶。

整个辅助驾驶系统的研发速度在不断地加快，新技术上车的时间也在不断地缩减。AEB 从发明到普及花了大概十多年的时间；现在类似于自动变道这些功能的NOA，从 2019 年特斯拉第一次 release 给大家，到现在国内的各个车厂的积极跟进和一些走的快的造车新势力的量产，只花了不到 4 年的时间，所以整体的技术迭代是在不断地加速。

大家都讨论NOA领航辅助驾驶，怎么去定义这个NOA呢？NOA其实是特斯拉最早在 2016 年的时候提出的一个概念，用在他们的车上。当然不同的公司其实是有不同的对领航辅助驾驶的叫法，比如说像NGP，NOP等，但总的来说，这些缩写指的是让汽车或者让汽车的控制器去控制油门、方向盘、转向灯，实现点到点的辅助驾驶功能。用户只需要去监控或者在某些情况下去确认和接管。

NOA的Operation Design Domain，也就是设计运行范围。每家公司的定义都不完全一样，但总体来说遵循着从高速到城区的逐渐高阶，逐渐复杂的一个过程。

一开始会提供在高速上的跟车、变道、避让等功能，现在走得快的公司其实已经能够提供城区的一些行车功能，像行人避让、入口通行、环岛行驶、拥堵路段通行等。

那整个辅助驾驶系统的开发，其实是一个巨大的产业链，从传感器到芯片到软件系统.

主办方在关于辅助驾驶的talk这个系列里，也邀请到了整个产业链，产业链由上至下的不同的公司。那在这里我们其实主要关注的还是NOA的软件系统提供商。

NOA的软件技系统提供商在国内也是包括各种各样不同背景的公司。从传统的Tier 1，到造车新势力的内部自研团队，到车企研究院，再到之前在AI领域，通过AI切入辅助驾驶，再到一些一直深耕在L2或L2+的一些创业公司，最后再到L4的自动驾驶公司。

这些不同背景的公司，乃至同样背景不同的公司，对NOA的理解，或者采用的技术，都有可能很不一样。

这里还提到的一点是，可以简单地估算一下整体的市场容量。在最理想的情况下，中国去年销售了 2500 万台车，假设整个自动驾驶软件系统是2000人民币，市场容量大概是 500 亿。所以预期未来的自动驾驶软件系统市场，会像现在电车市场一样，有着相对来说比较残酷的竞争以及整合。

众多玩家都在这块兵家必争之地上，那么整个竞争会怎么开展呢？我们主张NOA的目的，是实实在在为用户去带来价值，这个价值可以分成3个层次——能用、好用和爱用。该分类是根据技术的发展阶段，还有辅助驾驶的适用范围去做的。

能用就是可以使用一个基础的高速NOA体验，在路况条件较好的情况下，能够提供一个可用的辅助驾驶选择。

好用是能够达到较好的高速NOA体验。接管率较低，在绝大部分高速的场景下都可以启用，在部分较好、条件较好的城市路段也能启用。

最后最高的一个层次就是爱用，能够实现较大ODD范围内的城市NOA点到点的自动驾驶，能够在广泛的场景下达到一个很好的驾驶的体验，让整个辅助驾驶像帮助开车，让开车像打车一样轻松，形成用户对辅助驾驶的使用产生依赖。

那么怎样能够让用户对辅助驾驶做到爱用的层次？那就需要把城市NOA做得非常非常好。

NOA技术路线：百花齐放

在介绍具体的技术路线之前，简单地介绍一下辅助驾驶系统车载端（onboard）的整体架构。

用轻舟智航举例子，我们的辅助驾驶硬件部分主要是由地平线的双征程5平台以及各类的传感器组成。

构建在硬件平台之上，有一个中间件部分，底面包括底层的 Linux 操作系统和实时补丁，我们的消息中间件以及一些系统监控的中间件。功能模块，就是我们相对比较熟悉的感知模块、地图模块、预测模块、决策规划、定位控制底盘等功能模块。这些功能模块共同支撑起了我们在应用层上各类的L2的辅助驾驶功能。

今天我们希望能够着重去讨论一下这几个模块：传感器、感知、地图和决策规划它们里面的不同技术路线。

· 传感器

在传感器层面，除了特斯拉，一般都选用多传感器组合。其中主传感器一般选用摄像头，因为摄像头能够对车辆周围进行一个相对比较好的视觉感知。

另一个常用的传感器是激光雷达，它的主要优势是能够提供一个精确的深度信息，因为其激光点云的特性，能够很好地捕捉到视觉没有明确分类的一些路上障碍物，像一些地面凸起等。

还有常用的是毫米波雷达。现有的毫米波雷达主要优势在于对车辆的速度的直接测量，以及对于恶劣天气的一些抗性。但是它的雷达点云相对比较稀疏，对障碍物的细节捕捉不是特别好。

除此之外，也有一些其他辅助的sensor，像超声波等。

在传感器的选用层面，特斯拉和中国厂商有着很明显的区别。Elon Musk一直推崇所谓的“第一性原理”——如果人能够通过一双眼睛去实现环境感知，那么机器依赖摄像头加深度学习算法就也可以做到。所以特斯拉当前的传感器架构是一个基于8V（8个摄像头）系统的架构，通过此系统，能够实现高速和城市的NOA，或者叫FSD。

我们对中国市场的主流方案也做了一些调研，中国市场可以分成低、中、高三个方案。

低配方案一般由单目前视摄像头加上多个毫米波雷达组成，能够实现AEB、ACC和LCC等功能。如果把毫米波的数量增加到覆盖侧方和后方，也可以实现一些基本的NOA功能，但是因为毫米波的特性，对侧方的检测有一定漏检的可能，所以在NOA变道时，为了安全起见，会需要用户去做确认。按照我们的定义，这类高速NOA可以认为是属于“能用”阶段。

中配一般是多摄像头视觉加毫米波的方案，通过多个摄像头去做360度的视觉覆盖，再通过毫米波去辅助，能够实现高速NOA和城市NOA功能，结合较好的算法能力，能够实现“好用”甚至“爱用”的一个目标。

最后高配一般会在中配的基础上增加1-3颗激光雷达，激光雷达一般会排布在前向和侧前向，进一步增强整个传感器的冗余和对一般障碍物的检测，提供更好的安全性。

· 感知算法

选定传感器之后，重要的工作是把传感器的输入，内化成自动驾驶系统对环境的理解，这就需要感知算法。

在这里主要讨论作为主传感器摄像头感知算法和多传感器融合算法的一些不同技术选择。

在视觉3D感知的早期主流方案就是单目3D，去年的很多量产方案都是用的单目 3D 的方案。单目3D通过2D做障碍物的检测，使用一些接地点、平面假设，通过深度估计的方法把2D障碍物投影到一个3D空间。

如果是多摄像头系统，就会分别用这个方法把不同摄像头的单目检测结果汇总到一起。

以上方法经过多年的打磨，目前已经是比较成熟。以前的一个很重要的问题就是2D到3D投影假设不成立，比如像平面假设。

我之前的工作经历，有过跟车的问题，如果车用非常快的速度去接近静止的前车，那我们检测摄像头检测到前车，就要开始刹车，如果刹车比较猛，车身就会开始点头，车身会往前倾，一旦往前倾，前车在摄像头的位置上就会往上移动，整个平面假设就不成立了，因为车是一个倾斜状态。

随着汽车刹车点头，前车的检测就往远方去了，系统检测不到前方障碍物就不去刹车，继续向前行驶。向前行驶状态下汽车恢复水平状态，又可以检测到前车，如此反复会导致系统作出多次连续急刹现象。这是三四年前研发时的一些问题，是自动驾驶的田园时期。

现在这些问题可以通过各种各样的方法解决，包括后处理。现在单目感知做得很好的同行，后处理代码相对来说是非常的多，会用各种各样的办法去解决这些单目所遇到的问题。

最近，随着整个AI算力的增加和Transformer结构的流行，多摄像头的BEV算法迅速得到了很大的重视。简单地说，BEV算法就是把多摄像头的图像投射到一个俯瞰的空间之后再去做检测。

BEV最大好处是能够学会投影的一些参数，只要数据够多，那能够学会各种驾驶情况下的3D环境感知。

BEV也存在着算力消耗大、整体检测距离相对较短的问题。这个检测距离较短主要是因为要构建一个Feature Map，Feature Map 如果特别大，整体的性能会受到一些影响。

在单目3D时代，把多个传感器的数据分别用规则或者模型去计算，再整合到一起，每个传感器独立的Pipeline提供了较好的鲁棒性和冗余。这种后融合方案一直受到欢迎。

除此之外，前融合是把传感器的数据先做时间同步整合到一起，再进入模型。在最近 BEV 大火之后，前融合受到了更多的关注。因为在视觉图像到了BEV的俯瞰空间后，它和激光雷达点云的前融合变得相对来说很自然，效果也的确很好。

传感器失效和冗余也是要考虑的，因为把所有的数据都输到一个前融合里面，如果传感器失效，怎么去处理也是一个非常重要的一个问题。

· 地图

车跑起来除了需要能够理解环境的动态元素外也需要理解静态元素——地图。

对地图的使用也有多套的技术方案。从最早的单目3D车道线检测，和之前的单目3D有点类似，有时也会共享一个backbone。单目3D车道线检测，能够支持高速的巡航以及变道。但对于上下匝道这种情况，由于一般单目3D车道线检测会有一些车道线是互相平行的假设，那就会出现问题。一些高速LCC的车辆，在下匝道时，对匝道的车道线检测会有发生异常的情况，此时如果有车道线检测，基础的辅助驾驶功能体验就会得到提升。

除此之外，高精度地图也是十分重要。可以事先采集道路情况，提供一个精确的地图。

在高速上，很多图商都实现了全国覆盖，使用效果也很不错，能够达到好用甚至爱用，但在城区采集，整体成本就上升了很多，而且城区道路变化多，经常有临时修路，过度依赖高精度地图会带来一些安全问题。

地图层面最近的进展是BEV在线建图，这个跟之前提到的的视觉BEV大模型也是分不开的：通过最新的深度学习方法，可以实时在线预测出道路的情况——包括车道的连接关系，配合普通的车载导航，就能够实现NOA。BEV在线建图再一次体现了第一性原理的强大之处。这个算法轻舟也是取得了较大进展，最近轻舟发布的NOA方案——轻舟乘风正是基于此算法。

· 决策规划

决策规划是自动驾驶的大脑，它决定了车辆在短期和中期的驾驶行为。自动驾驶的决策规划会根据环境障碍物和地图的信息规划未来数秒的轨迹，然后将轨迹传送到控制模块进行跟踪。

最早的辅助驾驶中其实不存在轨迹的概念。在高速公路上，最早的辅助驾驶通常通过自车和前车的位置差以及速度差来计算自车的目标加速度，并直接使用PID控制器进行跟车。同时，在横向上可以控制车辆跟踪当前车道的中心线，这种方法可让车辆保持在车道中心。这种控制方法还可扩展到变道，只需逐渐将整个中心线从当前车道移到目标车道即可实现变道功能。

这样可以实现某种意义上的NOA。这种方法相对简单、高效、鲁棒，一些量产的低算力平台很可能采用这种方法；但在复杂的路况下，这种设计可能会比较困难。

除此之外，时空解耦是常用的方法。时空解耦方法首先规划路径以绕开静态障碍物，然后规划速度，并将路径和速度结合起来。整体效果相对不错，但在高动态场景或城市中需要路径和速度配合的情况下就比较难取得较好的效果。当然，我们也可以通过规则以及各种各样的近似方法在时空解耦的基础上考虑一些时空联合问题，但是在代码层面或者规则层面就需要花大量的精力。

轻舟智航采用自研的时空联合规划算法，在三维空间中进行规划，可以较自然地处理各类动态和静态障碍物。当然，在XYT三维空间内进行规划，维度增加了一维，计算复杂度也上升。轻舟智航在算法、算法系统和指令集等方面进行了优化，这些优化可以很好地在双J5平台上运行时空联合规划算法。

最后，在逐步将数据驱动的机器学习模块纳入决策、规划和算法的过程中，特斯拉在去年的AI Day中介绍了一种基于Mont Carlo Tree Search（蒙特卡罗搜索）的Learning Base方法。这种Learning Base 方法的优势在于城区的高交互、高博弈的场景内能够大幅地提高整体的表现，因为它是根据自车状态和站位的状态去实时地去做博弈、去考虑交互。

· 未来技术预测

从传感器层面，明年或者未来的传感器应该是中配的摄像头加毫米波，高配的摄像头激光雷达毫米波配置。有一个变量就是最近很火的4D毫米波雷达，它可以提供类似于激光的稠密点云，同时加上一些速度信息。所以也要实时地去关注新传感器对于整体的自动驾驶方案的影响。

那在感知层面， BEV时序融合大模型肯定是未来的趋势。当然为了保证整体系统的冗余，BEV时序大户模型会结合一些单独链路模型，比如单摄3D模型，或者激光模型，或者毫米波模型，这样单独的链路作为校验和冗余。

在地图层面，如果想要实现城市的NOA辅助驾驶，和感知共享BEV大模型主干网络的在线建图也是非常的重要。

最后在决策规划层面，没有那么激进，整体决策规划还是从时空联合逐渐地向Learning base演化。会在时空联合里面加更多的数据驱动模块，去做更好的决策，更好的博弈，实现更好的一个效果。

L4公司切入L2++：机遇和挑战

轻舟智航作为L4技术公司，切入 L2 +有什么优势和挑战。

我们认为NOA的复杂度其实给L4公司带来了一些机遇。在爱用级别的NOA上，是拥有优势的。

这里借用轻舟智航的双擎战略做解释。

L4公司在Robotaxi和Robobus上有着比较深厚的技术积累。对于城区复杂路况的理解，是能够很好地去促进NOA，特别是城市NOA的研发。同时为L4构建了整体的数据平台、训练平台。也能很好地去促进整个NOA的数据闭环，反过来NOA前桩量产的大量数据回流，也能够促进整体的自动驾驶技术的进步。

我们内部常说城市NOA是辅助驾驶的一个天花板，也是无人驾驶的一个入门槛。L4公司做NOA面临了很多的挑战。在这里主要讲四个挑战。

挑战

· 技术

在成熟度方面，L4技术相对较高。然而，之前L4为解决城区复杂问题而依赖于激光雷达，尤其是360度全覆盖的激光雷达和高精度地图。如果NOA量产成功，就需要去除对高精度地图和全覆盖激光雷达的依赖。

· 成本和算力

L4可使用工控机，许多L4公司都使用工控机，英特尔也不再挤牙膏。控机可以拥有32个X86核心，每个核心的主频都非常高。它们可以装备两张2080甚至3080的显卡，所以不能说是算力充沛，但是那基本上就算是算力爆炸了。

轻舟智航可以使用工控机，并规划出10多条时空联合轨迹，在这些轨迹中选择最佳轨迹执行，效果非常好。在量产的嵌入式平台上，如何减少算力消耗而不降低整体系统性能，也是一个重要的挑战。

在量产式的嵌入式平台上，怎样能够减少算力消耗的同时不要去降低整体的系统表现，也是一个非常重要的挑战。

· 产品意识和功能安全

NOA不管是多么的自动化，接管率有多低，归根结底在设计层面就是人机共架的状态。怎样能够让用户清楚地知道车辆的意图，让他能够认识到NOA的边界，能够平滑地在人驾和机器驾驶上切换，更多的是产品问题。同时功能安全，像高可靠性、是需要在量产中实现的目标。

· L2大补课

一般来说自动驾驶系统都是一体的，给车厂提供的功能都是一个大的软件包。这对供应商的要求就会十分高。所以 L4 公司想要在这个行业占有一壁，占有一席之地，就需要迅速地补上L2的一些技术，能够给车厂去提供一个完整的解决方案。

乘风：轻舟L2++解决方案

在这里，我要向大家介绍轻舟乘风高阶辅助驾驶的两个配置样例。其中，城市NOA版本采用了一颗激光雷达、11个摄像头和5个毫米波雷达，其中包括七个行车和四个泊车摄像头。该版本基于双J5平台，实现了高速和城市NOA以及L2全功能。而高速NOA版本则通过去掉激光雷达和砍掉一颗J5芯片，实现了高速NOA加L2全功能。目前，我们正在测试纯视觉，使用双J5平台，以实现城市加高速NOA以及L2全功能。

在感知层面，我们拥有业界领先的BEV时序大模型。加上多传感器，我们能够进行多传感器融合，同时执行检测、分割等多个任务，提供非常丰富的感知输入给下游的模块。

在决策规划层面，我们采用了业界相对比较先进的时空联合算法。该方法的内在灵活性更加适应中国的复杂道路路况。

我们还使用了基于向量化的预测模型，通过深度模型提供长时的意图加轨迹预测，能够输出至多3条带概率的轨迹，支持同时推理128个目标，且整个推理耗时小于20毫秒。为适应地平线J5平台，我们还进行了相应的适配和优化，从而在该平台上提供了非常好的效果

轻舟智航的预测模型整体性能在整个行业中处于领先地位。在Argoverse的2021年和2022年竞赛中，我们分别获得了冠军和季军。今年，我们的预测模型还发表在了CVPR上，如果大家感兴趣的话，可以等待2023年CVPR文章的发布。总体来说，我们的预测模型设计非常精巧，我个人非常推荐大家阅读这篇论文。

轻舟智航的思考：智能驾驶的演进将呈现出一个阶梯式、渐进式的四化发展趋势。这不仅是行业发展的必然趋势，也是整个产业上下游需要共同努力的方向。其中的四化包括将入门体验标配化，不断将成熟的、基本的智能驾驶系统模块化，以降低额外的研发和适配成本，让其能够快速地应用到车辆上。

在终端体验方面，我们希望实现标准化，持续推动智能驾驶各种常用的功能和应用，例如场景定义、体感、舒适度等，为用户带来明确的预期和统一的体验。

在高端体验上大众化，不断将最先进的功能从高价位车型下沉到普通车型上，在售价不变或更低的前提下，逐步提升整个NOA系统的装配率。

最后，是极致体验的革新化。技术能够持续创新，不断解锁智能驾驶技术应用的新场景和人机共驾的新体验。

最后的最后有一个小彩蛋，我在直播开始前打开了ChatGPT，并向它询问：“城市领航辅助驾驶的普及需要解决哪些问题？”ChatGPT详细地给出了五个解答。ChatGPT的出现给人一种技术的全新感受。自动驾驶从一开始到现在经历了多年的发展历程，经历了各种起起伏伏。但是，ChatGPT的出现让我觉得自动驾驶也很有可能在深度学习和神经网络的快速发展以及爆炸式的应用中得到广泛应用，包括辅助驾驶和L4自动驾驶。

好的，谢谢大家。

Q&A环节

1.整个BEV在线建图的精度可以达到什么样的一个水平？

这块的话，其实因为我主要的工作还是在决策规划上面，所以对于具体的指标我不是特别确定。但是从我们决策规划的这样一个应用的角度来说，在BEV的这样一个在线建图，测试它达到基本上可以达到高精度地图的这样一个效果。

整个BEV的好处还是说在于，因为它的这些投影，最终它的那些参数通都是通过模型去学出来的，所以只要你的数据丰足够的丰富，足够的泛化，那其实他学出来的效果的确是非常的不错，也能够让我们的决策规划去计算出比较好的，比较平滑、比较稳定的一个轨迹。

2.定位的方案如何？

如果是高速NOA或者城市NOA，定位一般还是基于矢量化的定位，根据车道线以及道路上的一些元素，视觉的元素通过视觉去做定位。

3.能耗怎么样？

NOA用嵌入式平台的话，整体能耗其实还是相对来说比较低的。我没有一个特别确切的数字大概，整个域控应该是在 200 瓦以下，就整个域控。我可能要说一个免责声明，但是我记得应该是在 200 瓦以下。

好处就是因为整个汽车都是在电动化、智能化，电动车它其实有充足的电力支持，整个电动车它其实电力主要的花销还是在电驱上，给域控制器的话，整体相对来说非常的充足的。

4.城区用了 HD map？

在我们刚才展示的demo里面用了HD map的。整个Map Less的方案也是在未来会推出，希望大家能够持续地关注。

5.整个调头是怎么实现的？

调头就是正常的一个规划，因为道路在路口的地方肯定也是有调头的连接。有了调头的连接之后，就可以通过规划算法去规划一个调头。

6.用x、y、 t 做规划的一个思路为什么不是 s l t？

其实 xyt坐标系在国内其实应用还是非常的广泛的，它整体的设计起来还是相对来说会更加的轻松一些。因为我们把一个曲线通过参考线的设计，可以把这规划去投射到一个曲线的坐标系下，在曲线坐标系其实所有东西就拉直了，规划起来会比较的容易一些。

但是 SLT 坐标系，特别是 SL Frana 坐标系，在曲率比较大的情况下，它其实有一个投影畸变的问题。如果你想要去实现比如说拥堵场景下的绕账，或者说掉头的情况等，那这个畸变的影响可能就会相对来说比较大。所以在一开始的时空联合里面，就选用了x、y、 t 的这样一个思路去做，去实现一个非常好非常精确的规划。所以我们的这样一个时空联合规划，其实可以在有非常多障碍物的情况下去运行的。

7.J5能部署前融合和BEV模型吗？

可以的，J5可以部署一个前融合和BEV模型，当然肯定需要一些优化。

8.双J实现城市NOA功能的 AI 算力资源？

J的话，单J5应该是 128 tops。整体的话这个J5的算力是够部署AI 模型的。

9.特斯拉没有高精度地图的城市NOA路口左右转的功能是怎么实现的？

Mapless 或者说城区的感知地图，或者说在线建图的方案，它的精髓就是能够构建出不仅仅构建出我们的curb，就是说整个车道线，我们的车道边缘，它的精髓是能够构建出我们的车道中心线。就虚拟的车道中心线以及车道的连接关系。所以用一个在线建图算法的时候，当你的车开到路口之前的，它其实就能根据入口的形状去构建出来，在哪个车道你可以右转，哪个车道直行，哪个车道左转，再结合你的 SD 地图的一个导航，就可以实现一个基于在线建图的左转右转等功能。从 PNC 来说，其实你不管是在线建图还是高精力度高精度地图，虽然可能从它的精度或抖动上会有一定的区别，但从 PNC 的角度来说，在线建图的效果其实目标就是要是达到像高精度地图这样的效果。

10.请问时空联合大概占单J5的多少资源？

这个的话可能不是特别好透露，因为这个的确也是公司的一个相对来说比较重要的一个知识产权。如果大家感兴趣的话，可以线下去找我们公司去接触，跟你们这边做一个沟通。

11.轻舟智航是云上训练还是线下集群训练？大概涉及多大的算力？

轻舟智航跟火山引擎有一个比较好的一个合作关系，所以我们的训练都是有一部分是在火山云引擎的云上去做的。我们整体的算力也是非常 scalable 的，如果我们要训练大模型的话，会用一些更多的卡。

12.有没有考虑交互？

整体交互肯定是有考虑的，在时空联合的方法里面，也有考虑交互的一些算法，这些算法其实都是基于数据驱动的方法去构建一些深度学习的模型，去判断说障碍物和自车之间的交互的关系，也会做一些假设。当然我们采用的是刚才提到的一个渐进式的方法。所以我们现在其实并不是完全是像特斯拉这种直接的一个 MCTS 的一个方法。我们还是在时空联合框架内去逐渐地把一些模块替换成我们基于深度学习的模块，这些模块就能提供一些交互的功能。

13.强化学习在决策规划上的应用，轻舟智航已经做了落地应用强化学习么？

其实我们会用强化学习来做我们的驾驶决策模型的一个训练。对，这个具体的细节的话，其实你们可以参照一下类似于像WAYMO的ChaffeurNet。

14.时空联合对于求解器是否有更高的定制要求？

对的，我们的时空联合使用并没有使用任何的开源或商业的求解器，我们整个时空联合的求解器都是自己去设计的，也是我们的一个核心的竞争力。

15.x，y， t 怎么考虑车道边界？

其实不管是在x，y，t，或者说在s，l，t，其车道边界都可以通过一些方法，不管是 Spline 或者说是一些离散化的点去建模，都是能够去考虑进去的。

16.在线建图可以和其他车共享吗？

如果整个完整的数据闭环搭建起来的话，那在线建图是可以和其他的车共享的。其实在线建图包括两部分，一部分现在在车上去使用的这样一个在线电图，另外一部分是在线建图的结果，或者说一些中间结果。可以通过云端去做一个回传。多个车辆在相同的地方或者说在类似的地方的在线箭头的结果是可以做一个融合，再去生成类似离线的高精度地图。这个高精度地图其实又可以反哺，作为你模型训练的一些参考。

17.目前遇到的 corner case，比如说感知的光照，非规范目标 ODD 场景，有什么解决途径？

其实 corner case 解决有两个途径，一个是技术途径，一个是非技术的途径。

在技术途径层面，比如说我们可以去加一些数据，通过加上各种各样的不同光照场景下的一些数据，去做训练，这样能够让你更好地去适应这种不同的情况。非规范目标其实特斯拉也提到过，我们可以用一个 occupancy network，就是通过视觉，生成一个占据的栅格图，或者前视激光雷达，其实也是可以去识别一些非规范的目标。

非技术途径，更多是产品的设计层面，如果系统能够知道现在的场景可能有一些问题、风险的情况下，可以通过产品设计的一个角度去提示用户这种场景下可能相对比较危险，或者说有些问题，建议用户提高警惕，或者说直接接管，因为辅助驾驶它的目的不是说我要取得非常好的MPI，它的目的是能够流畅的，在安全的情况下去替代司机，在不安全的情况下去提醒司机，去流畅地实现人机共架。

18.前面终端硬件配置6V5R，成本1万块，应该没算域控制器？

这个我首先免责声明，这个的确我也不是特别清楚，但是我按照我获取的知识，应该是算了域控制器的。

19.感知不确定性或者障碍物的检测跳动如何在决策规划的考虑范围内？

首先就是这个其实是一个整体系统的问题。我们要尽量地去降低整体感知的不确定性，或者说障碍物的检测跳动。在感知层面其实可以做各种各样的处理，不管是从数据的角度，后处理的角度等都可以做处理。除此之外，障碍物本身的确也有内生的不确定性，比如说预测的不确定性，就对它未来的一些规划的一些不确定性。那这些不确定性其实你可以通过一些数学的方法去表示，比如说用华为的高斯分布等，这些不确定性通过数学方法表示之后，是可以考虑在决策、规划算法的框架里面，去实现对不确定性的一个比较。

20.现在 AI 是数据驱动的，他想问问目前单模型训练的数据最大有几个t？

因为我也做一些预测相关的工作。那举我们轻舟的预测做一个例子，我们预测现在预训练我们的模型用的数据是1亿。当然这1亿数据具体的有多少 t 我还不是特别确定，应该是在几十 t 的样子。这个是预测的一个数据，因为预测数据其实都是向量化的表示，可能比感知的数据要相对来说它的体积要小一些。我们感知的训练可能它用的数据会更加的多，它的占用的内存，占用的硬盘可能会越更加的多。

好了，那今天也是非常感谢大家。也是感谢大家积极地去做这样一个提问和交互，然后后续如果大家对轻舟智航感兴趣，也可以联系轻舟智航相关的人员。

非常感谢我们的主办方给我们提供这样一个机会，去做对城市NOA，对L4切入NOA做一个探讨。

雷峰网原创文章，未经授权禁止转载。详情见 转载须知 。