传感器融合：通向自动驾驶时代的关键一步

雷锋网按：经过一百多年的发展，汽车已经成了地球上必不可少的一部分，它每天带着我们在路上奔忙。随着技术的发展，展厅里的新型汽车则开始装配 ADAS 甚至自动驾驶系统，摄像头、雷达、超声波和激光雷达开始为我们保驾护航。不过，一辆车到底安不安全跟它搭载了多少传感器并没有太大关系，如何使用这些传感器才是关键。本文由雷锋网 (公众号：雷锋网) 编译自 eenewseurope 。

未来，随着各项新法案的诞生，车辆上的标配传感器会越来越多。举例来说，倒车影像现在就成了美国新车的强制装备。此外，各大机构越来越严格的碰撞测试和车险优惠也让越来越多的用户开始习惯在车辆上搭载这些汽车电子产品。

自动泊车、高速自适应巡航和紧急自动刹车等功能非常依赖传感器，因此车上的传感器不但要多，还要能正确使用。

眼下，车辆上搭载的大多数 ADAS 系统都是独立运作的，这就意味着它们不会与其他车辆上的系统交换信息。此外，车上的后置摄像头、360 度全景系统、雷达和前置摄像头都有自己的独立任务，它们之间几乎没有交流。

给车辆安装这些独立系统后，司机就能获知更多信息，车辆也能实现少数自动驾驶功能。不过，我们也可以对这些传感器进行融合，实现更为强悍的功能。

ADAS 系统各个传感器都有自己的独立任务

传感器融合

每种传感器都有自己无法克服的缺陷，因此“量”无法解决“质”的问题。真正的解决之道是综合不同传感器采集到的信息。

举例来说，CMOS 摄像头在雨雾环境下就会“失明”，强光和弱光环境它也不能处理。现在的雷达技术在分辨率上也有些不合格，可以说每种传感器都有自己的软肋。

想做到完美的传感器融合，就要接受不同传感器的输入，并利用综合信息更准确的感知周边环境，其得出的结果比不同传感器各自为战要好得多。

与光学传感器相比，雷达明显分辨率较差，不过它在测距功能和恶劣天气下明显更胜一筹。虽然光学传感器在恶劣天气下能力受限，但它依然能识别色彩（交通灯和路标），而且在分辨率上依然有优势。现在的车用图像传感器可能只有 100 万像素，但未来几年分辨率可能就会提升到 400 万像素。

这里举雷达和摄像头的例子就是为了证明两者有很强的互补能力，因此传感器融合才是未来的大趋势。

值得一提的是，将不同传感器进行融合还能换来一定程度的冗余，即使某个传感器出了问题（自然原因或认为）也不会影响车辆的安全。

在司机依然手握方向盘的阶段，这种冗余看似用处不大，但到了全自动驾驶的时代，一定程度的冗余就能给驾驶员换来自救的时间窗口。

传感器融合系统范例

传感器融合的复杂程度各不相同，所用的数据也有差别。就举两个最基本的传感器融合例子：

• 一种是后置摄像头与超声波距离传感器搭配（倒车时常用）；

• 另一种则是前置摄像头与多模前置雷达搭配。

前置摄像头搭配多模雷达可用于自适应巡航和车道保持

后置摄像头+超声波距离传感器

其实超声波距离传感器就是我们常说的倒车雷达，这项配置在现售车辆上早已不再新鲜，倒车时它能用警报声提醒我们车辆离周边物体还有多远。

鉴于 2018 年后置摄像头将成为所有美国新车的标配，因此将两款传感器进行融合成了一种合乎时宜的趋势。在这套新系统中，后置摄像头能让司机看清车辆后方情况，而机器视觉算法则负责探测车辆后方物体或马路牙子。超声波距离传感器则是辅助设备，它能在在没有任何照明的夜晚帮司机顺利倒车入库。

前置摄像头+多模前置雷达

前置摄像头与前置雷达的结合也能产生意想不到的效果。

前置雷达能探测到 150 米范围内物体的移动速度和距离，而且它几乎不受天气情况影响。摄像头则负责发现并辨别前方物体，比如读取街道上的交通标识和红绿灯。如果能加上不同视角摄像头传来的信息，路上的行人和自行车也能“尽收眼底”。眼下车辆上搭载的自动紧急刹车和市内巡航控制就是靠这套系统实现的。

虽然一些 ADAS 功能只靠单个传感器或独立系统就能实现，但一旦遇到不可预知的情况，车辆就会变得手忙脚乱。反观能支持更复杂自动驾驶功能的传感器融合，就可大幅降低车辆的误报和漏报率。

这样的系统才能真正说服用户和法律制定者接受机器人也是“老司机”这一事实。

传感器融合系统分区

与不同传感器各自为战相反，融合系统会有一个“大脑”专门控制各个传感器的动作。现在业内有几个关键问题需要解决： 谁来完成数据处理的任务？如何将传感器采集的数据传回车辆 ECU?

要想将多个分布在车辆不同位置的传感器紧密结合起来，传感器与中央融合 ECU 之间的走线问题就必须考虑在内。同时，数据处理设备放在哪也是个大问题。下面我们就来共同认识几个可能的系统分区。

集中式处理

第一种方案是集中式处理，所有传感器采集到的原始信息都会回传到一个区域，如下图：

这种方案有其 优点 ：

传感器模块方面，设计师可以大大缩小其体积并降低成本。由于只需要完成传感和数据传输等简单工作，因此模块的功能安全要求和功耗都很低。同时，传感器的安装位置可以变得很灵活，车辆设计时也不用考虑在某个部位省出较大的安装空间，而且更换起来成本较低。

由于传感器模块已经对数据进行了预处理和压缩，因此 ECU 处理单元不会丢失数据。此外，传感器模块成本低体积小，所以车辆能搭载更多传感器。

当然，这种方案也有自己的 缺点 ：

传感器模块方面，由于大量传感器要实时回传数据，因此带宽的压力比较大。此外，设计师还要考虑到高电磁干扰的问题。

ECU 处理单元则需要超强的处理运算能力，这样才能处理源源不断涌来的数据。高性能就意味着高能耗和高发热，同时高带宽的 I/O 设备与高端处理器也不能少。

随着传感器的增多，ECU 的处理性能也必须随之提高。当然，这个问题并非无解，我们可以使用 FPD-Link III，在发送传感器数据时也一并提供电力、控制和配置数据，而这一切只需要一根同轴电缆。这样处理还能减少整个系统的线材需求，方便后期检查维护。

全分布系统

另一种可用方案则是全分布系统。它在数据处理上非常高效，而且处理器模块能在一定程度上自行作出选择。全分布系统只负责将目标数据或元数据（描述物体特征或对物体进行判断）发送回中央融合 ECU，在这里数据会被整合并产生车辆下一步动作的指令。

不过，全分布系统也有自己的优势和软肋。

优势 在于传感器模块和中央 ECU 间需要的带宽较低，接口简单且成本较低，大多数时候一个不到 1Mbit/s 的 CAN 总线就够了。

此外，中央 ECU 只需融合目标数据，因此用到的处理能力较低，一个较为先进的安全微控器就能满足大多数系统的要求。由于模块较小，因此功耗也不高，增加新的传感器并不会给中央 ECU 添加较大的压力，毕竟传感器自己已经承担了不少处理任务。

这种方案 软肋 也很明显，首先传感器模组需要另配处理器，因此其体积会有所增大，成本和功耗不好控制。同时，由于传感器模块需要自行处理数据和做决定，因此功能安全需求也较高。

另外，增加更多传感器时成本上压力会比较大。由于 ECU 只经手目标数据，因此它离真正的传感器数据有点远，在实现某些功能时多少会有些不便。

寻找黄金平衡点

那么到底用哪种方案更好呢？答案并不是非黑即白，我们需要综合考虑传感器的数量和类型、不同车型的扩展和升级需求，因此根据需要对两种方案进行综合才是最优方案。

全分布系统能使用现有的传感器模块，与其搭配的则是只有目标数据的融合 ECU。360 度全景系统和后置摄像头则是司机的眼睛。

未来，融合系统还能整合进如驾驶监控或摄像头监控等 ADAS 功能，但整体的传感器融合规则并不会发生改变。

融合方案要根据需求设计

平台管理、灵活性和可扩展性也是设计融合系统必须考虑到的经济因素。最终的系统虽然可能无法满足所有需求，但从平台和车队的角度来看必须是最优的。

到底让“谁”来审阅传感器数据？

关于 ADAS，我们还有两个方面没有讨论，它们分别是信息性 ADAS 和功能性 ADAS。

第一种情况驾，驶员还是车辆的主宰，ADAS 主要负责扩展驾驶员的感官（如夜视和360 度全景等）。第二种则属于机器视觉，车辆可以自行感知周边环境并做出选择（如自动刹车、车道保持等）。不过，在传感器融合的背景下，这两种情况可以共生。

这样来看，只需一个传感器我们就能达到不同的目标，但这样也需要做出牺牲，模块内通讯和处理能力会受到影响。就拿 360 度全景系统来说，其本意是要给驾驶员提供 360 度视角，那么这些摄像头是否也能担起机器视觉的重任呢？它们在自动泊车系统和盲区探测上也能发挥余热吗？

如果传感器模组只负责机器视觉任务，那么它就有单独的处理能力。经过一番处理它就能将目标数据或者指令通过 CAN 总线（低带宽）发送出去。不过，这条通路想传递完整的视频流可不够。虽然压缩视频能解决低带宽问题，但这种处理方案还是有许多问题要解决。

随着视频流分辨率、码率的提高和 HDR 技术的加入，“小水管”就更无法胜任这一任务。想解决这一问题可以搭建高带宽的连接，同时取消摄像头模组的数据处理能力，但这样做机器视觉的任务就塞给了中央 ECU，而中央 ECU 处理能力和散热能力不足将成为这一方案无法突破的瓶颈。

虽然从技术上来说并非不可能，但让传感器模组和高带宽连接都拥有处理能力可能会令系统在成本、功耗控制和安装空间上都变得难以控制。

传感器融合系统的稳定运行

眼下，许多融合系统已经能完成一些车辆功能（如刹车、转向和加速等）的自动控制了，为了保证系统能在各种环境下安全且可靠的运行就必须加入一些功能安全注意事项。

在分布式系统下，每个有处理和做决定能力的模块都必须达到较高的标准。这样一来，物料成本、模块体积、功耗和软件方面都要复杂一些。如果车辆留给传感器的空间较小且散热一般，那么传感器模块的损坏和更换频率肯定就会升高。

因此，何不考虑那些稍微“笨”一些，但却有自检和报错功能的传感器来保证系统的安全运行呢？

总结

如果只是普通的车载系统，大可直接关闭了事，但自动驾驶功能可没这份自由。如果车辆需要紧急刹车时自动刹车系统不工作了，如果驾驶员正开着全自动驾驶模式在高速上补觉却遭遇系统关机，其后果可想而知。因此，即使系统要罢工，它也必须给驾驶员留够反应时间。

不过，到底如何留出这个救命时间，现在业内还没有形成共识。带有自动驾驶功能的飞机普遍使用冗余系统，但它们价格昂贵而且非常占空间。

可以肯定的是，传感器融合是我们走向自动驾驶时代的关键一步。

雷锋网推荐阅读：

激光雷达厂商Innoviz CEO发声：为什么多传感器融合是通往高级自动驾驶必由之路

。