车联网中基于英特尔架构的激光雷达3D点云处理与感知融合方案

在基于车联网 (C-V2X) 的车路协同应用中，路侧感知设备获取的交通目标与交通环境信息由路侧边缘计算设备进行分析处理，生成各类I2V (Infrastructure-to-Vehicle) 消息，并由路侧单元（RSU）通过无线链路发送给各类道路交通参与者（包括联网车辆和弱势交通参与者），用于提升交通安全与交通效率。作为路侧感知设备的激光雷达，由于其3D成像和精确测距等卓越性能，受到越来越广泛的应用。基于 英特尔架构 的路侧边缘计算设备，在处理激光雷达生成的3D点云中（无论是深度学习还是传统计算机视觉），都显示出了卓越的性能。本文介绍了基于 第11代英特尔酷睿处理器 和 英特尔OpenVINO工具套件分发版 的 集和诚路侧MEC设备 ，用于支持基于深度学习的3D点云处理和 镭神雷视一体机 （激光雷达与摄像头）的感知融合计算。我们为车联网产业界提供了高性价比的路侧感知和路侧边缘计算解决方案。

背景：中国的智能交通基础设施的快速发展

近几年，国家有关部门出台多项产业政策支持智能交通发展，如《交通强国建设纲要》、《国家综合立体交通网规划纲要》和《国民 经济 和社会发展第十四个五年规划和2035年远景目标纲要》

等，均强调全方位布局交通感知系统是实现交通基础设施智能化的重要步骤。

车联网作为半导体、智能计算、无线通信、 汽车 制造和交通运输等行业深度融合的新型产业形态，在提升交通安全与交通效率方面拥有巨大的潜能。随着人工智能、边缘计算和移动组网等技术的快速发展，车联网的功能与性能也不断的完善和提升之中，将在未来的智能交通系统中将发挥重要的作用。我国高度重视车联网产业的发展，相继出台了《车联网（智能网联汽车）产业发展行动计划》和《智能汽车创新发展战略》等系列政策文件。中国产业界一直在积极推动围绕C-V2X技术构建的车路协同技术路线。

路侧基础设施是车联网新基建的重要组成部分，其技术与标准体系正在持续完善之中，而相关的细分产业链（包括路侧感知、路侧边缘计算和路侧通信等）也在加速形成。2020年8月出台的《关于推动交通运输领域新型基础设施建设的指导意见》 明确指出要让泛在感知设施深度覆盖交通运输行业。 2021年9月，中国IMT-2020 (5G) 推进组所辖的C-V2X工作组发布研究报告《基于边缘计算的路侧感知融合系统研究》系统性地介绍了路侧感知融合的技术和产业发展现状[1]。

作为全球最领先的芯片厂商，英特尔也与包括镭神与集和诚在内的国内广大合作伙伴，加速研发相关的产品与解决方案，促进基于车联网的车路协同早日实现商用。

车路协同中的路侧感知与路侧边缘计算

如图1所示，车路协同依靠路侧感知设备（包括摄像头、激光雷达和毫米波雷达在内的各类交通传感器）采集交通目标的原始信息（包括2D视频图像和3D点云等），交给路侧边缘计算设备进行分析计算（包括目标检测与目标分类）以及与感知融合，生成结构化数据用以表示交通目标的属性（例如车辆的速度与航向、交通事件的类别与影响范围等）。这些结构化数据被进一步处理成V2X消息，准确地说是I2V消息。这些I2V消息被RSU (路侧单元) 经由PC5无线空中接口、或者5G/4G基站经由Uu无线空中接口发送给包括机动车和行人在内的道路交通参与者。

图1. 车路协同的系统概念

车路协同的路侧系统架构由图2所示，可分为路侧感知（包括摄像头、激光雷达和毫米波雷达在内的各种交通传感器）、路侧边缘计算（包括路侧MEC计算设备）和路侧通信（包括RSU）三大部分。本文主要涉及路侧感知和路侧边缘计算这两个部分。

图2. 车路协同的路侧系统架构

路侧感知

在车路协同的路侧感知领域，常用的传感器包括摄像头、激光雷达与毫米波雷达。本文中介绍的技术方案涉及前两种，下面我们分别介绍它们的技术特点。

摄像头

摄像头是最为常见的交通路侧传感器，基于对其所采集的图像和视频的分析，能够获得丰富的色彩、纹理和语义信息，实现精细化的交通目标的分类。但其局限性也比较突出，主要体现在受夜晚弱光或恶劣天气条件的影响较大，难以对交通目标进行有效可靠的感知。摄像头作为交通传感器的性能优缺点总结于表1中。

激光雷达

激光雷达正在成为智能交通领域越来越重要的一种传感器。它主动向待测空间区域发射激光光束，并接收反射回来的信号并将其与发射信号进行比较生成3D点云，经过进一步的处理，可获得目标物体的距离、方位、速度、3D尺寸及类别等精确信息。

激光雷达按照其内部激光扫描机构的工作原理可以分为以下大、小类别：

机械式

整体旋转式

棱镜旋转式

非机械式

Flash

光学相控阵

以微机电(MEMS)镜式为主

混合固态式

固态式

激光雷达作为交通传感器的性能优缺点总结于表1中。

表1. 摄像头与激光雷达的优缺点对比

感知融合：基于激光雷达与摄像头

感知融合指的是两种或两种以上传感器互相配合共同完成对目标的检测与分类。由于在性能上“取长补短”，感知融合比单种传感器具有更全面的感知能力和更优秀的性能。基于激光雷达和摄像头组合的感知融合在发挥激光雷达精确测距性能优势的同时，可以依靠摄像头来识别目标颜色、交通标志和交通信号等信息。也就是说，感知融合可以通过摄像头与激光雷达的“分工”，将摄像头用于目标分类而激光雷达用于目标检测。在这种情况下，3D点云的处理可以使用PCL (Point Cloud Library) [2][3]等非深度学习的方法，从而降低了算法的整体复杂度及相应的硬件成本，使得高性价比的解决方案成为可能。

路侧边缘计算：促进感知融合在车路协同中的应用

基于英特尔架构的路侧边缘计算设备可对2D视频图像和3D点云信息，分别进行基于深度学习的推理或基于传统计算机视觉的分析，并将两者得到的结果进行融合。

系统架构

在车路协同的应用中，MEC发挥着无可替代的重要作用。根据部署的位置和对时延与算力的具体需求，MEC可以有多种形式，包括路侧MEC和网络边缘MEC等（如图2所示）。基于英特尔架构的各种MEC设备[4][5]为实现车路协同的各种用例提供强大可靠的通用和AI算力支持，从而使得我们能够对来自不同种类传感器的信息进行实时的高效分析并将结果融合，显著提升了智能交通系统的安全与效率。

面向交通安全的车路协同应用对于端到端时延有着比较严格的要求，部署地点靠近路侧感知设备和路侧通信设备（RSU）的路侧MEC对于降低时延有着更好的保障。

第11代英特尔酷睿处理器 (产品代号：Tiger Lake)

针对于包括车路协同在内的众多垂直行业应用，英特尔发布了第11代酷睿系列处理器，在具备强大通用计算与AI加速运算能力的同时，功耗很低、散热设计容易，是路侧边缘计算设备非常理想的高性价比和高能效比计算平台。这一系列处理器中的很多型号还支持宽温工作以及对设备进行远程管理维护的英特尔博锐平台技术。

本文中的性能评估基于以下两款第11代英特尔酷睿处理器，其配置如表2中所示。

英特尔酷睿i7-1185GRE处理器

英特尔酷睿i7-1165G7处理器

两款处理器的最高性能详见产品技术规格[6][7]。

表2. 第11代英特尔酷睿处理器 (Tiger Lake) 配置

集和诚路侧MEC设备

基于上述两款第11代英特尔酷睿处理器，集和诚开发了全新的KMDA-3301型路侧MEC设备（如图3所示）。其主要特点包括：无风扇散热、IO接口丰富、铝型材质、机身纤薄、减震设计等，非常适合部署在路侧等严苛环境，为车路协同应用提供稳定可靠的高算力保障。产品规格详见集和诚公司网站[8]。

图3. 集和诚路侧MEC设备（KMDA-3301型）

英特尔OpenVINO工具套件分发版 （以下简称OpenVINO）

OpenVINO是源自英特尔的一款功能非常全面的优秀软件工具套件，用于加速高性能计算机视觉和深度学习丰富多样的应用开发[9][10]。其显著的三个特点是：高性能深度学习推理，非常易于使用的简化开发流程，一次编写可任意部署。

具体来说，OpenVINO支持快速开发丰富多样的应用和解决方案，来模拟人类的视觉。它能显著提升视频分析的准确度，加速推理，并节约算力资源。该工具套件基于卷积神经网络 (CNN: Convolutional Neural Network)，支持直接异构执行，可在多种英特尔芯片平台中扩展计算机视觉和深度学习的工作负载，实现卓越性能。套件中的英特尔Media SDK 支持在英特尔核芯显卡上进行高性能的视频编码和解码。OpenVINO支持多种操作系统（包括Windows、Linux和macOS）和编程语言（包括Python和C++）。

OpenVINO免费提供超过280个经预先训练好的神经网络模型和参考代码，支持模型的量化和调优，加速深度学习的推理运算。

操作系统与软件配置

本文的性能实测部分所涉及的操作系统与软件采用表3中所列的配置。

表3. 操作系统与软件配置

基于英特尔架构的激光雷达3D点云处理方案

作为车路协同中的路侧感知设备，激光雷达可以作为独立的传感器使用，也可和摄像头配合形成感知融合的技术方案。这两种方案中信息处理所需要的算力，均由MEC设备中最核心的英特尔处理器来承载。下面，我们分别介绍这两种方案所需解决的技术挑战、基于英特尔架构的解决方案和性能实测效果。

激光雷达作为独立传感器基于英特尔架构的解决方案

在这种方案中，交通目标的检测基于对激光雷达生成的3D点云进行深度学习的推理，对算力的要求非常高。在实际的交通应用中，处理速度需要达到至少10帧/秒。通过优化基于深度学习的3D点云处理流程[11][12]来提升处理速度，对于提升基于部署于路侧的MEC平台的性价比和能效比，至关重要。

我们使用OpenVINO对开源3D点云深度学习模型PointPillars [12]做了优化。如图4所示，蓝色模块依然沿用原生代码的Python实现，而绿色模块则使用了OpenVINO中的模型优化工具 (Model Optimizer) 进行了加速，具体细节详见[13][14]。

图4. 基于英特尔酷睿处理器 (Tiger Lake) 实现的PointPillars模型

性能实测效果

我们采用KITTI数据集[15]中的训练集来测试性能。相对于OpenVINO优化之前的PyTorch格式模型，OpenVINO优化之后IR格式模型可以显著提升吞吐率与处理时延性能（如表4所示）。

表4. 吞吐率与处理时延（基于深度学习的3D点云处理）

感知融合：激光雷达与摄像头镭神雷视一体机

镭神雷视一体机及其实际部署场景如图5所示。该设备采用摄像头和镭神CH128X1型激光雷达相结合的方式，获取交通目标与交通环境的原始数据，通过以太网将其传递给基于第11代英特尔酷睿处理器的集和诚路侧MEC设备进行分析处理。

图5. 镭神雷视一体机（激光雷达与摄像头）及实际部署场景

镭神CH128X1型激光雷达的激光源不动，通过棱镜旋转来扫描空间区域，实现对水平120°区域的扫描。其具体规格参数如下表5所示。

表5. 镭神CH128X1激光雷达规格参数表

基于英特尔架构的解决方案

为了兼顾处理效率与准确性的需求，镭神和英特尔共同提出了基于传统算法和深度学习相结合的目标级感知融合方案，其处理流程如图6所示。其中，对于激光雷达所采集的3D点云数据，我们采用PCL [2][3]中的聚类和追踪算法来获取目标的的位置距离和速度等信息；对于摄像头所采集的2D图像数据，我们采用基于Yolo-v5神经网络和OpenVINO的深度学习算法来获取目标的类别信息。

我们将3D点云数据聚类得到的目标中心点投影到2D图像上，判断该点与基于深度学习算法得出的2D图像中目标位置中心的距离是否小于某一阈值：若是，则确定激光雷达和摄像头分别检测到的目标为同一物体，并将该两种传感器获取的目标级结果进行融合。如图6所示，融合的结果包括目标的类别、位置距离和速度等信息，可根据需要显示在2D图像或者3D点云中。

图6. 激光雷达与摄像头的目标级感知融合

性能实测效果

我们使用采集自镭神CH128X1型激光雷达的3D点云数据集，其数据文件包含多帧点云数据，每个点的参数包括3D坐标（x, y, z）和反射率（r）。3D点云经过处理之后生成围绕目标的3D框，其检测结果的标注采用类似于KITTI数据集所采用的格式。我们使用集和诚KMDA-3301型路侧MEC设备[8]和OpenVINO[9][10]，对于感知融合方案进行了测试，其性能如表6所示。

表6. 感知融合方案的实测性能

实测性能表明，激光雷达无论是作为独立的传感器使用，还是和摄像头配合形成感知融合的技术方案，基于英特尔架构的激光雷达3D点云处理可实现优异的性能。

结语与展望

5G在中国已经大规模商用，为终端设备的互联互通奠定了高速率、低时延和广泛连接的网络基础。作为 5G 垂直行业应用中最受瞩目的应用场景之一，车联网也将在此基础上加速发展。基于 5G 新空口的蜂窝车联网标准已经于 2020 年 6 月完成制定，大规模试验和测试即将展开。基于英特尔架构的激光雷达3D点云处理和感知融合方案为车联网积极赋能，使能丰富多样的智能交通场景，显著提升交通安全与效率。

以数据为中心的英特尔公司以世界领先的端到端 AI 与计算机视觉技术以及性能强大、功能完善的硬件与软件产品组合，联合产业界伙伴，为全球车联网产业的加速发展奠定了坚实的基础。