港科大刘明：低速无人驾驶落地有哪些技术要素和场景？

雷锋网新智驾按：10月26日至27日，2019第二届全球智能驾驶峰会暨长三角G60科创走廊智能驾驶产业峰会在苏州高铁新城正式举行。峰会主要聚焦“自动驾驶的量产时代、单车智能和车路协同的共演之路、新型的车内交互探索”三大主题，共同探讨了智能驾驶的未来发展方向。

本次峰会由苏州市相城区人民政府主办，苏州高铁新城管理委员会、雷锋网新智驾承办，江苏省智能网联汽车产业创新联盟、江苏省人工智能学会智能驾驶技术专业委员会、清华大学苏州汽车研究院、中国移动通信集团等单位协办。来自主机厂、国内外一级供应商、自动驾驶解决方案商、自动驾驶核心零部件、出行运营商等智能驾驶上下游企业，车路协同专家学者、代表企业等1500余位业内人士莅临现场。

大会现场，香港科技大学自主驾驶中心主任刘明发表了《低速无人驾驶落地技术要素及场景展望》的主题演讲。

刘明认为，由于不同的天气状况和复杂场景，在实际的落地场景中，低速无人车需要应对动态环境中的不确定性。过去在无人驾驶的技术落地问题上，业内大多讨论的是端对端的控制问题，但在实际场景下，低速无人驾驶要解决的是复杂的动态全流程问题。因此如何通过人工智能或者深度学习的方法解决感知、决策和控制的全流程问题，是目前技术发展上的一个难点。

目前在感知方面，刘明团队把传感方案从激光感知进一步拓展到视觉方案及融合方案，通过摄像头的原始输入，实现在不同环境、天气、早晚环境下的无人系统全局定位；在决策方面，可以将无人系统在虚拟仿真环境下学习得到的决策训练运用到真实场景；在决策之外，可以通过车载电子、机电系统来产生端到端控制的逻辑，最终实现对车的最终控制。

以下为刘明的演讲全文。雷锋网 (公众号：雷锋网) 新智驾进行了不改变原意的编辑：

今天我介绍的课题是低速无人驾驶系统的一些落地技术要素，和对未来场景的展望。

过去的十年间，我们团队主要围绕无人系统展开。在这个过程中，技术也在不断沿革，从最开始的基于几何的方法，到目前基于深度学习的方法；从学习角度来看，我们也慢慢从传统应激模型包括深度学习，发展到目前的深度强化学习，即从启发式学习到自发式的学习。这其中的区别是，如果碰到不同场景，无人系统可以在大量的数据训练过程中自适应各种复杂的环境。

为什么要这么做？目前我们团队的低速无人车已经在一些场景落地使用。在实际的工况条件下，由于不同的天气、环境动态，场景中的环境动态程度非常高。比如在园区的上下班时间段，经常出现人挤人的情况，但在这种情况下无人驾驶仍然要完成任务。

这个任务过程需要一些技术支持。目前在深度学习到深度强化学习的技术研究过程当中，重点要解决的是复杂全流程问题。而过去的三到五年间，业内一直在讨论端到端的控制问题。

无人系统从传感器的输入到最终执行，其中的操作流程是非常复杂的。如果中间做一个简要的区分，可以分为感知、决策到控制。因此如何通过人工智能尤其是深度学习的方法解决此全流程问题，这是目前技术发展的一个难点。

在感知方面，我们港科大和一清团队本身就关注智能感知问题。感知方面我们前期有大量的经验，包括早期以激光为主导的建图和导航。即便没有车本身提供的编码盘信息，单靠激光雷达传感器，也可以实现实时结构化或非结构化的环境建模。

最近我们把传感方案从激光感知进一步拓展到视觉和融合方案。在视觉感知过程中，通过摄像头的原始输入，可以实现不同环境、天气、早晚环境区分下的无人系统全局定位和路径产生。

相对一些像素级分割、白天夜晚的环境迁移学习等传统问题，我认为，感知方面的关键问题还是自适应性问题，即通过感知算法了解周围场景情况、定位信息之后，怎么产生合理的决策。

而在决策过程中，可以将车辆放到虚拟场景中，通过端到端强化学习、深度网络学习实现一些简单的决策。然后将车辆在虚拟场景里学到的经验应用于真实场景中。

在这些基本训练中，可以通过学习人类驾驶员操作系统，包括人的注意力模型和眼球跟踪系统，来进一步增强训练的效率。在不同的动态条件下，车辆可能存在不同的决策模型：跟车、超车等。我们团队利用多传感器融合方案，无人车在低速驾驶的条件下，基于对动态场景完整的理解可以产生相对合理的决策。

在决策之外，最重要的是怎么实现系统的控制，通过车载电子、机电系统来产生端到端控制的逻辑，最终实现对车的最终控制。过去这些年，我们团队的这部分工作获得了20余项全球性奖项。我们团队基本上是围绕着三维感知、场景理解来展开工作。

目前这些科研结果显得极其复杂，在实际场景中到底能解决哪些问题？科研问题作为一个起点，可能会产生一系列可落地的技术，从技术最终到产品、展示场景、补充场景、替换运行，最后成为主力场景这一系列过程。事实上任何技术的发展、新的科技产品应用，例如Email、智能手机等等都要经历一个从展示到补充、到最终主力的发展过程。

结合目前港科大及一清创新的整体战略，我们团队称之为“12345战略”，最终会形成一个无人驾驶技术高地，这里面包含了无人车应用技术研究院和新动力系统两个研究院，围绕无人车、关键部件和动力系统三个产业，希望能够形成四到五家上市公司，最终形成比较大规模的产业链。目前我们的解决的问题还是以低速场景为主，尤其是低速物流场景和监控场景。

过去大家可以看到，物流业对劳动力的需求是不断增长的。但2016年之后，劳动力人口数量在不断下降。在这种情况下，实际上还有很多场景采取大量劳动力的解决模式。在劳动力人口不断减少的背景条件下，无人系统是唯一的答案。

这需要一个过程，需要不断通过产业化能力进行探索。目前已经有一些园区场景通过无人车实现内部比较大范围的点到点运输。我们的一清创新团队也研发一些对应的APP。一清创新结合了无人车、云和5G技术，最终使一套完整的无人驾驶解决方案能够产生真正的生产力价值。

同时随时5G技术的落地，我们跟华为也有一些比较直接具体的合作。在其园区里面进行无人接驳车及物流车等等示范性项目，展示远程驾驶、远程数据监控等场景，针对目前5G CPE系统及基站系统也进行了比较完整的测试。

实际上，我们是从科研开始入手，到技术、产品、到目前逐步替代和协同，我们希望最终能够打造“政、产、学、研、金、服、用”的七通闭环，也就是将从政府支持、到产业、人才、金融、服务，一直到用户的闭环打通。

目前我们团队最大的优势还是在于领先的无人系统导航技术，同时在行业落地方面也进行了相对领先的场景探索与实景运力替代，实现了TaaS（运力即服务）系统。我们也会把自身的优势技术及生产制造能力以合理方式与外部进行服务和交流。

。