51VR创始人李熠：实时仿真如何应用于无人驾驶和智能交通？

51VR创始人兼CEO李熠

科技公司51VR之所以能在无人驾驶仿真测试上取得一定成绩，背后离不开可视化能力和实时仿真能力的支持。

近日，51VR创始人兼CEO李熠表示，数字孪生不仅能帮助AI训练变得更为高效，且在跟AI进行深度融合后，能为智慧城市提供可视、仿真及智能决策的基础设施。李熠认为，数字孪生世界对于AI训练非常重要，想要真正实现数字孪生规模商业化，两大核心能力必不可少，即极致的可视化能力和实时仿真能力。

两项能力的应用场景之一便是无人驾驶。

雷锋网 (公众号：雷锋网) 新智驾了解到，51VR在2017年调研了很多主机厂、算法公司的需求后，最终决定进军无人驾驶仿真测试领域。去年年底，51VR正式对外发布了全模块自动驾驶仿真测试平台51Sim-One，并表示，该平台可以做到全生命周期仿真，完全覆盖软硬件供应商、算法公司、传感器公司、主机厂及检测机构的需求。

李熠称，51Sim-One自动驾驶仿真测试平台目前已经能做到不需要输入代码便能使用，直接通过操作界面来配置主车、各种传感器、天气、交通流、案例场景，由此来对无人驾驶进行测试和训练，甚至让训练自动化。

据雷锋网新智驾了解，除了应用于无人驾驶仿真测试，51VR的仿真能力还可以用于实时交通流仿真、地产数字化和城市智能等领域。

P.S 7月13日，在CCF-GAIR 2019 智能交通分会场上，我们将讨论构建智能交通的核心要素、车路协同、自动驾驶等三个主题展开探讨，我们计划邀请上海市交通委科学技术委员会委员，同济大学博士生导师、同济大学教授马万经；华为物联网解决方案副总裁刘建峰 、四维图新-世纪高通副总裁熊继林、比亚迪研究院院长舒西星、采埃孚（中国）研发负责人綦平、腾讯车联总经理刘昕、阿里巴巴人工智能实验室首席科学家王刚、小鹏自动驾驶负责人吴新宙等超过10位嘉宾与会进行演讲和讨论。

以下根据李熠在“2019商汤人工智能峰会”上的演讲内容整理，雷锋网新智驾进行了不改变原意的编辑：

最近数字孪生这个概念非常火，股票全线飘红，百度指数也是一度破万。要知道这个词在去年的百度指数基本还是接近于零。数字孪生能力是实现工业4.0的关键所在，其中非常重要的一个应用场景就是用来训练AI。通过将真实世界进行1：1还原，实现特定场景下AI算法的训练需求。而这样的还原，并非仅仅是视觉上的1：1还原，还包括对真实世界物理规则及运行规律的1：1还原，达到AI训练的强化叠加环境。

在不断训练AI的过程中，数字孪生所构建的环境在不断学习，不断通过自进化来将真实数据融入数字孪生平台，最终完成整个系统的AI化。基于AI进行不断自生长的数字孪生环境，会在更大场景中实现规划和预测，实现更多当前在真实世界不可想象的功能。

早在三年前，我们就开始提出一个概念——克隆地球，并朝着这个目标一点点去实现。今年还有一个词特别火——镜像世界，和我们一直沿用的地球克隆如出一辙。它里面都包含了一个特别重要的概念——数字孪生。

但是，基于我们在这个领域一直以来的耕耘，我想说，数字孪生不是凭空蹭热点的概念，这个技术想要真正落地实现，真正赋能未来的地球克隆或是镜像世界，前提必须是基于两项核心能力的实现：极致可视化和实时仿真。没有这两项核心能力的支撑，数字孪生很难规模化地赋能各行各业。

极致的可视化，是还原真实世界的一项基础能力，也是当前行业应用范围极广的一项能力。但仅仅是视觉的还原，不足以让虚拟场景承担更多功能，更不足以作为真实世界的强大补充，去完成真实世界中绝不可能的创造。因此，实时仿真将是实现数字孪生不可或缺的另一项核心能力。

51VR如何基于数字孪生两项关键能力：极致可视化和实时仿真能力，以及这样的能力如何帮助AI落地，帮助城市变得更加智能？

51VR和商汤最早结缘于Star VC的牵线。由于双方在各个产品线和技术路线上都有着非常高的匹配度，且彼此高度认可，双方一拍即合，由此开启密切合作。在2017年年底，商汤科技参与了51VR的B轮融资。此后，双方在智慧城市及无人驾驶领域双方合作颇为频繁。商汤为51VR提供计算机视觉的支持，帮助商业场景中的海量非结构化视频数据转换为结构化数据。

51VR为商汤无人驾驶算法训练提供逼真的场景支持，并结合仿真能力，为算法训练提供绝佳的数据衍生和数据展示支持，帮助其AI算法不断进化。同时，在智慧城市产品中，51VR的51City OS可视化操作系统又协同商汤的智慧城市整体解决方案去服务客户。

商汤科技一直倡导“以AI赋能全行业”，51VR所做的事情就是“帮助AI更快，更好落地”。

以下主要从极致可视化和实时仿真能力，来谈谈51VR对于AI的赋能。

从L1到L5，无限接近真实的可视化

 

图为51VR虚拟世界L1-L5精度等级分级

极致可视化是帮助AI落地的第一步。接下来先和大家详细分享一下51VR在3D场景构建上的积淀。

我们所有的数据均来自于真实世界的采集，由此实现与真实世界1：1完全比对。数据采集包括无人机斜拍、雷达车扫描、卫星地图、GIS数据，BIM数据等超过十类数据源，以及四年多公司内部所沉淀的超过130多万件数字资产。

这些数据通过自研的机器学习及自动化工具，快速实现3D建模，最终根据实际需求，实现从L1-L5的不同精度类型场景还原。

目前，51VR在L1精度已实现完全自动化。L1精度能从形状上区别不同建筑，但从外观颜色等方面，不体现具体差别。

图为51VR大场景自动化生成

第二个级别，L2精度是在L1的基础上，增加了材质、光照等。

   

图为51VRL2级别西雅图城市场景还原

L3精度是我们目前关于智慧城市的主打类别。基于L3精度的城市底板，我们在其上通过叠加各类数据，包括水电气暖、警务政务、交通道路等，实现园区或城市级的可视化运营。

   

图为51VR L3级别某省会城市场景还原

L4精度就更高了，误差在厘米级。AI训练就需要在这个精度级别来完成。

   

图为51VR L4级别场景用于训练无人驾驶算法

至于L5精度，它能精确到毫米级，但造价比较高，目前某全球顶级互联网巨头是51VR在这一精度级别的客户，用来训练其AI机器人。

 

图为51VR L5级别全拟真还原

说完第一个核心能力，来跟大家分享一下51VR在实时仿真能力上的积累。

无人驾驶仿真，让AI算法更快落地

两年多以前，我们开始考虑在仿真上的布局。我们看到，在中国整个汽车工业界，没有一款国产原创软件被行业大范围接受，全部采用欧美软件。中国的汽车工业，更多是用资金和市场来换技术。

当无人驾驶L3和L4开始大势袭来时，我们开始思考，有没有机会在这个新的潮流下去做一款中国的原创仿真软件？

2017年，我们调研了很多主机厂、算法公司的需求，综合判断自身优势，最终决定进军无人驾驶仿真测试这个领域。

2018年12月底，我们正式对外发布了中国第一款全模块自动驾驶仿真测试平台51Sim-One，这个平台可以做到全生命周期仿真，完全覆盖软硬件供应商、算法公司、传感器公司、主机厂及检测机构的需求。

目前，51Sim-One自动驾驶仿真测试平台已经能做到不需要输入代码便能使用，直接通过操作界面来配置主车、各种传感器、天气、交通流、案例场景，由此来对无人驾驶进行测试和训练，甚至让训练自动化。如果在训练过程中算法出现Bug，就可以通过回放案例将事故现场还原出来，查看问题到底出在哪里。

当前，我们在整个无人驾驶仿真上投入了超过100位专家及工程师。

图为自动驾驶感知的数字化显示与摄像头、激光雷达的识别率检测

基于无人驾驶仿真研发，51VR的核心点主要有三个，即数据结构化、动态还原和扩展，以及传感器仿真。

首先是将道路信息进行结构化处理。机器看到的世界，与人眼看到的世界是完全不一样的，结构化处理其实就是将现实世界处理为机器能看懂的信息。

在动态还原方面，要实现对无人驾驶AI算法的训练，就必须有足够多事故案例。目前，我们通过自研的案例还原和扩展工具，来满足指数级增加的AI算法的训练和测试需求。

在传感器仿真方面，比如摄像头仿真，我们和商汤有紧密合作，它负责从我们的仿真场景实时获取语义分割图等真值，并用于商汤识别算法的机器学习。我们则根据机器学习的评价机制，不断提高仿真场景的真实度和摄像头仿真模型的可靠性。

图为摄像头识别算法验证

目前我们在无人驾驶仿真领域成绩还不错，不仅得到了国内的车厂、无人驾驶算法公司的认可，与德国的客户也有良好的合作。

实时交通流仿真，为交通拥堵时时把关

道路和交通数据的结构化不仅可以用于无人驾驶仿真，其实时的交通流模拟和实时的数据结构化，还能在整个交通系统中发挥更大的作用。

基于路侧摄像头的交通实时数据流，我们与合作伙伴共同抽取和平滑车辆轨迹，以实现虚拟环境中交通流的镜像还原，将非结构化视频数据转化为可追踪和分析的结构化数据，为交通的实时预测以及科学决策提供模型依据，由此实现提前预警、实时应对、决策分析及规划优化。

同时，我们可以从这些结构化的交通流数据中抽取典型的标准工况和危险工况案例，并利用案例泛化功能，用于无人驾驶算法的测试和迭代进化。

在51VR的仿真训练平台中，随着训练数据不断被沉淀，这些数据又能反哺到算法。

图为51VR实时交通流仿真 

实时仿真能力会是未来极为重要的能力，它将超越大数据，对真实世界产生更为深远的影响。

比如，预测当前北京早高峰和晚高峰的交通系统是否合理，是否需要调整。

对于这个问题，交管局不可能给出一百种措施，一一试错。但在仿真系统中，却可以尝试一千种，乃至一万种方式，无论是增改某条道路，还是优化交通信号灯等等，让系统去找到最优解，让决策变得更科学。 

再比如，当一个城市面临二十万辆无人车上路时，交通系统会出现什么异样？ 在规划一座新城时，重要基础设施的位置设定将如何影响人流走向……这些靠大数据已经不足以解决的问题，正是实时仿真大展身手之际。

城市智能，从操控到模拟的未来之路

仿真能力不仅可以用到交通上，还可以用到城市中。我们所开发的51City OS，就是希望用这个能力让城市变得更加智能。

比如，在这个系统中，监控系统不再是几十个割裂的单个画面，而是所见即所得。由于整个园区被做了完整的3D还原，既可以直接从上帝视角观看园区的总体人流热力图，又可以直接查看和调取任意位置的详细监控画面。

图为51City OS 智慧园区可视化运营平台

由于监控系统跟安保系统做了底层的数据打通，因此，针对异常情况可直接从画面中调集最近的安保人员，安排其前往查看。

除了监控、安保外，这个平台可以叠加一切数据，实时分析、实时调动、实时控制。

当然，要做这个系统并不容易，需要打通好几个层次。

首先是接入层。接入层需要对接各种类型的软硬件接口，好比Windows系统中需要对接各类硬件接口。各类硬件，比如传感器等接入进来后，才能构建超级API。

第二层，数据层。这一层主要是对接入的软硬件产生的数据进行清洗和整理。它们既包括结构化数据，也包括非结构化数据。如果是非结构化数据，我们就需要对数据进一步结构化。

第三层，界面层。这一层主要解决数据孤岛的问题。通过51City OS系统，所有的数据在一个界面被打通，且基于一个界面进行展示。任何人只用十分钟的培训就可直接上手，操作非常直观。这跟Windows中的UI界面相似。

第四层，应用层。这一层主要解决操控的问题。所有接入的物联设备均已实现联动，管理人员可以在一个屏幕上完成所有的操作，和在Windows系统中直接点击应用程序一样方便敏捷。

再往下一个层次，就是仿真模拟层。未来，随着系统的不断完善，我们会将仿真能力接入进来。那时，这个系统就能真正服务于更多的超越大数据的模拟需求，提供园区、城市级的最优解决方案。

51City OS自去年12月推出以来，五个月时间已落地十余座城市。每一个客户看到这样的操作系统，都很震撼，而且反馈真正受用：人工成本极大降低，运营人员的学习成本大大降低，管理变得更直接，效率极大提升。

图为51VR为海外某城市打造的智慧城市管理系统

无论是应用在无人驾驶训练、交通流预测上的实时仿真，还是在软硬件集成基础上从操控到模拟的城市级系统仿真，都是在不断融入越来越多的数据过程中，让操控、训练和模拟变得更加真实、准确。

同时，这个集极致可视化和实时仿真于一体的环境也在不断进行自我学习，不断通过数据的喂养变得更加聪明，变得具有自生长的能力，从而完成系统层面的AI化，形成具有强大功能的数字孪生世界。由此，这个数字孪生世界也将在更大场景中实现规模化预测，实现更多在当前真实世界中不可想象的创造。

当然，回到当下，只有极致的可视化和实时仿真能力过硬了，数字孪生的规模商业化，才有实现的可能。

。