人工智能打造“功夫熊猫”是深兰科技公交智能转型之路之一

深兰 科技 自2017年开始尝试整车设计，一路至今，推出多项应用成果，同时取得多个城市的自动驾驶牌测试照。经过三年中无数次的钻研和打磨，最终形成的熊猫智能公交整合自动驾驶技术、手脉识别系统、语音交互、精准广告推送等功能，实现在公交的动力、安全、效益和服务上的全面升级。

中国公共交通行业：公交服务亟待智能技术强化乘客出行体验，扭转赤字运营

公交车是城市交通运输系统的重要组成部分。尽管我国城市公共交通近年来得到了较快的发展，但仍有乘客不断抱怨出行困难，交通成本高。为改善公交服务质量，国务院、交通主管部门曾多次在各类文件中强调公交的智能化、信息化。而后，国家于 2020 年初提出“新基建”， 让科技赋能战略深入各个层级。在此背景下，公交行业面临必然的转变，而其长期存在的痛点也亟待科技赋能，实现智能转型。

耗油及污染：油耗是决定公交车运营成本的根本问题。然而，油耗的多少不仅跟公交车况有关，公交车线路安排、驾驶员节油技能等因素都在影响公交车耗油情况。另一方面，由于公交车体偏大，且长时间处于驾驶状态，其尾气排放已成为重大污染源之列。

人力依赖：公交司机技术门槛要求高、工作性质单一、劳动强度大，导致从业人员不断减少，也令行业人力成本升高。

舒适度与安全性局限：由于公交车中乘客构成繁杂，车内设施总体落后，无法对个别抽烟、盗窃等异常行为进行实时干预，导致全车乘客出行体验乃至人身安全受到影响。

线路长期亏损：由于公交系统属于利民服务，公交车的收费相对低廉，大量公交线路长期处于亏损状态，运营商收入总体依赖政府补助，难以有余力主动升级车辆设施，改善服务效果。

智能公交应用内案例解析：以深兰科技打造熊猫智能公交车为例

如何让先进的AI技术与城市交通工具加速融合并实现 商业 化落地，在增加民众出行舒适度的同时也扭转运营商长期赤字的窘境一直是深兰科技思考和探索的课题。

深兰科技拥有庞大而完善的人工智能核心技术研发体系及大量科研人才，并常年基于此优势在自动驾驶技术领域蓄势，逐步建立技术壁垒。近年来，深兰科技先后在CVPR、ICCV、ECCV、NeuIPS等世界顶级学术会议的算法竞赛中获世界冠军。其中，2019年ICCV COCO & Mapillary挑战赛Mapillary Vistas目标检测赛道中，任务内容与自动驾驶车辆的感知能力有着强关联，强调识别静态街道图像对象(如路灯、标志、标杆)和动态街道主体(如 汽车 、行人、自行车)的能力。而深兰科技在此次竞赛中一举夺冠，奠定了公司在自动驾驶领域的优势地位。此外，深兰科技在生物智能、边缘计算等技术领域同样有着技术优势及落地产品，为构建自动驾驶汽车打下深厚的基础。

另一方面，深兰科技自2017年开始尝试整车设计，并持续推出多项应用成果。2018年6月，深兰科技推出新零售和自动驾驶的结合产品——芭提雅自动驾驶移动零售车;同年9月，首批12米熊猫智能公共交在常州和长沙试跑。2019年，深兰科技引入氢能源专家团队，进入氢能源车的自动驾驶领域。

在此后的两年里，深兰科技陆续取得多个城市的自动驾驶牌测试照，熊猫智能公交也在全国各地实现商业运行。经过三年中无数次的钻研和打磨，最终形成的熊猫智能公交成功实现在公交的动力、安全、效益和服务上的全面升级。

一、核心技术——智能驾驶系统

深兰科技熊猫智能公交车是一款大型人工智能、自动驾驶客车，总长约12米，以磷酸铁锂电池为驱动。其智能驾驶系统由感知域子系统、决策控制子系统、线控底盘系统三大部分组成。感知域子系统通过车辆周身布置的传感器探测环境信息，感知数据汇入域控制器，进行感知数据融合处理，同时结合车路协同路面交通信息及地图数据输出车辆行驶环境模型。为最大化实现公交车的感知能力，车身安装了毫米波雷达、激光雷达、车身超声波雷达阵列以及大量摄像头，从而全方位采集车身周边的环境信息。

由感知传感器采集的信息将传输至FPGA车载高性能集成计算总成，通过各传感器的时间和空间同步、数据融合处理，完成对车辆周围交通环境的感知。而自动驾驶计算单元X86实时控制器根据环境模型信息进行规划、决策与控制，输出驱动、制动和转向控制命令，经由整车控制器转发车辆线控底盘相应执行机构执行控制命令，实现车辆的自动驾驶功能。此外，X86实时控制器同样负责车身失效故障诊断与安全策略保护，将必要信息通过HMI(人机交互——中控屏)或车载语音播报设备提供给司机或车内成员，在必要时切换手动操作，保证驾驶安全。

为保证熊猫智能公交车的整体性能，其车载高性能混合计算平台采用了ARM和FPGA混合计算架构，峰值功耗低于35瓦。同时，平台具备完整的标准车用I/O和整车通讯端口，控制计算总成采用全车规设计，自然风冷，实现IP67防护等级，满足整车控制和感知融合的计算要求。而嵌入式软件架构则保证操作系统响应在1毫秒之内，满足高实时性要求。在硬件架构方面，熊猫智能公交车采用x86+ARM+FPGA模式。X86CPU配有专用实时内核，在操作系统发生死机或重启，实时内核仍能够正常运行，相较于业界常用的普通工控机+GPU板卡模式具备更高的可靠性。

综合一系列技术优势，熊猫智能公交车可实现：

二、效益提升——精准广告推送系统

公交车属于便民服务，也是社会必须的交通设施，其票价在全球范围内远低于国际水平，因此我国大多公交线路长期处于亏损状态已是公认的普遍现象，国家为保证公交服务的存在每年需要为运营商提供大量补贴。为控制成本，公交车从有人收费变为无人收费，运营商也尝试在车内安装广告屏试图创收。然而，单向的广告投放难以统计成效，广告商对于用户关注重点、喜好反馈乃至最重要的转化率难以形成客观的数据参考。因而公交车的广告位长期处于一个尴尬的位置。

为实现公交运营商的效益提升，熊猫智能公交整车搭载有7块广告屏，并基于眼控计时广告系统，结合屏幕所配备的高清摄像头进行高精度的用户行为记录。深兰科技眼控计时广告系统引入近距离眼球朝向识别技术，在广告播放的时间段内，系统将摄像头实时获取的客舱内乘客观看广告情况的图像进行算法处理和敏感数据脱敏处理，在保证乘客隐私的前提下，推算每位乘客的观看时长、性别、年龄段等乘客画像数据。系统可基于这些数据精准统计每段广告的投放效果，并以此推送喜爱一时间段的广告内容，并且可根据观看人数及其观看时长进行增值计费，使广告投放效果做到更加精准有效。

三、智慧出行——智能公交设施

为优化乘客的出行体验，深兰科技为熊猫智能公交部署了多项智能应用，包含手脉识别扣费系统、语音交互系统以及无人零售系统。

手脉识别技术是高精确生物智能识别技术。通过深兰科技自主研发的特征提取算法，系统可通过近红外传感器，以非接触形式采集乘客皮肤以下3毫米处的内部活体特征，实现基于手脉的生物识别身份认证。乘客上车后可通过扫手动作完成自动扣费，比 手机 扫描二维码更为便捷。

针对乘客对路线信息、实时路况、站点周边设施等出行资讯的需求，熊猫智能公交所搭载的语音交互系统可根据车辆运行中所收集到的实时信息，以语音交互的模式为乘客提供信息服务，免除驾驶员分散注意力的风险。

在此之上，熊猫智能公交设智能有无人零售柜，其无人零售系统基于深度学习算法、计算机视觉等人工智能技术搭建。系统采用AI摄像头360度精确识别商品，自行完成贩售工作。结合手脉识别技术，乘客可使用扫手支付，体验“拿了就走”的便捷购物体验。另外，依托大数据分析，无人零售系统同样能够记录并分析乘客消费情况，帮助供应商按需配置商品库存，实现精细化运营。

四、出行安全保障——乘客异常行为监控系统

公交车属于公共区域，其乘客身份复杂，个体的异常行为会影响到全车乘客的舒适度与出行安全性。针对公交车内场景，深兰科技为熊猫智能无人车部署了异常行为分析系统，基于上文介绍的眼控广告摄像头对拍摄范围内每位乘客诸如吸烟、受伤、物品遗失，乃至偷窃等异常行为做出反馈，并在车内显示屏联动提醒。其具体功能包含：

吸烟检测：采用one-stage的检测模式，由烟雾检测器将不同特征图谱(feature map)获得的bbox指标，经过NMS(Non-maximum suppression非极大值抑制算法)方法生成指标集合，从而让吸烟分类器对检测结果进行分类。同时，系统配有多种定制的增广算法，提升分类器的的精准度，完成吸烟行为识别。

乘客区域智能侦测及预警：基于眼控广告摄像头，系统可对车厢内乘客区域、特定物品放置区域、币箱、后门下客缓步台、车内配电仓门等重点区域进行智能检测监控，对乘客进入危险区域、快速移动(车厢内有紧急事件乘客快速移动、聚集等)等行为进行侦测预警。同时，系统可结合目标检测器识别乘车环境内的包和人的状态，判断摄像头区域内是否存在包裹遗失现象，自动发出丢包提示。

偷盗检测：通过摄像头获取图像信息，先对车上乘客做检测和跟踪，并得到乘客的时间序列;随后通过使用two stream的方式对相关的两个行人之间的行为做判别，实现可疑/非可疑动作分析和判断，以实现偷盗识别。

摔倒检测：结合摄像头所采集的数据，通过乘客关键点检测器，跟踪模块，关键点分类四个模块，结合图像背景检测判断当前目标是站立或摔倒的状态，并将摔倒的识别结果进行告警。

五、应用成果——深兰科技造车之路

截止目前，深兰科技凭借熊猫智能公交车已先后参与“广州5G营运车辆自动驾驶与车路协同示范区”、“天津中心生态城5G-V2X智能公交运营示范线”以及“武汉中央商务区自动驾驶公交商业运营示范线”的建设工作。深兰科技熊猫智能公交车已然成为公司拳头产品。而成就的背后，则是深兰科技在过去三年的反复磨炼与坚持的“造车之路”：

2018年，深兰科技于6月推出芭堤雅自动驾驶移动零售车，结合新零售与自动驾驶技术，以“买东西，叫一个店”的模式在上海首批上路服务;同年9月，首批12米熊猫智能公交车下线，于常州和长沙试跑。

2019年，“AI闪耀一带一路——熊猫智能巴士发布会”于1月在上海召开，同时在四个城市同时上路测试。随后于四月，天津政府批量采购熊猫智能公交并上路载客运行。同年6月，深兰科技围绕清洁卫生场景推出“熊猫扫地王”自动驾驶环卫车，在多个城市的公园、广场、地铁站等场景提供服务。而在2019年8月，深兰科技正式引入氢能源专家团队，并针对城市配送场景推出熊猫物流车，正式踏入新能源自动驾驶领域，为动力升级打下基础。

2020年，熊猫智能公交车厚积而薄发，先于6月通过深圳自动驾驶测试，商业运行坪山高铁站线;又在7月上路武汉，服务武汉市中心CBD线路，成为中国首个商业运行线路。

至此，深兰科技是国内唯一获得长沙、上海、武汉、广州、深圳大型车自动驾驶测试牌照和武汉商业营运牌照的(5+1)企业。 同时熊猫公交也是通过工信部公告进入整车目录的可批量生产的智能巴士。

在此之上，基于公司在人工智能、自动驾驶等综合领先科技与落地经验所构建的优势，深兰科技将进一步推出45吨自动驾驶熊猫重卡，并于2021年2月8日在上海总部大厦举行项目签约仪式。根据协议，深兰科技将在两年内实现1000台以上自动驾驶+氢能重卡的交付，与大型港口集团、能源集团及运输集团等大型央企资源客户合作，共同在全国范围内重点港口、物流、矿山等应用场景落地无人驾驶重卡和氢燃料重卡产品。