专访美团点评 AI 技术团队负责人何仁清:全球规模最大的智能配送调度系统是如何建成的
雷锋网 AI 研习社按:互联网影响着社会的方方面面,作为O2O和共享经济的代表,美团外卖经过几年高速发展,以每天配送超过千万份订单、几十万骑手的规模,成为世界上最大的配送平台。实际上,看上去劳动密集型的外卖行业,其实背后蕴藏着大数据、云计算、物联网、人工智能等高新技术,是这些高科技,使美团外卖能够在激烈竞争中逐渐脱颖而出。
这些高新技术的核心,则是被称为「智能大脑」的 美团实时智能配送系统 。这套大规模、高复杂度的多人多点实时智能配送调度系统,能够基于海量数据和人工智能算法,给最合适的配送小哥发送「最优配送指令」,确保平均配送时长不超过 28 分钟。简单地说,就是既保证用户「等的时间短」,同时又让骑手「跑的路程短」。
美团配送算法团队耗时两年多打造了「智能大脑」,解决了机器学习、运筹优化、仿真技术等多方面的技术难题。雷锋网 (公众号:雷锋网) AI 研习社采访了「智能大脑」团队负责人何仁清,让他从总体架构、技术难点、改进方向、语音助手等方面揭开「智能大脑」的技术内幕。
以下是雷锋网 AI 研习社采访原文:
Q:美团智能配送系统每天要处理千万级的订单,管理近50万骑手,对于这种复杂问题的求解和优化很多大公司都还无从下手,你能否简单地向读者介绍下美团智能配送系统的技术框架?
A:美团智能配送系统可以让即时配送全业务流程高效运行。从技术上看,系统可以分为基础平台建设、垂直业务优化两方面。在基础平台建设上,我们开发了面向即时配送的机器学习平台、仿真平台以及大数据平台。其中,机器学习平台提供若干数据预处理、机器学习算法工具包等等,并完成了底层大数据平台与线上系统的对接,提升了机器学习模型的迭代效率;配送仿真平台实现了对配送全过程的精准模拟,能够有效地进行各类配送策略的离线评估和 what-if 分析,而算法支撑平台主要包括离线/在线特征管理平台,线上策略管理平台和 A/B 实验工具等等。
在垂直业务优化上,我们开发了配送网络优化系统、实时调度系统和定价系统。通过配送网络优化系统,为配送区域划分商家配送范围提供智能化的工具支持,辅助建立合理的底层配送网络结构。通过实时调度系统,实现订单和骑手的动态最优匹配,大大提升了配送效率;同时,通过定价系统,实现对用户端、骑手端、商户端的合理定价,为即时配送的各参与方建立良好的生态系统,实现了多方共赢的目标。 下图整体展现了美团配送的人工智能技术体系。
Q:骑手在配送外卖的过程中难免会遇到一些突发状况,比如恶劣天气、交通事故,美团智能配送系统对于这些不确定因素是如何应对的?
A:我们总结了突发情况的特点,包括突然发生、局部影响大、扩展迅速。如果不及时处理,就会造成大面积的订单积压,对用户体验影响非常大,也不利于骑手骑行安全。所以,我们在系统的多个重要环节,都配有突发情况的应对方案,统称为「供需平衡系统」。
首先是实时监控和短期预测,对未来N分钟的订单规模和运力进行准确预估。其次是核心调度策略自适应调整,比如延长预计送达时间,提高合单概率,减小骑手行驶距离。然后,通过动态定价策略,让用户错峰下单,激励更多骑手开工,保证供需的整体平衡。 同时,我们正在推广智能语音助手和智能耳机,减少骑手在骑行中的查看手机等危险行为,解决了在雨雪天气操作手机困难的问题,让骑手配送更方便、更安全。
Q:在配送的过程中,有些数据无法直接采集,比如出餐的时间、骑手自身的状态、骑手上下楼的时间、天气及交通数据等,对于这类数据美团是怎样获取、预估和优化的?
A:美团点评的数据闭环是配送系统的核心能力之一,骑手可以触达城市的每一个角落,收集到的完备并且准确数据,而且这些数据都具备非常高的商用价值。
当然,数据采集的渠道很多种,常规的是商家端、骑手App。比如采集骑手手机的各种蓝牙、WiFi、GPS、传感器数据。这些数据与配送场景结合,可以挖掘很多信息,比如上下楼时间、到店时间、出餐时间等。同时还可以精确还原骑手行为,包括骑行、步行、停留、走楼梯、做直梯等等。这些精细化数据,对于提升调度和定价的精度都有很多的作用。另外,为了获取更精确和实时的数据,在商家、骑手部署智能硬件,也是未来的必然趋势,技术团队也正在进行探索和尝试。
Q:类似北上广深这样的大城市有足够多的样本量,能够比较准确地预估配送时间,相对来讲,三四线的小城市的样本量就小很多,那么在这些小城市里,美团是怎样保证配送时间的准确性的?
A:在机器学习问题上,这个属于模型泛化能力范畴,具有很多解决方案。
首先在特征工程上,构建多种泛化特征,比如区域个性化的特征,让模型对于区域特征具有感知。其次在模型架构上,我们针对于此类问题单独建立了补充策略模型,既保证整体效果的提升,又保证区域的个性化,不仅在区域这个维度上,而且在各种可能引起配送体验问题的长尾维度上,我们模型均有较好的表现。最后,在机器学习领域有一个很相近的概念跟这个问题有关,那就是小样本学习问题,我们也在探索利用迁移学习方式来解决这类问题。
Q:有用户表示,在订餐高峰时期,系统会通过上调配送费限制流量,请问美团智能配送系统如何调节配送价格以保证外卖配送的服务质量?
A:如前所述,为了保证整体用户体验,我们有一套完备的供需平衡系统,通过实时监测供需关系,通过预计送达时间实时调整以及配送费的实时调整,将用户下单引导到运力更充足的商圈,或者错峰下单,保证订单能够快速、准时送达。
同时,美团配送还拥有大量社会化运力,即众包骑手,我们通过调整骑手补贴方式,可以及时补充更多运力,环节高峰期的配送压力,保证整体配送服务质量。
Q:前面提到的配送系统中,包括商家配送范围划分,这个具体指什么?
A:配送成本和效率,对物流行业来说非常重要,但是我们有希望尽可能服务更多的用户,为此需要一种灵活的调整工具,这个工具就是商家配送范围,它决定在合理配送成本下,美团配送给商家提供最远配送范围。
可以看到,配送范围直接影响了用户端外卖商家的可见供给,供给越丰富,用户的体验会越好,在平台上的黏性也会越高。但是如果给用户提供了配送困难的商家,也会影响整体配送的效率,从而影响到用户的配送体验。我们通过智能AI算法,能够将商家配送范围进行整体的优化,考虑到用户对商家的需求度、用户到商家的配送难度、商家本身的供给量等因素,从而达到优化整体的订单结构的目的。
同时,这也是我们应对极端恶劣天气有效手段,之前遇到这种定价等方式无法解决的场景,只能将商家大规模「置休」来缓解配送压力,商家和用户体验很差,但是现在我们可以用缩小配送范围的方式来解决这些问题。
Q:美团智能配送系统在发展的同时,其本身是否有需要改进和优化的地方?
A:目前的我们在整体准时率和平均配送时长等指标方面,有不错的表现,但是仍有一小部分尾部体验需要我们去持续改善。另外,用发展的眼光来看,任何技术都需要不断迭代,与时俱进。一方面,随着配送业务体量不断增长,问题的解空间也不断变大,对算法的优化能力和求解效率都提出了更高的要求,我们也已经投入研发新一代调度算法,提前应对新的挑战;另一方面,配送品类、用户需求、时效承诺都在不断多样化,配送调度系统也需要保持以客户为中心,提供让客户更满意、让骑手更高效的服务。
Q:美团智能配送系统在外卖配送领域取得了不错的成效,请问相关的技术能否应用在其他业务线上?比如打车业务、酒店业务?
A:美团点评作为一站式生活服务平台,能够服务到家、到店、出行、旅行等多个场景,其背后需要强大的技术能力支撑。作为一家科技公司,我们在数据、技术、平台等多个方面,实现多个业务线的互通与合作,这也是是我们工作中非常重要的一个目标。
以美团智能配送系统的调度算法为例,在学术意义上,属于求解大规模复杂约束优化问题的在线实时决策算法,我们在这个方向的技术突破和研发成果,在打车业务、零售业务供应链优化等场景都有应用潜力。实际上,我们与相关团队之间已经开展技术交流和深度分享。不仅如此,在语音助手、地图导航、通用地址库、POI画像等多个方面,都跟我们的伙伴开展各种合作。
Q:美团配送是否也在使用社会共享运力,解决配送问题?这方面进展如何?有哪些问题需要解决?
A:美团快送就是使用社会共享运力进行配送的一种形式,现在每天已经达到近几百万单的水平。由于是使用兼职运力,对骑手直接管理能力偏弱,因此如何保证稳定运力,达到体验和成本的最佳平衡,都是亟需解决的问题。
为此,我们做了很多方面系统改造,比如在订单调度系统中加入了骑手偏好和运营奖励等因素,有效增加了骑手对平台的粘性。同时,结合大数据分析,在城市范围内的运单价格进行精细化调控,有效引导运力流向更需要的区域,进而平衡整体的运力和用户体验。
Q:美团的配送系统是如何进行评估的? 做了哪些工作,难点是什么?
A:美团的订单调度是一个全局优化问题,调度决策「牵一发而动全身」,耦合性极强,因此无法独立评价每一个订单的调度决策是好是坏。这里面有两个大技术挑战:线下仿真评估,线上效果评估。
线下仿真评估中,大家熟知的机器学习的评估指标和方法,在这里并不适用。而且线上实验中,周期较长、成本高、用户体验风险等,都是绕不过去的。 为解决上述问题,我们自主研发了美团配送仿真平台,类似沙盘演练,但是更高效更精准。该平台有几个部分构成,首先,对各种环境进行仿真,如天气、交通、供需情况等。其次,骑手行为仿真,比如骑行工具、熟悉程度、配送习惯。最后,订单分布仿真,考虑不同时间、用户类型、下单意愿等。从一定意义上讲,在工业界甚至是学术界,这也是一个前沿的开放问题。目前,我们已经做了很多有益的探索,目前平均仿真误差精度可达6%,在行业内处于领先水平。
线上效果评估中,由于全局优化特性,互联网比较通用的用户分流A/B TEST完全不适用,为了保证实验精度,我们建立了一套严谨、完备的配送评估体系,比如按用户、骑手、区域、时段等不同维度分流,排除测试干扰,提高测试的准确性,从而保证算法迭代的有效性。
Q:请问美团智能配送的机器学习技术和其他平台的有何差异?如何评价竞争对手的AI 技术?
A:应该说,技术能力在配送中作用是非常巨大的,为了给用户更快、更稳定的配送体验,同时保持业务的高效率和低成本运营,我们需要做大量的技术攻坚工作。所以,配送体验优劣与技术能力高低具有很强相关性。
同时,作为一个服务超过2.5亿用户,日配送订单超过千万的大平台,配送效果每提升1%,都会带来巨大业务效果。 因此我们有巨大的动力不断进行技术迭代优化。具体来说,有两个方面要不断优化。一方面,配送全环节的智能化建设,配送一个订单需要经过多个环节,全部环节均使用了机器学习和运筹优化技术,保证平均28分钟的配送时长;另一方面,提升业务管理和运营的AI化,比如站点规划、运力规划、骑手排班、商家配送范围等全面实现了智能化,极大提升了整体业务运营效率,降低了运营成本。
Q:除了调度系统之外,我们知道美团点评还为骑手专门开发了智能语音助手,这里有哪些核心技术是美团自主研发?它解决了外卖配送业务上的哪些问题?
A:一般而言,语音助手包括几个部分,包括语音识别合成、语义理解、交互决策等等。随着近几年深度学习模型在语音识别和合成的应用,构建出一个语音助手不是什么难事,但是够在实际场景大规模落地,依然没有那么简单。比如,我们研发的骑手语音助手,在行业内首次实现了语音AI的大规模落地,目前每天超过10W+骑手使用,能做到配送全流程语音交互,无需骑手查看手机,真正让骑手解放双手,配送更便捷、更安全。这里面我们做了很多的技术攻关。
首先,在智能耳机层面,为了配合骑手工作要求,设计防风防水去噪的智能蓝牙耳机。其次,针对语音理解层面,需要针对餐饮+物流行业,重新构建语音技术体系。最终,在交互决策层面,传统先唤醒再交互方案,在室外噪音环境下,成功率过低、体验较差。为了解决这个难题,我们基于实时配送数据建模了场景识别系统,无需人工主动唤醒,语音助手即可以完成语音交互任务,实现了「零唤醒」的语音交互方式。
Q:另外,能否说说美团智能配送系统的技术团队是如何构建和管理的?
A:总的来说,技术团队重要特征是通过「技术驱动」来完成业务目标。在业务能力和技术能力方面都要求极高。为此,我们通过横纵两个维度来对团队进行建设。
首先在纵向维度,在核心业务方向有专门团队长期跟进,对业务理解需要全面又深刻,能够覆盖业务的整个链条,同时综合能力要求较高,包括业务理解、沟通能力、推动落地的能力等,这样能够及时有效的完成业务目标。
其次在横向维度,专注于技术能力建设,为业务提供平台支持,同时要不断进技术创新和迭代,保证我们美团点评在行业内的技术领先优势。
当然,针对一些跨方向的大型项目,在项目进行期间,我们采用虚拟团队的方式进行管理,包括产品、工程、算法等多种人员,这种方式组织灵活,而且协同性很好,能够保证项目效果和进度,这也是我们非常重要的实践经验。
。