腾讯微校发起“百校光盘行动” 借力AI打造节约型智慧食堂

近日,腾讯微校联合上海交通大学、深圳大学、中国美术学院、吉首大学等全国42所高校,基于AI技术,发起了一场别开生面的“光盘行动”。目前,活动已吸引了超十万名学生参与,厉行粮食节约开始在各大高校蔚然成风。

(学生在使用“光盘”小程序)

今年9月,教育部正式印发《教育系统“制止餐饮浪费 培养节约习惯”行动方案》。《方案》指出,要引导广大师生牢固树立勤俭节约意识,切实养成勤俭节约的良好习惯。在2020年秋季学期的基础上建立健全学校餐饮节约管理长效机制,结合 科技 创新手段及绿色学校创建,因校制宜制定针对性、操作性、实效性强的举措,重在从根本上解决学校餐饮浪费问题。

响应方案号召,腾讯微校联合各大高校发起了“百校光盘行动”,运用AI智能识别“光盘”,鼓励高校学子节约粮食、杜绝餐饮浪费,同时推进节约型智慧食堂的搭建。”背后的技术支持,来自腾讯AI Lab提供的基于深度学习的AI智能识别系统。据了解,通过自动数据增强、迁移学习和知识蒸馏等技术,“AI光盘识别系统”在40毫秒内即可高效、稳定、准确地识别盘中食物存留情况。“AI光盘识别系统”准确率可达到98%。

A I 识别“光盘”引爆学生参与热情

10月22日,上海交通大学闵行校区的食堂中,学生们在就餐后,掏出 手机 ,打开“交我办APP”,在“交大V卡”里直接拍照上传了光盘照片。当系统识别为“光盘”后,学生们获得了用餐代金券的奖励。代金券可以用于下次消费或者用于自动抵扣,光盘累计达一定次数后,就可以兑换学校提供的特色奖品,其中还包括一些特产,比如来自上海交通大学定点扶贫县——云南洱源县的特色饮料。

上海交通大学的“光盘活动”上线于9月11日。在开学伊始,上海交通大学网络信息中心与后勤保障中心就推出了“‘光盘’换好礼,文明‘益’起来”为主题的光盘行动。为了让活动持续落地,有效激励师生不留剩饭剩菜,上海交通大学联合腾讯微校,率先尝试使用AI技术来检测“光盘”,用科技打造智慧型节约食堂。

学生们上传的照片,经过腾讯AI Lab的智能识别系统,能够快速识别食物存留情况。截止至11月6日,上海交通大学数万名师生参与了这次“光盘行动”,完成人次超8万。

“参与‘光盘行动’不是为了红包,而是觉得活动本身非常有意义。学校推出的这个活动新颖又有趣,激发了我们参与的积极性。”上海交通大学的吴同学说道。

(上海交大食堂就餐指数图)

“AI+光盘”并非上海交通大学首个将科技与食堂相结合的项目。在此前,为了做好疫情防控,上海交通大学后勤保障中心就和网络信息中心合作推出了“上海交通大学食堂就餐指数”,实时发布各食堂就餐人数信息,引导师生错峰分时就餐。不仅如此,师生们还能查看更详细的餐厅各楼层的用餐人数分布,实现分流就餐。

AI“检测员”背后:为期7天的研发抢时战

让AI来充当光盘“检测员”,是如何实现准确“光盘”的准确定义的?这背后是一场7天的“抢时战。”

9月4日,上海交通大学在 微信 群里向腾讯微校及AI Lab团队发出了合作要求。接到需求后,腾讯微校产品副总监李鑫和研发工程师蒋子良当天就商量出了产品方案。第二天方案成型后,两人便开始同步收集大量的餐盘照片,为之后AI Lab做图像识别、数据分析来提供数据。

“通过AI技术来识别光盘是一个听起来很酷的想法,但一开始我们并不确定能否真的做到。”李鑫说道。他们唯一能做的,就是跟时间争抢更多的时间。

从产品方案生成后,短短两天时间内,李鑫和蒋子良的团队就完成了初步的产品设计,并人工识别了近900张“光盘”图片。9月7日,AI Lab加入了这个项目,此时距离上海交通大学9月11日开学仅剩4天了。

在短短4天时间里,AI Lab工程师完成了数据采集、建立模型、训练并优化模型、版本测试以及最终的上线。从第一张带有餐盘的“光盘”图像上传成功,到下一张留有剩菜的“非光盘”图像上传成功,再到第十张,第一百张……直到第九百张图片上传成功,第一阶段的数据采集初见成效。

但问题又随之而来,“光盘”或“非光盘”的识别该如何做到准确定义?餐盘中有吃剩下的骨头,算不算光盘?骨头又分为脆骨和硬骨,那照片中发现可食用的软骨算不算光盘?喝剩下的汤,汤中没有肉和菜,“光盘”了吗?真实场景中遇到的问题远比最开始的设想更复杂。

(AI工程们观看近万张图片用于开发算法)

为解决这个问题,腾讯微校产品团队和AI Lab工程师在后台逐一查看了每一张图片,并进行定义分类:光盘,或者非光盘,同时还要定义这个过程中可能产生的歧义,例如将硬骨和脆骨进行单独标注,并把定义变得易于让机器学习并理解。

在数据量不断增加,准确率不断提升的过程中,定义被干扰的问题又产生了——有学生拍了外卖塑料杯,甚至拍了电脑屏幕上的“光盘”来参与抽奖。这些数据该如何定义?团队经过商讨后,提出了这样的解决方式:严格定义正常数据,仅当上传的图中含有托盘或者餐盘时,才能被识别为“光盘”。

“这也说明学生们的参与度很高,那我们活动的初衷和意义就达到了。”蒋子良说,“要通过科技的力量来提升一种文明借鉴的新‘食’尚、新风尚。”

据了解,在AI Lab智能识别系统的持续、深度学习下,光盘识别的正确率已经从最早的85%提升到了98%,通过自动数据增强、迁移学习和知识蒸馏等技术,AI算法可以在40毫秒内准确判断盘中食物存留情况。

未来:A I 将从高校食堂走进社会场景

11月4日,在深圳大学,“光盘行动”正在进行。学生们在食堂用完饭菜后,熟练地拍照上传到微信校园卡小程序,利用AI智能识别技术,一键识别自己的餐盘是否达到了光盘标准。

“原来我们要在饭堂收餐处放几个垃圾桶,现在只需要一个,学生的剩饭剩菜也少了很多,也减少了我们的工作量,提高了工作效率。”深圳大学食堂班长阿姨说道。

据深圳大学学生部副主任徐晓玲介绍,从上学期开始,学校就在推动落地“光盘行动”。学生们参与积极性和热情很高,在本期11月2-3日,仅2天时间,就有2万人次提交了“光盘”数据。接下来,学校还将继续深入落实“光盘行动”,并落实到理念教育层面。“通过AI技术手段,能够帮助学校更好地了解学生们参与的情况。光盘行动不仅仅是学校层面的行为,也不仅仅是一时的行为,更要发动家庭、组织、社会、全体公民一起参与”。与此同时,深圳大学还将不断提升智慧校园的建设度,提升师生教学效率和幸福感。

(“光盘”小程序AI拍照识别系统)

李鑫也表示:“在深圳大学信息中心的指引下,将科技的力量遍及到了校园的细小角落,切实地推动智慧校园的落地,将为高校建设提供借鉴经验与普及意义。”

而在另一方面,腾讯研发工程师张勇表示,尽管98%的准确率已经达到了一定水平,随着参与的学生、学校越来越多,他们也需要不断打磨现有的模型,以追求更高的准确率。

对模型进行调优、纠错、训练,从而使它拥有更多的辨别和更好的运行能力,是一个持续动态的过程,腾讯AI Lab研究员樊艳波形容,“有点像是在养一个孩子。”在前期数据量不够多的情况下,做好预训练模型,为后期正式上线提供一个可迁移的、学习能力和知识储备充分的参考对象,再加上自动数据增强、知识蒸馏技术来丰富这个“孩子”的知识和见识,不断塑造能力的多样性,才能够达到“40毫秒稳定准确判断”的运行效率。

但在这个训练过程中,“孩子”会不断犯错或提出新的问题,AI Lab要做的,就是不断纠错,不断提升它的识别能力、反应能力,让它可以“站在一个巨人的肩膀上来做后面的事情”。

一个“孩子”培养好了。后续却有更多的事情要做。

未来,这场“实验”还将持续升级,从高校食堂走向更大的社会场景,走进企业、走进家庭,它甚至可以不设人员限制,从师生到程序员、运动员,均可实现一部手机随时参与“光盘行动”,真正感受到“AI技术原来就在眼前”。

而作为全国最大的高校微信生态服务平台,腾讯微校提供了以微信校园卡和腾讯校园码为核心的数字校园整体解决方案,正在成为校园服务和师生的连接器。未来,腾讯微校还将深入更多高校,助力教育智慧化新时代的发展。