当学习变得好玩，会否让你走得更远——作业帮直播课的AI努力

老师提个问题，小朋友们一起喊出答案，这是学校课堂的景象。1月27日开始，这个场景也会在线上课堂呈现了。

在作业帮小组直播间上课的同学，从这一天开始，可以听到同组同学的发言。而老师也能听到小朋友们的“发言实况”。

它模拟的，正是线下课堂的互动氛围。

作业帮小学产品负责人曹越说，希望能让小朋友们有线下上课的感受：有小伙伴一起学习，有老师关注着你。

模拟这样的氛围，不是件容易的事。仅就“听到彼此”这个集体发言功能的升级版，大家就努力了几个月。程序员们还加班加点，进行了技术攻坚。

而这只是作业帮借助AI技术，增强课堂趣味性的一个最新功能。

技术服务于教育需求。仅小学课堂，在2020年推出小组直播间后，就怎么增强小组体验，怎么更靠近真实课堂等方面，不同的AI功能被开发上线。

对于很多地区的小学生和他们的家长，AI可能还是个比较遥远的名词，不过小朋友们课堂上喜欢的“比心”、“弹幕”，以及他们现在能听到小伙伴的声音，依托的都是AI功能。

“有趣，有方法。”曹越说，这是小学产品理念。让在线课堂有趣，培养孩子们的学习习惯、学习方法。

在小学产品经理聂靖骐看来，对于孩子们，尤其对于小学低年级的孩子，课堂有趣很重要，“他觉得有意思才可能去理解它”。

老师，我还举着手呢

“我们想，能不能在大班的模式下，尽可能给用户更好的体验。”1月25日，作业帮小学产品负责人曹越说，随着早先大班直播课的发展，一个老师可能面对太多学生。学生可能会感觉老师关注不到自己，从而不好好听课，尤其是小朋友。

为增强学生更偏个人的体验，以及学习了现实课堂的分组教学，曹越他们打造了大班课小组直播间模式。

2020年1月，作业帮小学课程直播模式升级。登录后，小朋友们会发现自己有了小组。每6个学生一组，每6组形成一个班。

 

与小组直播间一起上线的，还有双向视频。以前直播只有孩子们能看到老师，这次升级后，老师也能看到孩子们了。

从老师一端，可以随时翻动屏幕，看到不同小朋友的状态。

跟随观察新功能、新产品的使用，是产品经理们的日常。曹越说，观察课堂，会发现老师和孩子们的互动是很多的。尤其双向视频打开后，老师可能提醒孩子坐好，或者告诉小朋友大家很棒，给自己点个赞。而曹越他们也很快注意到了一个问题。

“孩子点赞之后，老师没说＇把手放下去＇，孩子可能都不会把手放下去。”曹越说，孩子做完一个动作，他很难知道老师有没有看到。也就是，缺乏反馈。

但一个老师可能同时面对成千上万个学生。这样的场景，AI是不是可以帮一下老师？

小组直播间上线后，小组、小班的感觉增强了，怎样增强互动性，怎样更好地激发学习兴趣？

“我们想在直播间里，再做一些更好玩儿、更有趣的东西。”聂靖骐说。

 

如果感到幸福，你就比个心

“我们希望那些常见的手势，可以被（机器）识别出来，系统可以给一些反馈。”曹越介绍，手势识别这个功能，初衷是及时给孩子们反馈，增强课堂互动性。

“当时也具备了这样的AI能力，”聂靖骐说，小组直播间上线后，大家也希望能利用好AI，做一些有意思的事。

几个月后，大约2020年四五月份的时候，产品和技术部门讨论，确定了要做手势识别。

首先去识别孩子们最常用的一系列手势，比如比心，点赞，ok等。

问题随之而来：孩子们来自全国各地，他们打手势的方法可能很不一样。例如比心，有这样比的，有那样比的；有单手的，还有双手的。

“最早定义手势比较难。怎么样去定义一些更通用、更简洁的手势。比如说比心这个事，每个人都不一样，但是技术不可能包容（所有）。”作业帮智能技术实验室负责人王岩介绍。从技术上，最终的目的，是要保证大家的理解是一致的。

手势识别，简单说，就是让机器“看”到屏幕前一个小朋友的一个动作，它要认识，要给出回应。

要让机器去认识手势，先要告诉它某个手势是什么意思。

先要收集手势。主讲老师向小朋友们发起了手势征集，征集来几千个小朋友比手势的图片。

王岩介绍，当时，工程师们还给自己写了个小程序，团队的工程师假装是小朋友在上课，去比划手势。

收集同一手势的不同图片。去掉不多见的手势，留下常见的，做成模型，然后训练机器去识别。

几个月后，2020年暑假课程，第一版手势识别上线了。

 

这个功能很快就俘获了小朋友们的心。

在暑期课后的问卷调查中，9000多名参与的学生，约94%的孩子表示非常喜欢。

他们最喜欢和最常用的，是比心，点赞和Ok。积极而向上。

 

同学你去哪儿了，回来上课

依然是从2020年暑假课程开始，细心的小朋友会注意到，眼前的屏幕变得非常酷：它不仅“认识”自己做的动作，还能“注意”到自己有没有好好听课，乃至能“看”到自己离屏幕有多远。

如果没好好听课，就可能会收到辅导老师的信息提醒，或者妈妈会接到老师电话。

好有意思。

“家长负担很重，还要陪着孩子上课。而如果是线下，我交给老师，老师帮我看着。”曹越说，利用AI技术，赋能在线课堂，可以给老师们提供很多利器，甚至辅导老师能帮家长看着孩子。

这些利器中，最显著的一个是孩子们的专注力检测。

也就是，利用AI去判断孩子们有没有认真上课。

“就是AI会帮我们辅导老师筛选出来：要关注这10个孩子，他们现在的专注力已经很低了。”曹越举例，这时候，辅导老师就会去重点看一下这10个孩子。

这个功能，技术上其实很难。

“比如他有可能发呆，但是画面跟沉思没有什么太大区别。”王岩介绍，专注力有很多维度，怎么去定义它，本身就很难。

“这个东西很主观，什么样是专注？”曹越说，比如你可以说不正视屏幕是不专注，但这个孩子他可能低头记笔记。他说，就怎么定义专注力，他们做了非常多的“细维度拆解”。

聂靖骐介绍，刚开始时，很多情形下机器可能判断不准。比如孩子上课的环境，灯光比较暗，机器“看”不到，它可能认为你离席了。

离席检测是与专注力一体的一个功能。目的都是关注孩子的上课状态。

“线下，有老师的参与。但线上，（如果）家里没有其它人，小朋友自觉性可能会比较差，离席检测相当于监督他的手段。同时也让小朋友觉得更有意思，更自觉。”作业帮视觉实验室程序员杨森介绍。

功能很酷，但是不是准确更重要。系统多一次错误，老师就会多浪费一次时间，孩子也会被打扰到一次。

王岩说，开始的时候，离席检测准确率不够高，他们就去重点优化。大家把几个问题严重的异常case梳理出来，针对性的分析解读，把准确率提高到了90%。

 

除了判断孩子是否专注，机器还能够判断孩子是否距离屏幕太近。

如果发现小朋友离屏幕太近，系统就会弹出一个气泡来提醒。聂靖骐说，这中间有个平衡问题，不能提醒太频繁，打扰听课。

“比如看到你头都要贴在屏幕上了，就发个提醒。”杨森说，提醒的使用，是非常严格的。

 

小朋友，你咿呀说的是啥？

还是从2020年暑期开始，小朋友们还会发现：咦，可以跟屏幕说话？它不但能听得懂，还会把自己说的话飘在上面。

这个暑假，作业帮在在线教育行业中，率先推出了弹幕功能。

“以前，老师提一个问题，学生需要点一下输入法，一下子就占了半个屏幕在下面打字，这样的体验很差。”作业帮智能语音技术负责人王强强说，尤其对于低年级的小孩子，一二年级，他们可能还不会打字，或者打字很慢。

但老师和学生又是需要互动的。老师想要知道学生听课的反馈，而孩子们需要表达，“就像我们在正常的课堂那样”。

有了语音弹幕功能后，老师问一个问题，学生的页面上会直接跳出来一个小话筒，他可以直接对着屏幕说话。

然后AI会识别孩子们的发言，“汇报”给老师，比如最高频的4个回答是什么。

鼓励孩子开口，参与到课堂中。

“营造很有意思的课堂氛围。”产品经理聂靖骐介绍，语音弹幕最主要的使用场景是小学语文。例如老师读完一个故事，问一个开放性的问题，学生就可以直接说。

聂靖骐说，老师们也很喜欢这个功能，例如问孩子们是不是听懂了，可以很快收到反馈。

从学生的角度，他不用打字，可以快速回答。

王强强介绍，2020年暑期前，他们小规模测试弹幕，发现小朋友很喜欢，孩子们会觉得很智能，屏幕能听懂自己说话，很惊喜。

暑假正式上线，高并发的问题来了。

什么是高并发？作业帮直播课，有时几千、几万乃至更多的孩子一起上课，老师同一个问题，当孩子们一起开口回答，就是瞬时高并发。

王强强举例，想象一下春晚抢红包的场景，几万路瞬时打进来，“而我们相当于天天抢红包”。

也就是，机器需要巨大的“脑容量”，去支撑巨大的瞬时识别能力。

“我们当时压力特别大。”王强强说，最后是作业帮副总裁罗亮拍的板，加机器。罗亮说，这个功能挺好的，不能因为成本变高就不让孩子们用了。

“最后买了那么多机器，硬是把它给扛住了。”王强强说。

除了扛住高并发，要让机器识别出孩子们在说些什么，也不容易。

“一个是，他说的可能不太清晰。然后还可能，他说的话，跟老师的提问没有关系。甚至和中国话、外国话都没什么关系，小朋友自创语言。”王强强说，还有时会混有家长的一些声音。

还有口音问题。学生们来自各地，很多孩子来自三四线、五六线城市，如果普通话不标准，或者说有方言问题，怎么去识别？

王强强说，没有更好的方法，只能不断地训练AI的识别能力。

听懂孩子们，它是个不断优化的过程。

“几千个孩子去说，一定有十几、二十个说得好的，说得更标准的。”王强强说，然后算法通过半监督的方式自动学习，增强模型。

 

一起抢答吧，可以听到彼此了

整体得分9.48分，满分10分。这是去年暑假后，孩子们对新的AI功能的打分。

产品经理张琴回忆，也正是暑期后这次问卷，他们发现在小组直播间，孩子们已不满足只是自己说。

70%以上的同学表示：想听到同组小朋友的声音。

让孩子们互相听到，实现起来，技术难度很高。

最主要是回声和噪音的消除问题。就想象一下几万人一起在线开会，作业帮流 媒体 客户端负责人曾建斌说。

到底要不要开发这个功能？产品经理去和技术的同事提需求，探讨。

大家争来争去，会开来开去，决定还是要上。

 

并且也要让老师实时听到孩子们的声音。此前孩子们的发言，老师看到的是声音转成的文字。

产品经理聂靖骐说，大家觉得这也会营造很好的课堂氛围，“我同组其他的同学在回答（问题），可能我本来不想说，我听了别人说，我也想说了。”

但也是极大的挑战，哪怕一个人的设备传回噪音，就可能毁了一堂课。

而作业帮的孩子们上课的场景很复杂，使用的设备更是庞杂。

曾建斌说，孩子们可能在菜市场上课，在工地，在商场。背景会是各种噪音。他们使用的可能是无牌或杂牌设备，识别起来很难，更不用说针对机型做适配。

上灰度测试。也就是选特定课堂，小试一下效果。结果有老师说很吵，吵了一堂课。有孩子说，吵死我啦。

问题比预估的还严重。曾建斌他们赶紧停了测试。攻坚，加班加点。

去找来所有可能找到的机型，做适配，降噪消音。个别实在识别不出的设备，再想办法。

据曾建斌介绍，相对棘手的机型，占比大约不到1%，但“这也不能放弃，不能说，你 手机 不行就不要上作业帮的课了”。

1月27日，作业帮集体发言实现了升级。孩子们可以听到同组同学了。而老师也可以随机选取一组同学，听他们的实时发言。

 

在小学产品负责人曹越看来，这个功能，也是基于现实课堂的场景，小朋友们能听到老师，老师能听到小朋友，小伙伴能听到彼此。

学习不是一个单向的事情，曹越说，希望孩子们一起，可能就会相互影响，希望能把课上得更好。

建一个渠道，或许你会看到更多可能

寒假到来。小朋友们能听到队友的声音了，但效果怎么样，他们喜欢吗？

对于张琴他们来说，新功能上线，对用户体验的跟进也就开始了。

而早一些上线的功能，依然需要持续优化。例如专注力检测。“我们还在不断去找各种维度，丰富模型。”曹越介绍。

对于曾建斌他们来说，集体发言升级可能只是新挑战的开始。新的问题随时可能出现，新的机型，新的噪音。

而每一个问题都可能影响一堂课，乃至更多。

在作业帮副总裁罗亮看来，在教育公司做程序员，它是不一样的。对于其他行业的程序员，用户可能是一个数字，一个pv，一个uv。但对于教育公司的程序员，用户就在你面前，他是一个真实的孩子。

罗亮举了个例子，有次一个程序员已经下班了，有个辅导老师找他，说有个孩子因为网络问题无法做互动题急得直哭，这个程序员就赶紧回公司，去看是什么问题。

“我们是在线教育，如果我们技术服务不好的话，老师讲得再好，学生体验也会受影响。”曾建斌说。

在张琴看来，在线教育优势明显，汇集了优质资源，触及更多学生。但局限性也很明显，例如感知力的影响。

比如，老师是在屏幕后面的，他其实对学生的影响效果会打折扣，张琴说，这种不足需要更多的手段去提升，也就是去不断减少折扣。

教育应该是拓展一些可能性，语音实验室负责人（智能语音技术负责人）王强强认为。而技术可以帮助带来更多的可能性。毕竟，一块屏幕连接的，是不同地区的孩子和老师。

AI，技术，更好的师资，在王强强看来，都是一种辅助手段。都是“术”。而“道”，是建立一个渠道，一个平台，让孩子们看到更多的可能性。他就可能走得更远。

“其实我们要做的，就是这样的事情。”王强强说。