远程办公和在线教育崛起 腾讯用专利做好技术保障

新冠肺炎疫情期间,远程办公、在线教育等市场需求激增,腾讯会议、企业 微信 、腾讯QQ、腾讯课堂等腾讯远程办公、在线教育系列产品和服务广受欢迎:腾讯会议诞生两个月内日活跃账户数超1000万,成为当前中国最多人使用的视频会议产品,其国际版(VooV Meeting)也已在超过100个国家和地区上线,免费开放300人同时在线的会议能力,助力全球战疫。企业微信凭借与微信一致的沟通体验,支持即时通讯、OA应用、300人音视频会议、千万人同时观看群直播、连接微信生态等能力,成为众多企业做好内外部沟通的首选,其英文版也已在全球范围内上线。

面对如此庞大的用户基数和并发数,如何保障超大规模音视频通话质量?如何确保高质量的会议视听效果?如何提高直播授课画面质量?这得益于腾讯的技术创新为远程办公/在线教育产品提供的技术保障。

2020年4月26日是第二十个“世界知识产权日”。今年世界知识产权组织发布的知识产权日主题是“为绿色未来而创新”,全国开展的知识产权宣传活动周确定的主题为“知识产权与健康中国”。

作为一家坚持 科技 创新的 互联网 公司,腾讯一直重视知识产权保护,建立知识产权保护体系,鼓励科技创新。截止2020年3月底,腾讯在全球主要国家和地区专利申请公开数量超过3.7万件,授权专利超1.4万件。在远程会议/在线教育领域,腾讯全球发明专利申请超千件,发明授权四百余件。

专利技术保障超大规模实时音视频通话服务

早在2003年,腾讯就提出了一种基于用户列表的即时通话技术专利,可以快速邀请用户进入群组通话,该专利技术目前已经普遍应用于各种即时通信产品和在线会议产品中,如微信、QQ直播以及腾讯会议等产品的预约会议功能上。

腾讯2015年申请的一种数据传输的相关专利,提供了一种超大规模实时多人音视频通话解决方案,在疫情期间,助力腾讯会议、腾讯课堂、企业微信等众多产品顶住服务后台承受的巨大压力,腾讯会议和企业微信均面向全国用户免费升级开放了300人音视频会议协同能力。

利用这种专利技术,在保持现有的实时多人音视频通话系统的小房间管理模式的同时,还可以平行扩展的方式极大地拓展了单房间支撑上限,同时又能够做到对现有架构冲击最小、风险可控。

在家办公期间,难免声音嘈杂,远程办公软件是如何保证稳定通话质量的呢?这就要用到 AI语音增强技术。语音增强(Speech Enhancement)的本质是语音降噪,麦克风采集的语音通常是带有不同噪声的语音,语音增强的主要目的就是从带噪声的语音中恢复不带噪声的语音。腾讯的语音增强类专利申请,利用自适应数据对语音增强模型进行自适应提高降噪性能,不同说话人的说话方式、口音和停顿等各不相同,在通用的语音增强模型的基础上进行自适应有利用提高针对于该说话人的语音增强的性能。

为了确保高质量的会议视听效果,腾讯会议还通过收集喧闹的公交站、雨水声、办公区域等噪音进行AI分析处理,从而优化模型,实现了智能消除环境声、键盘声,完美还原人声。

在家开会时背景可能会有些杂乱,腾讯会议上线背景虚化功能,通过计算机视觉AI算法检测出人像和背景的区别,并通过自研的图像分割算法将检测出来的背景区域进行模糊或者替换成指定的背景图片来实现。这背后也是有专利技术作为支撑,结合人像部件解析技术标识出场景中人物身体的不同部位,进而筛选出场景中的前景人物,实现更加高效精准的前景人像识别并进行背景虚化;还基于深度学习模型并综合利用人像分割和人像部件解析,实现了高效的人像检测分割。

同时,腾讯会议还上线了语音激励、表情弹幕、自定义头像、会议白板、移动端虚拟背景多种功能,进一步满足线上教学、商务会议的场景需求。通过虚拟背景功能,用户不仅可以自由选择系统提供的默认图片,还可以通过添加自定义图片作为背景,凸显了自己的个性化选择,让你想在哪里开会,就在哪里开会。

高质量直播授课画面助力在线教育

作为一款国民级通讯及 社交 应用,腾讯QQ在疫情中被挖掘出诸多潜力,帮助各地缓解因疫情停课的燃眉之急。在特殊时期,QQ专为网课打造“群课堂”,并针对群文件、作业等教育场景下的功能进行持续优化,已助力超过1.2亿用户开展线上教育。在便利而稳定的服务背后,QQ上音视频、直播等在线教育相关功能申请专利超过200件、官方授权超100件。

音视频通话一直是QQ的核心功能之一,早在2005年,QQ就拿到了多人数据通讯(语音视频)的 P2P 技术专利,实现了使用少量服务器即可支撑大量用户的多人数据通讯。2019 年,QQ在音视频上,也朝着更加高清,更少抖动,更低时延的方向做了升级优化。这两个大的升级优化工作,在网课场景下发挥了重要作用。在疫情时间,QQ也提升直播画面清晰度:将屏幕分享最高码率提升3倍至3M(分辨率1080P),多人视频大画面最大码率提升2倍至1M (分辨率720P),让老师网课直播的画面更加清晰流畅。

据新华网联合腾讯QQ发布的《老师网课行为图鉴》显示:除了设备的准备,老师们也积极学习各种软件使用,丰富线上教学形式——使用QQ的PC端上课的老师,62.5%使用过屏幕共享等工具(PPT共享、屏幕共享、视频播放),更直观地展示教学课件等信息。其中很多网课期间的高频使用功能,其实很早就完成了技术的实现。

例如在线上课堂中成为板书替代品的视频会话白板——用户可以在视频白板上,使用文字编辑、绘图、打开图片或文件,保存截图等功能辅助视频会话,使得师生在会话过程可以就授课内容进行讨论,是QQ在2012年的专利之一。

除了QQ,企业微信在3.0.4版本中也上线了“群直播”功能,最大的好处之一是家长、学生无需下载额外的APP,可直接用微信加入班级群里看老师上课。在老师端,有上课需求的老师能一键发起直播,可支持全年级、全校的学生同时观看。

直播上课时,受网络带宽、屏幕分辨率等因素影响,可能会出现花屏、卡顿等问题。这对在线教育直播授课的用户来说是非常不好的体验。

腾讯利用一种专利技术,通过将PPT转换成H5,通过本地加载H5以及实时push信令实现PPT翻页、切换动画、实时同步老师端画笔、插入习题等操作实现直播授课。这种方案可以降低用户网络要求,同时提高了用户的直播画面清晰度,解决花屏卡顿等问题,大大提升了上课体验。

此外,疫情期间,为了帮助全国师生保持正常教学进度,腾讯教育也聚合百余合作伙伴力量,成立“不停学”联盟,为全国各级教育部门、全国各地中小学及高校、教育机构、学生提供在线直播课堂、在线课程,以及在线协同办公、教务教学管理等相关产品、技术、内容资源,于疫情期间全部免费开放。