声加科技助力小米首款支持本地命令词语音唤醒TWS耳机上市
9 月 24 日,小米新一代真无线蓝牙耳机 Air 2正式亮相,在外形和功能上都较一代有了非常大的变化。小米官方海报广告词宣称“智能真无线,轻松舒适戴”,并且将“智能语音唤醒,双麦克风降噪”作为其首条宣传卖点。目前该产品已在小米商城开放预约,9月27日正式上市。
小米Air2宣传海报,图片来源于小米官网
Air2的语音唤醒到底有多智能呢?据本次算法技术支持方案商——声加 科技 CEO邱锋海介绍,此次小米Air2采用了声加科技提供的耳机本地语音识别方案,与市面同类产品最大的不同是能直接在Air2耳机端完成多命令词语音识别,急速响应命令——用户在播放音乐时无需唤醒语音助手“小爱同学”,可直接向耳机发出语音指令“上一首/上一曲”,“下一首/下一曲”,迅速实现自由切歌,无需再等待语音助手唤醒 手机 进行响应,大大提高了用户使用体验。
小米Air2宣传海报,图片来源于小米官网
邱锋海表示,耳机搭载语音助手已经成为目前TWS耳机的主流趋势,但目前市面上绝大部分产品使用的还是以基于手机的语音识别方案,用户每一次的语音指令都要首先唤醒手机语音助手,造成响应速度较慢(切换歌曲需要等待5~6秒),不少用户因此放弃了语音唤醒功能,宁可使用手势或按键,甚至只能拿出手机进行操作,体验欠佳。其原因主要受限于耳机运算能力较弱以及电池续航时间短,给耳机端进行精确的语音识别造成了极高难度。而声加科技的小资源关键词唤醒(KWS)有限语音命令方案攻克了技术难点,可实现唤醒低功耗计算方案,KWS启动和手机语音交互,有限语音命令实现切歌、调音量等基本操作。在算法所需资源消耗上,低至30Mips, 50KBytes memory的唤醒词模型(m4f平台),模型规模可变,能根据产品计算资源快速调整模型,还能整合声加自有前端语音增强,优化整体性能。
除此之外,耳机使用场景复杂且运算资源受限,如果只依靠基于深度学习的小资源语音识别模型,在嘈杂环境下会存在误识率高、识别率低的问题。而Air2同时还搭载了声加科技的双麦SVE降噪技术,如定向拾音、环境降噪(尤其是风噪抑制)等,能有效降低通话时的环境噪声,即使身处嘈杂环境,也能保障高清晰的语音识别以及通话质量。
对小米Air2直接说“下一首”,迅速切换歌曲
据了解,声加科技成立于2018年1月,专注于通信声学核心技术,依托于中科院声学所雄厚的人才和科研资源,打造产学研一体化。其SVE(Soundplus Voice Enhancement)降噪技术可以广泛应用于耳塞式耳机、半入耳式耳机、入耳式耳机、头戴式耳机、挂耳式耳机等,是通过双麦克风阵列,精准计算通话者说话的方位,在保护主方向目标语音的同时,去除环境中的各种干扰噪声,例如其他人的讲话声、交通工具产生的噪音、风噪声等等,有效抑制90%的反向环境噪声,由此降低环境噪声最高可达30dB,保证高品质通话效果。让使用者无论身处何种嘈杂环境,都可细语轻聊,无惧干扰。其核心技术包括:
回声消除AEC:
支持单通道回声抵消、双通道立体声回声抵消,可在设备自身播放大音量时轻松唤醒,ERLE>30dB。
声源定位Direction of arrival estimation:
支持多源定位;可在强混响及噪声干扰情况下准确定位目标声源;工作信噪比可低至0db以下;DOA分辨率<10°。
波束形成Beamforming:
保护目标语音的同时,去除噪声干扰与散射噪声,大幅提高语音识别率;稳态噪声抑量>30dB,非平稳噪声印制量>24dB。
关键词唤醒、有限语音命令词识别Key word spotting、command
基于深度神经网络训练,根据前端算法进行深度优化,精确辨识关键词,超低误唤醒。消耗资源配置灵活(小模型超低资源占用;资源丰富时可实现高性能识别),可应用于耳机、手环、手表等可穿戴智能设备。5米唤醒率>93%,3米唤醒率>97%,误唤醒<2次/48H。
基于机器学习降噪/识别
已成功用于声学建模,与标准GMM模型相比语音识别率实现了大幅改进,DNN是全连接神经网络,解决了局部最优解的问题;卷积神经网络CNN降低模型体积,充分利用语谱中的局部信息;循环神经网络RNN可以对时间序列进行建模,适合处理语音信号。对动态/稳态噪声均有效(~30dB)同时保护语音成分,表现鲁棒。
音效:
EQ均衡:通过对各种不同频率的电信号的调节来补偿扬声器和声场的缺陷,补偿和修饰各种声源及其它特殊作用。
虚拟环绕声:在双声道立体声的基础上,不增加声道和音箱,把声场信号通过电路处理后播出,使聆听者感到声音来自多个方位。
SVE开启前后对比(公路噪声):
此外,作为智能听觉的创新公司,声加科技的耳机技术方案还应用在了华为Flypods、小米Air、小米Air2、万魔EM001、万魔EM004、京东京鱼座等产品上。目前,其团队凭借十余年的技术积累,可为B端客户提供复杂场景下的近场、中场、远场语音交互技术方案,以及从芯片、模组、PCBA到工业设计的一站式产品方案。其回声抵消、噪声抑制、声源定位、混响消除、波束形成、语音唤醒等性能在行业内均名列前位。