解密百度智能音箱小度：“听清、听懂、满足”背后的技术和能力

提到百度旗下的智能音箱小度，你可能会想到他曾在春晚登台，以及在真人秀《向往的生活》里聪明智慧的样子。只要我们对着他喊“小度，小度”，他就会立马应和我们，并且回应我们的任何请求。

根据市场研究机构Strategy Analytics最新发布的《2019 Q2全球智能音箱的报告》，小度以470万台的出货量位列国内第一；而在全球范围内，他的出货量仅次于亚马逊和Google。

小度的背后有何技术在做支撑，我们评价一款智能音箱的好坏其标准是什么？雷锋网了解到， 一般情况下，我们评价智能音箱的好坏主要看三个方面，分别是听清、听懂和满足。

在听清方面，其是指把用户的声波转化成正确的文字，一般称为语音识别或者唤醒。 在内外噪音的干扰之下，机器要能够准确地识别用户的指令。这部分可以通过引入百度语音首创的流式多级的截断注意力模型(SMLTA)，大大提升ASR效果。

我们比较熟悉的ASR技术（Automatic Speech Recognition，语音识别），是将声音转化为文字，可类比于人类的耳朵；而TTS技术（Text-To-Speech，语音合成），是将文字转化为声音（朗读出来），类比于人类的嘴巴。大家在Siri等各种语音助手中听到的声音，都是由TTS来生成的，并不是真人在说话。

关于SMLTA，据公开信息，其是使用CTC(一种语音识别算法)的尖峰信息对连续语音流进行截断，然后在每一个截断的语音小段上进行当前建模单元的注意力建模；这样把原来的全局的整句Attention建模，变成了局部语音小段的Attention的建模；同时，为了克服CTC模型的不可避免的插入删除错误对系统造成的影响，该算法引入一种特殊的多级Attention机制，实现特征层层递进的更精准的特征选择；最终，这种创新的建模方法的识别率不但超越了传统的全局Attention建模，同时还能够保持计算量、解码速度等在线资源耗费和传统CTC模型持平。这也是第一次有公开报道,局部的Attention建模，有可能超过全局的Attention建模。

在听懂方面，其是指得到这个字符串之后是不是能理解用户的需求到底是什么，能够准确的给出响应，或者给出引导。 比如小度在获得模糊需求（不清晰指令）的时候，它会尝试分析和校对自己的指令，以便更准确地满足用户的需求。其结合百度NLP的知识增强语义表示模型ERNIE，核心理解算法升级为超大数据预训练深度模型。

在7 月 30 日，百度发布了 ERNIE的优化版本——ERNIE 2.0 自然语言理解框架。它可以通过持续的多任务学习，逐步学习和建立预训练任务。该框架支持增量引入词汇 (lexical)、语法 (syntactic) 、语义 (semantic) 等 3 个层次的自定义预训练任务，并通过多任务学习对其进行训练，实现全面捕捉训练语料中的词法、语法、语义等潜在信息。而且每当引入新任务时，该框架在递增地训练分布式表示的同时，还会记住先前任务的信息。 

最后在满足方面，用户要的越宽泛越多，我们是不是能给得越多？这是满足的部分。 在满足用户需求方面，融合百度全网搜索能力与大规模精准用户画像，从直接满足进化为个性化助手。

智能音箱的满足能力，这里主要看两点，设备的知识完备程度和技能服务生态。百度公司首席架构师，百度智能生活事业群组（SLG）首席技术官朱凯华表示，

“对于小度来说，其依靠百度生态中的知识图谱和搜索请求，以及网页内容支持，其知识完备程度较好；此外在技能服务生态方面，小度助手的开放平台上，已经拥有了33000多名的开发者，并且已经累积了2400+的线上技能。”

在软硬一体结合方面，小度采用了全双工免唤醒技术，雷锋网 (公众号：雷锋网) 了解到，关于该技术的应用有三个必要条件：

• 软件和硬件结合。即Hardware Designed for Software，就是硬件构建的时候，需要为软件的特征进行专门制作；

• 语音识别和语义理解结合。是指能够做端到端的识别和理解，整个体验的串联，需要整个部分深度的整合和优化；

• 完善的技术储备和解决方案。比如小度，其所有技术百度都 In house  具备，能够深度整合。

朱凯华表示，在智能音箱这个行业里面，很重要的一点需要Designed for software，就是硬件构建的时候，需要为软件的特征进行专门制作。小度在设计的一开始，就对它的声学效果要有非常高的要求，在高噪音的环境下，也可以准确唤醒。这个前提是对于硬件整个声学结构的要求很高，而小度则是从硬件设计伊始就是已经做好了准备。语音识别需要和语义理解完全结合起来，能够做端到端的识别和理解。整个体验的串联，需要整个部分深度的整合和优化，而这也正是百度的独特优势。相比于其他产品往往在各个阶段都是采买了不同提供方的技术相比，百度完善一体的技术储备和解决方案，为小度的整体体验，做到了强大的后盾支撑。 雷锋网雷锋网

。