“苹果大脑”已无处不在！解密苹果人工智能布局

　　 智东西（公众号：zhidxcom） 文 | 十四 海中天 编译整理

智东西推荐语：

关于苹果公司在人工智能、机器学习方面的布局，美国媒体Backchannel的采访进行了深入挖掘，很明显，这也是苹果公司自己敞开大门迎接媒体的探访，安排了好几位VP级别的高管进行解读。

从中我们也看到以Siri为代表应用的苹果人工智能布局已经很深远，从当年乔布斯亲自出马游说收购Siri前身所属的公司，到最近每年20～30家小团队的收购，都看得出在海外科技巨头中，苹果开始把人工智能作为提升产品体验的主要推动力之一，本文即剖开了这个“苹果iBrain”的逻辑。

　　 以下为全文：

2014年7月30日，Siri开始进行“脑部移植”。

3年前，苹果率先将智能助手Siri整合到操作系统中。2010年，苹果收购了一个独立APP，开发团队也一起加盟苹果，后来APP变成了Siri。最开始时评价很好，但在随后的几个月和几年里，用户对Siri的缺陷失去了耐心。许多时候Siri都会错误执行命令，微微调整根本无法解决问题。

随后，苹果将Siri语音识别系统移植到基于神经网络的系统中，并于2014年7月末提供给美国用户使用，2014年8月15日向全球用户开放。一些早期技术仍然有用，比如隐马尔可夫模型（Markov models），但是现在系统使用的是机器学习技术，包括深度神经网络（DNN），卷积神经网络、长短记忆单元、封闭复发性单位(gated recurrent units)和n-grams。用户升级之后，Siri看起来并没有什么变化，但是机器学习让它更强大。

如果企业对底层技术进行改进，一般不会透露自己的思考，免得被竞争对手知道，正因如此，苹果没有公布Siri的进展。如果我们问用户注意到了什么，那就是错误更少了。事实上，苹果声称准确度的提升相当惊人。

苹果互联网软件及服务部高级副总裁埃迪·库（Eddy Cue）表示：“这一次改进相当明显，以至于你必须重新测算，确保小数点的位置没有放错位置。”

　　

低调的苹果

Siri转变的故事还是第一次披露，它可能会让人工智能领域的专家们皱起眉头，不是因为系统神经网络性能的提升，而是苹果对自己的所作所为如此低调。直到最近一段时间，苹果才开始在AI领域大规模招聘，发起一些引人注目的收购，尽管如此，观察者仍然认为苹果在AI竞争中落后。企业们彼此竞争，试图挖掘AI工具的最大潜力。

苹果喜欢对自己的计划保持沉默，即使是AI专家也不清楚苹果在机器学习领域的动向。杰瑞·卡普兰在斯坦福教人工智能历史课，他认为：“苹果不是AI社区的一份子，它相当于AI产业的NSA（国家安全局）。”一般人认为，如果苹果在AI上付出的心血和谷歌、Facebook一样多，那么它的举动应该会被外界知晓。

艾伦AI研究所的埃齐奥尼（Oren Etzioni）表示：“在谷歌、Facebook和微软，我们看以看到机器学习的顶尖人才。没错，苹果的确招聘了一些人，但是机器学习的5大领袖有谁为苹果工作？苹果的确拥有语音识别技术，但是我们根本不知道它是否用到了机器学习技术。请告诉我，你的产品中哪些地方用到了机器学习。”

本月初，苹果的确展示了机器学习的用途，向我展示。当天，我在苹果库比提诺飞船总部大楼耗了大半天时间，在苹果顶级高管的陪同下，我了解了苹果AI、机器学习的核心机密。陪同我的有埃迪·库、副总裁兼市场营销主管菲尔·席勒（Phil Schiller）、软件主管兼高级副总裁克雷格·费德里吉（Craig Federighi），还有两名关键Siri科学家。当我们就坐之后，他们向我展示了两张纸，上面密密麻麻写满了使用机器学习的苹果产品和服务，有些已经发布，有些即将发布。

如果你是一名iPhone用户，你已经在使用苹果AI了，当我们向Siri提问时它越来越敏捷，这只是一个方面，AI还用在其它方面，比如手机接到电话，来电者的身份信息并没有出现在个人联系人列表中（但是该人最近的确向你发过邮件）；又比如你收到了一个约会提醒通知，但是这个约会并没有放在日历中；当我们打开地图，还没有输入信息，地图程序就会弹出预定酒店的位置，这些都会用到AI。当苹果使用机器学习和神经网络技术之后，这些功能才有可能实现，或者更加强大。

　　

Apple Brain

没错，这就是所谓的“Apple Brain”，它已经植入到iPhone中。

一位知情人士说：“机器学习现在已经广泛应用在苹果产品和服务中。”在苹果程序店中，它用机器学习来识别欺骗行为，测试软件时苹果也会用机器学习技术来筛选反馈意见，找到最有价值的内容。在苹果News应用中，机器学习技术被用来挑选新闻。机器学习可以判断Apple Watch用户是在做锻炼还是在闲逛，可以识别照片中的人脸和位置。如果Wi-Fi信号比较弱，机器学习技术会建议用户使用蜂窝网络，因为更省电。机器学习能够分辨出用户所拍视频的好环，点击一下按钮，我们就可以将相关视频集合在一起。竞争对手也做得很不错，苹果高管宣称，它们是唯一一家在隐私、用户体验上取得良好平衡的企业。

其实，在苹果机器学习并不新鲜。上世纪90年代，苹果推出牛顿(Newton)平板，当时的触控笔就用到了AI，它可以识别用户输入的字符。到了今天，该系统仍然还在使用，它就是Apple Watch中文字符识别系统，即使用户输入的字符很潦草它也能识别。

“在过去5年里，AI在苹果的应用领域越来越多范围越来越广。” 菲尔·席勒表示：“我们的产品以更快的速度向智能化迈进，尤其值得称道的是我们设计的A系列芯片。后端越来越智能，越来越快，我们所做的一切终于可以连接起来了。这样一来机器学习技术的应用就会越来越广泛，因为有许多的东西需要学习，我们可以做到。”

“拥抱”机器学习很谨慎

虽然苹果对机器学习孜孜以求，但是高管们对于“拥抱”机器学习很谨慎，从某种意义上讲，苹果希望业务照常运营。库比提诺的天才们认为，机器学习只是突破性技术的最新进步。没错，它是变革性的技术，但是并不比其它技术进步更加强大，比如触摸屏、平板、面向对象编程。在苹果看来，机器学习并不是最终前沿，但是其它公司却这样认为。埃迪·库说：“以前就有技术改变了人与设备的交互方式，机器学习与这些技术并无本质区别。”在AI领域有一些让人毛骨悚然的猜测，苹果无意参与这种讨论。苹果没有确认自己是否在开发汽车，也不告诉大家自己是否在开发类似Netflix的服务，但是有一点却是苹果所确认的：它没有开发类似“天网”的东西。

“我们要用这些技术来做一直想做的事，将事情做得更好。” 席勒说，“我们还要用技术来做一些之前做不到的事。最终，技术会以苹果独有的方式在公司内部演进，以苹果方式应用于产品。”

“Apple Brain”到底有多大？有多少iPhone动态缓存可以供机器学习使用？当我问苹果时，他们给出的信息让人吃惊：平均200Mb，根据存储的个人数据大小而不同。苹果iPhone会不断删除旧数据。这些信息包括了APP使用情况、与其它人的交互数据、神经网络处理、自然语言事件模型。神经网络还可以用一些数据来识别目标、识别人脸、给场景分类。

苹果解释称，个人参数、个人爱好、旅行信息都是私人的，苹果会对私人信息保密。

　　

Eddy Cue

在AI方面，苹果并没有详细解释自己的努力，但是我还是搞清了机器学习技术在苹果内部的分配情况。在整个苹果公司，机器学术人才是共享的，产品团队可以借用机器学术人才解决问题，也可以为单个产品开发功能。克雷格·费德里吉说：“在苹果内部并没有一个单一的核心机器学习组织。有些团队需要用机器学习技术来提供更好的用户体验，我们努力确保机器学习人才与这些团队紧密联系在一起。”

在苹果，到底有多人从事机器学习工作？费德里吉表示：“很多。”有趣的是，苹果机器学习团队的员工在加入苹果之前并没有受过专门的训练。费德里吉称：“我们招募的员工在基础领域相当厉害，比如数学、统计学、程序设计语言、密码学等。事实证明，这些人才可以完全转化为机器学习专家。今天，我们虽然也会招募大量的机器学习人才，但是同时还会寻找拥有核心资质、才华横溢的人。”

虽然费德里吉没有说，但是这一选择似乎不可避免。苹果偏爱保密，而与之竞争的企业恰恰相反，它们鼓励计算机科学家共享研究成果，在竞争之时苹果处在不利位置。费德里吉解释称：“我们的实践偏向于‘自然选择’，一种人喜欢参与到团队中去，一起开发好产品，还有一种人的主要动机则是发表研究成果。”如果科学家既能改进苹果产品又能在某些领域取得突破，那当然是再好不过的事，但是埃迪·库表示：“我们对最终结果充满期待，这种期待推动我们前进。”

收购人才

在机器学习方面，苹果的一些人才是收购而来的。埃迪·库说：“一年之内我们收购了20-30家公司，它们的规模相对较小，收购的真正目的是为了人才。”费德里吉称：“当苹果收购AI公司，它肯定会有大量的机器学习研究员，我们并非纯粹为了扩充数量。我们真正需要的是专注于提供绝佳体验的人才。”

最近，苹果收购了Turi，这是一家位于西雅图的企业，苹果花了2亿美元买下它。Turi开发了一套机器学习工具，人们将它与谷歌TensorFlow类比，有人于是猜测，苹果的目的可能和谷歌是一样的，它会将工具用于企业内部，也会给开发者使用。苹果高管既没有肯定，也没有否定。埃迪·库只是说：“可以肯定的是从技术角度和个人角度看Turi与苹果很匹配。”再过1年或者2年我们就许就能看见成果了。

不管人才来自何处，苹果的AI技术都可以帮助公司开发以前开发不了的产品和功能。AI还改变了公司的产品蓝图。席勒说：“目前的苹果超酷创意层出不穷，有些创意放在几年前我们只能驳回，现在有了机器学习就可以通过了。当我们决定接下来应该做什么产品时，机器学习会成为决策的依据。”

搭配 iPad Pro销售的Apple Pencil就是一个好例子。苹果希望打造一支高科技手写笔，要达成目标必须解决一个难题：当用户在设备上书写时，手掌底部难免会碰到屏幕，导致一些数字功能失常。苹果开发了一个“防手掌误触”机器学习模型，让它自动识别滑动、触摸、手写笔输入的差异，从而提高精准度。费德里吉说：“如果手写笔不够完美，我们就不能将iPad当成可以流畅书写的纸，Pencil也不会成为一款好产品。”如果你喜欢Pencil，应该感谢机器学习。

最开始时，Siri只是DARPA的一个智能助手项目，后来独立成一家小公司，它用相同的技术开发了一款应用。2010年，乔布斯亲自出马，说服企业创始人卖身苹果，然后将Siri与操作系统整合。2011年10月，苹果发布iPhone 4S，Siri成为主打技术。最开始时，用户可以长按Home键唤醒Siri，也可以对着手机说“Hey Siri”激活功能。现在Siri已经进化，它已经融入到Apple Brain，即使没有说话时也在收集信息。

作为一款核心产品，埃迪·库认为Siri有四大组成部分：语音识别，理解用户何时与产品对话；理解自然语言，抓住说话的意思；执行，满足一系列的查询；回应，用语音回复。埃迪·库称：“机器学习对四大方面造成了重要影响。”

　　

Siri向神经网络进化

苹果收购Siri之后，汤姆·格鲁伯（Tom Gruber）也随同原公司一起加入了苹果，他现在担任Siri高级研发部门主管。格鲁伯认为，在苹果将神经网络应用于Siri之前，大量用户已经生成了海量数据，这些数据对于后来训练神经网络作用巨大。格鲁伯表示：“乔布斯认为，不需要测试，一夜之间应用就可以从试点项目发展到拥有数百万用户的服务。突然之间就会有这么多的用户，这些人会告诉你人们是如何与应用互动的。这是第一轮变革，接下来就轮到神经网络了。”

Siri向前进化，用神经网络处理语音识别，在演进的过程中一些新的AI专家参与进来，包括语音组主管亚历克斯·阿塞罗（Alex Acero）。90年代初，阿塞罗曾在苹果开发语音识别技术，后来又在微软研究院工作多年。阿塞罗说：“我喜欢这项工作，发表了许多论文。看到Siri，我意识到它可以让深度学习变成现实，可以让几百万人使用它，不是几百人。”换句话说，阿塞罗正是苹果要寻找的科学家：他认为产品比发表论文更重要。

3年前，阿塞罗加入了苹果，当时Siri使用的语音技术基本来自第三方授权，苹果希望能改变这一现状。费德里吉意识到苹果在一种模式中不断重复。他说：“随着时间的推移，我们发现某项技术对核心产品的开发越来越重要，于是我们就会在内部自己开发，以求提升体验。要开发伟大的产品，我们希望能在内部创新。语音识别是一个好例子。”

随后，苹果团队开始训练神经网络，用它替代Siri旧技术。阿塞罗说：“我们拥有庞大的GPU集群，它们不停运转。我们输入了大量数据。”2014年苹果发布了产品，努力没有白费。

阿塞罗说：“在所有的语言类别中，错误率降低了一倍或者两倍，在许多情况下更高。之所以会有如此大的进步，主要归功于深度学习以及我们优化技术的方式，不只是算法，还包括开发产品的整个过程。”

在识音识别应用中，苹果不是第一家采用深度神经网络技术的企业，但是苹果告诉我们：控制整个传输系统可以形成优势。阿塞罗称，因为芯片是苹果自己设计的，他可以与芯片设计团队、与编写固件（为设备编写）的工程师携手合作，将神经网络的性能提升到最大水平。Siri团队的需求甚至还影响了iPhone的设计。

费德里吉说：“不仅仅与芯片有关，还与设备中安装的麦克风数量有关，与安装的位置有关。调整硬件、处理音频的软件栈，这些全都有关。有的企业开发完软件，对接下来的事情无法控制，我们的模式相比而言优势巨大。”

　　

这样做还有另一个优势：当苹果神经网络在一款产品上可以运行，它就可以变成核心技术为另一个目的服务。例如，帮助Siri提高理解能力的机器学习算法可以成为“引擎”，用来处理口述信息，避开手写输入。

埃迪·库还说到，Siri的第二个重要部分就是“理解自然语言”。2014年11月，Siri开始用机器学习理解用户意图。

在苹果看来，如果没有Siri技术就不会开发出新版Apple TV，后者也支持语音控制功能。早期的Siri要求用户说话时表述必须清楚，后来推出的强化版Siri聪明多了。IOS 10将于今年秋天发布，Siri的语音成为第四个需要被机器学习转变的组成部分。这一次，深度神经网络上位，原来的授权技术退位。Siri的声音来自一个语音中心收集的数据库，每一句话都是语音段拼接的。机器学习技术让语音平滑流畅，让听觉效果更接近真人。

虽然只是小细节，但更真实的声音能让Siri变得大不相同。格鲁伯认为：“声音质量提高了，用户会更加信任Siri。更好的语音更加吸引人，用户使用频率也会提高。”

有些人评论说，苹果Siri的合作伙伴只有两位数，外部开发者帮助亚马逊Alexa开发了1000多项技术。苹果认为将两者对比并没有意义，亚马逊用户要用特定指令获得各种功能，苹果Siri与服务结合时更加自然。

保护用户隐私

事实上，苹果采用机器学习最大的阻力在于，如何让公司成功守住保护用户隐私的原则。不论是员工，还是苹果的律师，任何人都不能获取用户的私人信息，就是拿了搜查令的FBI都不行。这可以说是苹果的一大卖点，他们为了谄媚广告公司，搜集和出售用户的私人信息。

虽然，尊重隐私这个原则非常令人敬佩，由于在这一问题上的严谨性，苹果似乎很难吸引到AI人才帮助公司发展。一位苹果的前雇员表示：“机器学习专家需要的是数据，但由于苹果尊重隐私的立场，苹果在这场竞争中，可以说是把一只手绑在后背战斗。你可能觉得这么做不合理，但这也为苹果赢得了铁杆粉的赞誉。”而这位大约喜欢看功夫片的苹果前雇员，现在在一家主攻AI的公司供职。

事实上，这一观点遭到了苹果公司高层的强烈质疑。他们认为，完全可以不采用用户云端存储的内容，或实时监测用户信息，就可以获得足够的数据来实现可靠的机器学习。费德里吉表示：“这事儿不对，不应该进行这样的取舍。我们尊重用户隐私，这样的行为是伟大的。此外，为了让我们的用户遍布各地，我们很愿意为行业竞争者们展示一条新的通往机器学习的航线。”

机器学习涉及两件很重要的事情：首先，就是基于机器学习的系统中的个人信息的问题，在了解到用户行为之后，神经网络会自发的决定如何对这些信息进行处理；其次，这也关乎相关信息的搜集对神经网络识别行为的训练方式。现在问题来了，你要怎么在不收集用户个人信息的前提下完成这两件事？

苹果称，它已经有了答案。埃迪·库表示：“很多人坚信没有数据，我们就不能做AI，但是我们已经找到了办法，技能保持隐私保护原则，又能进行数据获取。这是底线。”

针对第一个问题，也就是保护个人喜好和信息的神经网络识别，苹果采用了软、硬件分别独立控制的方法。简单的说，几乎所有的个人信息都将存储在私人配备的苹果之脑（Apple Brain）。费德里吉表示：“对于最敏感的内容，我们会把这部分涉及的机器学习算法嵌入到本地设备。”费德里吉举了个案例，一个针对app的建议：当你向右滑状态栏是出现的图标。理想的状态下，他们是想让你打开想要打开的一个app，但这需要基于一系列的因素，涉及大量用户行为，无关别人，是很个性化的。费德里吉表示，有90%的情况系统能为人们推荐他们想要的app，这都是在个人的手机端完成的。

苹果在设备存储的其他信息，还包括苹果认为可能最为私人的一些数据：使用标准的iPhone QuickType键盘键入的文字。神经网路训练体系将在你打字的时候检测相关事件和项目，比如航班信息、联系人、约会等，但这些内容都将只保留在你的手机上。即便是苹果云端保存的备份文件，都不会显示详细内容。。费德里吉表示：“我们不想让苹果服务器存储这些信息，这只是一个公司，不需要知道你有什么习惯，或者你要到什么地方去。”

此外，苹果还打算尽量减少信息存储量。费德里吉提到一个例子，当你正在聊天，或者正在进行潜在的关键词搜索，别的公司可能需要所有的相关内容和项目，来进行标识，但苹果公司只需要检测个人设备端的数据就可以了（而这只需要依赖于那个200兆字节的“大脑”）。

费德里吉表示：“这是一个紧凑，但是全面的信息库，包括数以万计的定位和内容。我们对它进行本地化，因为我们知道你在哪里。这个信息库将被用于所有的苹果app，包括Spotlight search、Maps和Safari等。它帮助我们进行自我修正，并在后台持续运行。”

　　

Craig Federighi和Alex Acero

用网上信息训练神经网络

现在来谈第二个问题。苹果想进机器学习的圈子，还面临着另一阻碍：由于隐私保护原则，无法获取足够庞大的数据库，来进行训练，提高机器学习算法的准确性。如果苹果不抽取它所有的用户群信息，它应该如何建立庞大的数据库？办法跟别的公司一样：利用网上公开的信息，比如利用公开相片进行图像识别训练。真正的问题在于，当苹果需要更有针对性的算法训练时，它需要获取最近的，更具体的用户信息，这只能来自于它的用户群。苹果目前的做法是，匿名获取信息，随机标定数字ID。

从iOS 10开始，苹果还将聘请相对新的技术，Differential Privacy，针对用户信息来源不明确的情况，用于更新流行语，进行相关答案检索，推荐热门表情等。费德里吉表示：“现在行业里普遍采用的方式是，当你键入字符，数据就会被传送到服务器上，然后通过网络检索相关或有趣的内容，再传回个人设备；而我们打算做的是，将这个功能做成一个大规模应用的东西，扩展到10亿用户群。”

费德里吉称：“我们是几年前开始这项工作的，即实际规模化。这很疯狂，而且还很私人。苹果做了很重要的工作，对整个世界都很有价值。它正让科学家们的论文变成现实。”费德里吉还描述了一个系统，涉及虚拟抛硬币和加密协议。大体上，它是对一些数据加入数学噪声，因此，苹果公司可以检测使用模式，而不识别个人用户。

显然，机器学习正在改变着苹果的产品，虽然我们还不知道它会不会改变苹果的“本心”。从某种意义上来说，机器学习似乎本来就跟苹果是一条路子的。苹果一直很小心的关注用户体验，擅长各种传感，预先设计，精确编码。而工程师设计机器学习的时候，想做的是让它自己进行修正，发现解决方案。这样看来，不停吸收反馈，进行产品调整的苹果公司似乎就是一个机器学习体系。

费德里吉称：“这也涉及一个主要的内部争议。我们习惯于想的多，想周到这样的经验，我们控制系统与用户交流的维度。然而当你训练一个面向人类行为，基于大型数据库的系统，你不知道它最终会走向什么。我们无法控制结果，一切来源于数据。”

　　

Tom Gruber和Alex Acero

席勒表示，苹果不会回头。“虽然这些技术会影响到你的设计过程，但终有一天，我们都将使用它们，因为它们能够提供高质量的产品。”

关键的是，苹果可能并不会声明自己把全部身家押在机器学习上，但公司将尽可能用其来改善自己产品。手机里面那个“脑子”就是最好的证明。

席勒还说：“典型客户正在体验日常级别的深度学习，这表达了他们对苹果产品的热爱。令人激动的是，一开始你没什么感觉，当你第三次看到它运行的时候，你会讶异于，这是怎么办到的。”

＊＊＊＊＊＊

智东西－智能行业新锐媒体，只报道VR/AR；AI/机器人/无人机；智能汽车/智能出行；智能家具/物联网；智能穿戴/智能医疗这5个领域的事。

关注智东西公众号（zhidxcom），即时了解五大前沿科技行业最新消息。