苹果的Apple Intelligence,如何重新定义AI?
在刚刚结束的WWDC,苹果发布了他们的第一个人工智能系统Apple Intelligence。作为七巨头中最后一家发布AI系统的大公司,苹果如何定义Apple Intelligence?AI手机、端侧AI的时代是否要到来了?Apple Intelligence对当前的AI生态会带来哪些变化?
划重点:
苹果发布Apple Intelligence: 作为硅谷七大巨头中最后一家发布AI系统的公司,苹果发布了名为Apple Intelligence的人工智能系统,更侧重用户体验和应用层面。
AI手机时代的来临: 讨论了苹果发布AI系统是否预示着AI手机时代的真正到来。
Apple Intelligence对AI生态的影响: 探讨了Apple Intelligence可能对当前AI生态带来的变化,包括端侧AI的发展。
端云混合AI模型: Apple Intelligence采用了端云混合的AI模型,强调了在端侧设备上运行AI的能力,以及与云端的加密通信。
个性化和隐私保护: Apple Intelligence重视个性化服务和用户隐私保护,使用户数据在本地完成处理,减少对云端的依赖。
应用与服务的重构: 预计Apple Intelligence将改变应用与服务的交互方式,从传统的应用开发转向为智能代理提供接口和服务。
情感价值与用户体验: 讨论了AI在提供情感价值和改善用户体验方面的潜力,未来智能手机有望实现更高程度的个性化和情感价值。
大模型竞争格局: 分析了不同公司在AI大模型领域的竞争状态,包括Open AI、Google等,并讨论了苹果在这一领域的定位。
AI技术的未来趋势: 对AI技术的未来发展趋势进行了预测,包括个性化AI模型、多模态交互和端侧智能的提升。
端侧AI的多样化发展: 苹果AI可能会推动端侧AI设备的多样化发展,包括可穿戴设备、家用机器人和车载系统等。
Apple Intelligence带来哪些新变化
徐思彦: 如何评价这次Apple Intelligence发布会?
Indigo: 我对发布会很期待,我觉得今年的WWDC很有时代意义。因为时代在改变。虽然苹果可能被迫做出动作,但实际上苹果早就开始行动了。他们通常会等市场比较成熟时才会采取行动。现在的苹果不同于过去,他们需要维护他们所在的市场。因此,他们需要有全面的计划来保护市场,包括发展人工智能。他们的重点应该是设备,如iPad,iPhone和Mac,以及在这些设备上运行AI。
发布会的重点是在设备上运行AI,也就是Apple Intelligence。 这是一种混合AI,可能会有一些合作伙伴,如OpenAI。不过,Apple Intelligence的主角还是苹果自己。 他们的AI是在设备上运行的,并且有清晰的架构。他们的AI在设备和云中是一体的,可以在手机端,芯片级别进行加密通讯。
苹果做了一套模型,包括一个在手机上运行的小模型和一个在云上运行的大模型。这些模型可以处理手机完成不了的任务,所有这些通讯都是加密的。每个用户都有一个小模型和一个大模型在为他们服务。所有的用户数据,包括第三方应用的数据,都会被转化为向量化的数据,发送到云端的大模型进行处理。
苹果的模型是个性化的,它是一个设备和云的混合模型。苹果如果发现自己的云端处理不了的任务,就会建议用户使用OpenAI。用户也可以选择使用OpenAI,但苹果也会判断如果自己完成不了的事情,也会交给OpenAI来做。
陈然: 事实上,我最关心的是苹果会叫这套新东西什么名字。苹果很擅长创新命名,例如在深度学习时代,他们不叫深度学习,而是叫Apple Neural Engine。在AR/VR时代,他们不叫AR/VR,而是叫Spatial Computing。这次他们给AI取名为Apple Intelligence,我觉得很有趣。
苹果一贯擅长做应用,把更好的用户体验带给大家。这次升级了Siri,让更多用户第一次真正接触到智能助手。科技圈的人可能早就开始使用基于GPT的工作流管理,享受科技带来的生产力提升。但是苹果一次做到位,整合到Siri里,串联了很多应用。这对大多数用户来说,就像魔术一样,他们能享受到科技的乐趣。
苹果拥有强大的用户数据,如屏幕、日历、邮件、照片等,这对做机器学习的人来说,是非常宝贵的。我会关注苹果如何在其框架下,开放这些数据给其他应用,如果想要进一步发展,这些应用必须要访问到这些敏感信息。我关注的是苹果如何在其隐私框架下,控制和提供这些敏感信息。
我认为可能还有一个点我觉得很有意思,但大家没有太多讨论。不仅是苹果智能 (Apple Intelligence) 这次发布,很多人会吐槽说苹果的一些功能都是一些细微的改变,包括emoji变得更漂亮了,文字变大了,可以跳动等。所以就有很多人会有所担忧。但实际上,我认为这是另一个范式的思考,人工智能给我们带来的到底是知识价值还是情感价值?
我认为这是一个大的范式,我们作为技术的关注者,往往关注的是能否更快地获取更多的数据。而对于一个用户而言,他可能觉得更好的永远是有更多情感价值的出现。那人工智能在那里,它能够时刻响应你的回复,虽然有时候功能可能没有那么华丽,但实际上它绝对能给你提供超出你预期的一些情感价值。我觉得这个价值可能被低估了。
我为什么看好苹果?不仅是Siri,还有它在你屏幕上的陪伴,因为我觉得它后面会不断迭代出会让你更开心的一种感觉。这种感觉会让你更喜欢这个手机,你会觉得它懂你,你会对这个手机产生更大的依恋感。我觉得这是大模型能够潜在给人带来的一种情感价值的支持。这种价值比较难以量化,但我认为这是一个正在发生的大趋势。
Neethan: 我觉得开始时网上会有许多不同的意见,比如把Siri换成GPT等等,包括底层模型。那时我觉得苹果可能不会用其他公司的模型,可能短期内会妥协,这符合我们的预期。但可能用外界的角度来看,它和OpenAI的结合并不深,我觉得这可能是好事。
我觉得长远看有两个方向: 第一,我们可以看到,通过Siri直接唤醒GPT。苹果相当于官方化了这样一个东西。以这个维度看,Apple Intelligence像一个Super App,它具有很多AI相关的能力,如做图,写文章等,它扮演的是一个App的角色。
另一方面,我们把OpenAI和其他的一些三方模型作为一个call back,当苹果的有些模型或者有些事情不适合,或者用户选择不用苹果自己的东西时,它可以作为一个第三方支持出现。
推特上OpenAI的人很兴奋,因为对OpenAI来说,苹果是一个大的流量入口,但实际上,我觉得目前可能并没有达到OpenAI或者像奥特曼想要的那个程度,因为他们关心的是用户海量的数据。以OpenAI现在的策略,他们希望能获取更多的数据,但以目前的合作来看,我觉得苹果做得很好,做到了隔离。这一点跟这家公司的隐私和私有策略有很好的结合。
胡延平: 为什么发布会当天和之后各方对苹果的评估先抑后扬?为什么Apple Intelligence秋季才会正式发?为什么苹果生态内合作伙伴心态复杂?主因是Apple Intelligence发布坐实了6件事 (前3件都是生态相变级别, 而另外3件事悬而待解) :
1. 超级入口成型,已无悬念,且多因素促动,不止强智能。 再次确证智能生态发展基于“端边云网感算数智”8要素,AI 2.0格局、与App尤其超级App关系指定要变。
2. 自然交互来临,语音-手势-体感-触感-空间计算,视觉是表,智能多模态+融合传感+云-端算力是里。 会引导用户重新理解智能设备。
3. 应用原子化、数据原子化。 从块状、碎片到颗粒度更小的原子,解构指向流量、秩序和利益的历史性重构。和之前聊过的超越算法推荐-走向智能耦合、媒体-自媒体-超级个体、大众-分众-微众、资讯-UGC-AIGC三个维度的转变历程异曲同工。
4. 端云协同的混合智能趋于最优解 ,是废话但却是需要被实证的“必然”,需要演进出真正高效率、高水准、高可用性的基本框架。
5. 封闭但内部深度整合的系统级生态,实现强智能更高效。 这也是昨天为什么说到最后会发现最垄断的反倒成为最开放的选择,最封闭的反倒成了最高效的智能平台,App死在为Apps创造生态的生态里,人机转了一圈又回到的有人无机时代的自然交互,没理了。唯有芯片算力与基础设施不会辜负。
6. 生态级头部平台,AI底座一定是自己做,缝合GPT-4o只是权宜之计。 所以发布之前,我预测“如果与OpenAI合作对苹果来说是负面”并没有被打脸。
徐思彦: 关于未来,苹果的AI将通过什么方式呈现出来呢?它会是一个网页端设备,还是像现在的手机端?有人用“管道化”这个词来形容这一趋势,那么它究竟会像现在的Siri那样,还是将融入到各种应用当中呢?
Indigo: 我觉得接下来我们都不叫“做应用”了。我们都在给这种智能代理开发接口。没有应用公司了,接下来可能只是人家硬件公司做这种系统级的这种壳公司。然后剩下的就是在壳下面,我们创建了一个智能代理,这个代理可以是Siri,也可以是你在Google上使用的代理,或者你使用的GPT。
最麻烦的是它没有硬件,没有身体,它需要去任何人那里。这个买入要花的钱,需要给现在的第一次好不容易跑到苹果那去的用户。所以,你想想看,这个入口非常重要,谁控制了入口,谁就控制了智能流量。这是非常重要的,特别是在应用能听懂你的“讲话”之后。你只需要和应用“讲话”就好了。有Siri或者这些智能代理帮你做和应用之间的复杂交互,那我们还需要做那么复杂的App界面设计吗?
不需要了,你很多东西只需要告诉它就好了,或者说这个交互就变成了你的方式。我问你怎么做,它弹出两个界面,然后再弹出两个结果。这个界面的设计会变得更复杂,交互设计会变成语音式的,然后App也会消失。所有东西都藏在智能手机或者未来的智能眼镜里。
我们可能都不再叫应用开发者,我们会成为一些Service Provider。然后把你的应用注册到最早的地方,他在一个对话框里面做plugin肯定是不行的。现在的操作系统层面上的壳效果,我们叫做“壳上做plugin”,因为是天然的,所以我觉得Siri能做得很好。它可以带来很多变化,其实使用率不需要很高的智能。不需要它,一切都可以在本地做,本地的30个3亿参数的语音引擎去理解多语言文字是没什么问题的。
徐思彦: 我也对Neethan的想法很感兴趣,因为你是最早的语音交互产品的开发者。从最早的Alexa到现在的Siri,你认为它们的发展方向符合你的预期吗?
Neethan: 我在推特上分享了关于Alexa、苹果智能和新Siri的看法。它们都有相似的功能,但也有很大的改变。
我要说的两点是:
苹果智能就像是App接口加PCC。Siri之前并不开放,但现在已经内置了很多原生功能。Alexa也有自己的技能,许多第三方开发者会提供很多东西,Google助手也有类似的功能。
苹果的设备是一个强大的流量入口。Alexa主要只能在家庭应用场景里面使用,而且在手机端的应用并不强大。Siri则可以整合很多功能,成为一个重要的新生态入口。
虽然看起来没有变化,但实际上有很大的变化。我认为真正的赢家是苹果,因为它已经打开了更大的流量入口,也打开了更多的可能性。 苹果的这个动作非常聪明,它告诉我们AI是一个feature,而不是一个产品。 苹果一直都擅长在终端上给用户提供一个无感的、很好用的体验。
苹果的很多产品在发布的时候都会被质疑,但用户用起来就是爽的,AI也是一样的。我期待苹果能在这方面做得很好,能给用户提供一个非常好的体验。
最后,我认为苹果是最大的赢家,因为它开放了更大的流量入口,也开放了更多的可能性。我认为这是其他公司做不到的。
徐思彦: 苹果提出了一个名为Context AI的项目,特别是这个可以读屏的AI,在了解你的评估习惯、邮件等后,能给用户更智能的建议。这个方向的发展成立吗,会带来一些隐私问题吗?
Neethan: 我觉得,Context AI并不新鲜,过去一年很多创业公司和大厂都在提供类似的服务。例如,我之前做广告时,已经有很多个性化的推荐系统,这些系统需要个人数据,如你在屏幕的停留时间,你阅读的邮件等。我认为这条路是行得通的,但可能并非通过录屏等行为。人们对此有很高的期待,但是否真的能火起来,还需要看用户的使用习惯。
大部分人的设备并非专业的AI设备,他们最多的需求是吃穿住行,叫Uber,叫外卖,或者突然想知道某个信息。因此, 个人AI不一定局限于某些交互形式 。在北美,用户的隐私是一个大问题。例如,欧洲已经发出了一些关于隐私的咨询。我觉得这很科幻,但是否真的能交付给用户,用户是否真的会这样用,还有待观察。
大部分用户最常问的问题还是关于衣食住行。那个是实际的personal AI的场景会通过Apple Intelligence去实现。我觉得会有许多应用开始尝试去接入苹果设备,尝试去抢这个接口,什么样的东西都可能尝试。其次,实际上来讲,这也非常依赖于苹果的分发和routing,关注用户如何使用。我觉得会优先的是一些生活场景化,或者是说非常简单的场景,如我想快速知道我email里面的某个信息。
我觉得所有的简短场景,关于信息展示和信息切分, App会更回归于业务本质,GUI会逐渐被淡化掉 。例如,你可能会在Uber里面绑定银行卡,但是你叫Uber,查看路线图,查看ETA可能都会慢慢来到Siri或者Apple Intelligence这个层面上。但是,其他一些更长的沉淀,如你的路线计划等,可能还需要更长的时间,通过苹果提供更好的UX,慢慢再走到上一层上。我对苹果的隐私政策,还是比较有信心的。
胡 延平: 我们正在讨论的问题可以归结为以下几点。我们明确了六个事实,但有几个疑问,这是我们正在探索的。首先,这个事情会发展得多快?我认为可能不会很快,因为入口与应用之间的关系需要时间发展。
其次,入口的形态会是什么?目前,已经进入第三阶段。第一阶段是基本的问答,第二阶段开始连接一些服务信息或简单的应用。第三阶段的入口被称为超级入口,因为它有自然交互和智能,能有效地组织应用、服务信息、知识、内容和数据,并以用户需要的方式呈现。目前,很多方面还有待改善,但在封闭或整合的系统下,它效率最高。
关于形态,还有一些不确定的地方。除了自然交互和智能能力,还有端侧的算力,包括端侧的传感和深度感知。这些因素在此汇聚,因此大家对超级入口非常关注。
智能与智能的关系是什么?一种关系是可以接入各种智能,如Google G、Open AI的GPT等。另一种关系是这些App也有自己的智能,可以与苹果的AI能力结合、连接、融合或合作。如何更好地连接并给用户更好的体验,还需要观察。
如何获取深层的用户数据,如读屏,还不清楚。但一些服务,如旅行预订、天气预报、订餐、交通等,应该会首先实现。对于深层的任务,可能需要借助Apple Intelligence的功能来处理,这些任务通常是用户在App中进行的。
此外,智能与智能的关系也是一个需要解决的问题。在下一阶段,可能会出现一些问题,如强大的头部效应可能导致一部分App从入口获取大量的流量和用户,而其他部分可能被边缘化。在这种情况下,存在利益冲突。这个冲突可能导致App Store无法承载超级入口和Apple Intelligence的合作关系,也无法处理新生态中各方的利益分配。
我认为,必然会有一场利益冲突,这可能会和用户数据隐私保护,以及一些与竞争有关的问题相交汇。苹果可能需要考虑如何形成新的生态秩序,形成新的与开发者和应用之间的关系。这个过程可能比超级入口来得更慢,更晚一些,所以这几个问题仍然有待商榷。
入口之争,竞争新局面如何展开?
徐思彦: 我们非常关注智能和智能之间的关系。这里面有两个问题,一个是苹果会如何影响未来模型底层的竞争格局?OpenAI能否维持其领先地位?如果可以,能维持多久?第二个问题是,模型之间是否可能互相调用?未来是走向融合还是分裂?我很想知道大家的看法,你们认为未来的模型竞争会是什么样子?
Indigo: 我认为现在的AI模型,如Claude以及ChatGPT,已经很出色,甚至超过现有的测试基准。但有时候,我们并不需要那么高的智能。像OpenAI和Google这样的公司,他们的目标是创造超级智能,但像苹果这样的公司,他们的目标是创造一个简单的小助手。
我认为有两种竞争方式:一种是竞争最高智能,这是OpenAI和Google这样的公司的目标。另一种是提供用户最好的体验,这是苹果这样的公司的目标。
对于超级智能,每个公司有自己的定义。我认为,我们现在正在向这个目标迈进。我们现在可以给机器一些提示,然后让机器完成剩下的工作。随着技术的发展,可能我们只需要给一些简单的提示,机器就可以完成所有的工作。
徐思彦: 我想听听你如何看待硅谷的几个大公司未来AI的方向。我最近用了Gamma做PPT,觉得非常好用。如果Google把它整合到自己的产品中,可能会对微软的Office造成挑战。硅谷的各个大厂现在的定位是什么?
Neethan: 我和Indigo的看法一样。我认为在你解决问题后,应该回归产品本身,因为你最终是要做产品。苹果非常明确自己是做产品的,他们有用户,需要满足用户的需求。他们没有像Facebook那样的推广部门,也没有Google DeepMind那样的部门,他们的核心是产品。
其他的大公司也会有类似的做法。Meta一直在开源场景中探索模型,但如果你看看他们的应用场景,他们已经在广告平台上使用大量的AI技术,如文案生成,图片生成等。这些都是回归到业务和产品本身。
Google也是一样,他们把重心放在Google Workspace上,包括Gama,Google Space,Gmail等等。微软也是一样的,他们把重心放在CoPilot上。研究是研究,但业务是业务,你还是要找到自己的场景去看,我觉得这是很重要的。你可能需要适应流量入口,重新设计你的交互,但你能提供的场景,你能带来的价值,这些是不能被轻易替代的。所以,你还是要专注在你要解决什么样的问题。
徐思彦: Indigo之前在文章中提到了一个名为AI workforce的概念。陈然刚才讲的金融场景,实际上就是把AI当作一种新的劳动力来使用,它甚至有可能成为一个供应商。而对于苹果来说,可能仍然是应用的升级。你怎么看待未来这两种方式会越来越分化,还是在某些时候它们会融合在一起?
Ind igo :我认为未来的发展可能会有所分化。各大公司如Google和苹果都在改进智能模型,但每家公司所需的模型不尽相同,因为每家公司都有自己的特定场景。我认为训练模型、数据调优和数据的独特性更重要。而且多模态和用户产生的特殊数据,如用户使用的屏幕数据,也更重要。
至于OpenAI的模型架构能领先多久,我不确定。 我认为接下来的竞争将体现在结构改进和数据使用上 。
在强化训练方面,我们可以用专家来训练模型,而不需要大量数据。专家可以为AI模型生成数据,这将使模型训练得更好。
在使用场景方面,我认为在agent时代,一个好的代理需要有好的记忆并能完成长时间的技术问题。目前所有的模型,包括GPT-4,都不能做到这一点。如果我们想要一个更好的代理,它需要有长时间记忆和推理能力。它可能会在云端实现,因为云端有更好的服务器架构,不会中断。
最后,我认为我们需要挑战现有的架构,实现更长远的规划,才能做出更好的产品。
EdgeAI的时代来了吗?
徐思彦: 最后一个问题,我还是想请大家展望一下对未来的AI智能手机或者端测AI,大家有哪些预期?
Neethan: 实际上,我对云端非常期待,因为我在会前说过,我期待苹果在PCC (private cloud compute) 上的一些改进。我和朋友讨论过一些观点,我期待的是个性化模型。模型的训练成本降低,架构的改变,可以使其更小。用户维度,甚至可以引入一些个人偏好,这样它的推理能力可以在个人维度上产生变化。但是从现在的功能角度来看,要达到很好的效果还是比较难的。
我觉得PCC已经为这种可能性开了一个口子,无论是苹果在芯片上的一些储备,还是在架构上的一些储备。当然了,如果这个东西能在本地运行,这个个性化模型,我会非常期待。我觉得这会开辟更多的场景,让更多的交互成为可能。
胡延平: 我期待每个人都能有自己的强大AI,而且希望它能更快地来到我们身边。虽然我们现在还在初始阶段,例如我手机里的模型是8B,电脑里的模型是70B,但是体验速度很慢,几乎没有多模态能力。这也是我期待苹果智能的原因。虽然现在的进展非常快,但是从用户体验来看,尤其是端侧模型,还处在原始的状态,可用性不强。我期待云端的能力更强大,但是离线可用,数据隐私和个人应用的整合等方面,我更希望端侧智能有很好的发展。
陈然: AI提供的情感价值,这个是我最关注的事情,因为我觉得,对一个普通人而言,他对于生产力也好,对一个设备的理解也好,跟我们可能专业的人是完全不一样的。那如果说一个智能,它希望能够触及到更广大的大众,一定是它提供了更高的情感价值,而这个反而也是AI更擅长的。
我觉得真正值得创新的点,或者说能创新、能够做AI native的东西,一定是提供了足够情感价值的一些东西,而不仅仅是说在业务逻辑上或者一些资源整合上的东西。所以,大家如果真的想做AI native的创新,在这个时代应该考虑用情感价值作为突破口。去思考怎么样让AI更好地陪伴人类、提供更多的情绪价值、引导思考,就是让大家能够过得更开心。
徐思彦: 谈谈你对未来智能HAI创新的一些预测吧。
Indigo: 我希望让大家用手机的时间少一些。让手机成为身上的计算中心,其他的可穿戴设备只是辅助设备。AI提供了一个好思路。例如,语音交互和视频的设备都已经实现,只是电池问题还没解决。Google和苹果都在准备这样的产品。如果有手表,耳机,眼镜等配件,我们就能少用手机。
苹果在2019年就启动了一个可行走的iPad项目,叫做Human Joy。这是一个机器人项目,用于家庭和办公室。许多公司都在做这样的陪伴机器人。
未来苹果的三大新的增长方向,一个是手机,一个是可穿戴设备,还有一个是可行走的机器人。机器人可以作为你的助理,不在你口袋里面,可能在你身边或者你随叫随到。未来的Mac可能会朝这个方向演化。
下一代的竞争将在端上,不在云端。 端上的智能设备会很多,除了手机和可穿戴设备之外,还有家用机器人等。在不同级别的端上面,它们的智能程度也会不同。所有解决不了的问题都会去云端解决。未来会形成一个大的网络,端的数量会大于云端,云端会解决超级智能问题,云端会联网,形成一个超级大的网络Neural Network。不同公司的模型之间也可以协助调用,形成一个大的网络。
徐思彦: 再次感谢各位嘉宾的精彩分享和总结。随着Apple Intelligence的发布,大模型的竞争已经进入到第二个阶段,端侧AI的大变革才刚刚展开。我们预测,未来可能会有更多不同的产品融入更高级别的智能,比如iPad,眼镜,汽车,家用机器人等。未来的变革速度将会越来越快,我们的手机也可能会变得更有个性和更有情感。我相信大家都非常期待看到这些变化。
本文来自微信公众号: 腾讯研究院 (ID:cyberlawrc) ,对话嘉宾:Indigo(前微博创始团队Brilliant Phoenix Partner)、胡延平(FutureLabs未来实验室首席专家)、陈然(前机器学习总监硅谷AI应用创业者)、Neethan(Co-founder of Hallidai、前TikTok Tech Lead),节目主理人:徐思彦(腾讯研究院高级研究员)