AI手机,新的“数据黑洞”?
2025年,AI手机消息频频。
近日,苹果被证实与多家中国厂商洽谈,推动苹果在中国手机中落地AI功能。
许多人可能对去年一场手机发布会上用AI一键下单2000杯咖啡的事记忆犹新。
当时在场所有人发出欢呼,却很少有人想到一个问题: 手机内置的AI助手是如何一键唤醒瑞幸小程序或者APP、并且实现、支付的?
随着人工智能浪潮席卷,硬件创新已走到摩尔定律极限,AI手机也正在成为兵家必争的赛道。
2025年,AI一定会带来变化,这种在行业内几乎已经形成共识的判断,也让手机厂商把部署端侧AI作为重要的硬件实践场景,并冀望借此带来手机消费市场的新机会。
陆续有不少手机厂商推出AI手机:最早是三星,随后苹果也开始加入,2023年9月,苹果推出了搭载了苹果人工智能的手机iPhone16;国内市场的竞速者们也快速入局:OPPO在其海外手机上结合谷歌的大模型——Gemini,实现了AI功能;2024年10月,荣耀推出了AI手机……
根据第三方研究机构Canalys的数据,2024年,全球有16%的智能手机出货,到2028年,这一比例将上升至54%。
当AI手机越来越智能,你的手机可能比你自己更懂你。它获知你所思所想,并帮助你完成所有事务;它储存了你所有的生物数据,会根据你的健康状况提出规划;它掌握你所有的生活习惯、口味偏好,能够给你点一份你最喜欢的外卖……
一切都那么美好、便利,但在我们不易察觉的另一面,这可能意味着, 在你的身边,将存在一个数据的“黑洞”, 在不知情的情况下不断吸食你的个人信息进入黑洞中,在未被解释的情况下,生成新的数据,左右你的生活与选择。
智能体新命题
新技术奇点时刻,往往带来革命性的产品,背后蕴含着商业逻辑的颠覆,也带来了新的行业挑战。
在移动互联网时代,APP掌握了用户的流量入口,在AI Agent时代,流量入口成为了智能体,例如手机,更尖锐的问题是,与移动互联网时期单个APP不同,AI手机要提供服务,需要掌握个人数据的全集——例如位置信息、通讯记录、浏览习惯、生物特征等数据,这让数据隐私保护的范围和链条更为复杂。
“手机,是一场数据革命。” 尚隐科技有限公司CEO张仁卓如是说。
在这场数据革命之下,对于隐私数据的使用更加隐蔽、复杂、难以界定;原有的法律法规难以适应AI智能体时代的隐私保护规则;云厂商、大模型厂商、APP厂商以及手机厂商在数据使用上的责任究竟如何厘清边界,确保在危险或恶性事件发生时,有人为此负责?
我们与多位业内人士交流,试图理清,智能体时代下的数据泄漏风险何在?在当下又该如何预防?
“这是一个新命题。”一位从事数据隐私保护多年的专家表示,“但提出问题本身,就是意义。”
争夺流量入口,是一切与数据有关的商业底层逻辑。另一个逻辑则是,在生成式AI时代,需要借助个人数据提供服务的相关方变多,其中不可避免进入了如今隐私保护法规的“盲点”。
移动互联网时代,APP是流量入口,APP厂商通过获得用户允许的个人数据,进行脱敏处理之后,为其所用。
在AI Agent时代,大模型降低了人机交互的门槛,人们通过自然语言即可与机器进行沟通,此时,AI Agent取代APP,成为了与用户交流沟通的方式,也成为了流量入口,这意味着数据的控制权,手机也希望为用户直接提供服务。
但与移动互联网时代不同的是,相比于APP对个人信息获取的范围,手机所需要的个人信息更多,是所有个人数据的全集,其接触的数据更深、更为底层。从生态来看,这将会造成新的“赢家通吃”,也使消费者的面临更复杂的信息迷宫,泄漏的风险大,甚至陷阱重重,难以预料。换句话说,AI手机成为了数据泄露的高风险点,并且这种泄漏造成的后果,更甚于移动互联网时代的APP。
首先,手机拥有对数据的更高权限。过去,APP是个人信息的主要收集者,但这并不意味着手机就无法接触到个人数据,只是彼时手机厂商如果需要获取数据,恐怕需要跟众多APP厂商进行繁琐的拉扯与博弈,在用户同意授权的前提下。这种高权限的体现在于,第一,用户无法删除手机出厂自带的应用;另外,手机的一些应用是可以在后台无感知运行,例如我们如今随叫随到的“Siri”、“小爱同学”等,用户很难察觉哪些应用还在运行中,数据可能就在这个过程中不知不觉中被读取;一旦AI手机助手能够帮你操作手机,如果让手机帮忙点一杯咖啡,最后会跳转至支付界面,需要用户手动输入,但业内人士表示,从技术上并不需要手动输入密码,手机完全有能力获知密码信息。
其次,手机所接触的数据更多、更敏感也更为深入。“手机最牛的在于它的屏幕。”一位数据隐私保护专家表示,他通过屏幕与人发生交流,而用户通过手机屏幕了解一切信息,屏幕的控制权在手机厂商手中,这就意味着,当用户在屏幕上展示信息的那一刻,就相当于向手机厂商公开了全部数据——它可以通过屏幕窥探到你的所有隐私。曾经,屏幕可能只是展示信息的功能,未来“屏幕可能就是一个流量入口”。
技术与监管的博弈
面对这种高权限以及全方位获取个人数据的角色,如今并没有明确的约束其获取数据能力的法律或规定。
数据链条中,涉及手机厂商、云厂商、APP厂商,或许还包括第三方模型厂商。而数据获取途径也增多,“你无法每一项都询问一次同意。”前述专家表示。这并不仅是复杂度的问题,而是难以界定的处理方式。
在新技术快速发展之际,技术总是先于法律法规先行。
目前手机厂商获得推进端侧大模型分为意图框架、识屏+模拟点击两大路线,意图框架需要获得app厂商支持和加入,双方共建生态。而识屏+模拟点击的路线,指的是通过对手机屏幕截屏、理解和分析屏幕内容,通过模拟点击脚本,实现绕过第三方app授权,即可操作手机内部功能,这种方式显然更加快捷。
目前,通过一句指令,让手机点开外卖APP帮用户点一杯外卖的方式,其更多采用的是“识屏+模拟点击”的技术路线,并开启了“无障碍权限”功能。“这种方式一定会导致严重的安全隐患,以及‘踢皮球’的问题。”前述数据安全专家表示。其中的关键,就是“无障碍权限”功能。这一功能,也被视为是最高风险等级的功能,该功能一开,相当于一扇被去掉了锁的超市大门。
最初,“无障碍权限”原本是为了方便残障人士使用手机而设置的特殊功能,另一个使用无障碍权限的合法场景是自动化测试,可以打破各个APP之间的沙箱隔离机制。
汉华信安总经理彭根长期从事手机端侧安全研究,其在一次研讨会中指出,无障碍权限能做四件事——监控屏幕,即对所有的内容,都在监控范围内,并且监控速度很快,在零点几秒的时间,屏幕的所有文字都会被读走;另外,代替用户进行点击、滑动、输入;第三,打破沙箱隔离机制。
所谓的“沙箱隔离机制”,是一种安全技术,用于限制APP的访问权限和操作范围,确保每个应用程序是在独立、封闭的环境中运行,防止其对系统和其他应用程序造成干扰和破坏。但无障碍权限则可以打破这种安全机制,甚至优先于用户自身,读取全部手机的信息。无障碍权限,被定为“高危权限”,在点击一次“同意”之后,手机很可能不会再做出提醒,因此用户极容易在不知情的情况下开启了无障碍权限,也就相当于将自己的隐私暴露给了手机。
用户是否可以感知到手机正在后台获取数据?识屏功能能否被识别?笔者尝试询问了多位技术专家,均表示目前尚且无法从技术上解决这个问题。
另一方面来自手机AI的技术带来的隐患,来自端云的结合。
当数据存储在本地时,用户自己就是终极个人信息处理者,但在大模型时代,本地部署很多时候无法满足其对数据量以及功能的需求,端云结合的方式不可避免。
在端云协同中,数据流通的链路逐渐增多,涉及到的相关方也增多,不光是手机厂商,还有云厂商、APP厂商,甚至可能涉及到第三方大模型厂商,每个链路、每一个环节都不同程度参与了数据的收集和处理,甚至影响整个服务的提供,数据的交互流通也变得更加复杂。如何分配以及明确每个环节的责任,这给了数据隐私保护政策的制定,带来了困难。
“下游产品对人工智能的使用可能远超于人工智能系统开发人员最初的设想,此时应如何平衡与区分各方主体的责任?再者,就具体的责任承担而言,应当要求人工智能系统的开发人员和部署人员在多大程度上、多长时间内保留何种类型的系统文档材料,以实现问责判断。”金杜研究院合伙人宁宣凤、吴涵等人在一篇文章中提及。
除了风险,也涉及到利益分配。一位长期从事数据隐私政策研究的专家表示,如果手机可以读取所有的数据,同时也包括APP通过收集个人信息,并进行加工处理后的数据,这当然需要APP厂商付出成本,如果手机厂商零成本获取这些数据,对APP厂商而言并不公平。“从这个角度来说,单纯从个人信息的角度来分析,是不够的。”前述专家表示。
“这并不是一个单纯的一事一议的这样一种治理的回应,不是一个权限的管理,它是原权限、原治理的问题。”北京大学政府管理学院教授马亮表示。
此外,在流通过程中,大模型至今无法解决的“数据黑箱”,同样使用户并不知道数据最后如何被流通,又是如何被处理。
手机厂商的尝试
一些手机厂商在信息保护方面做了尝试。
一些手机厂商在宣传中,提出关注端侧AI的能力,但如今的现实是端侧很难实现一些复杂的AI功能,端云结合依然是手机厂商难以绕过的坎儿,一个坚不可摧的云服务城墙至关重要。
当端侧AI在如今大模型的今天很难实现的情况下, 私有云,对于手机厂商来说或许是一个更好的选择。
尚隐科技有限公司CEO张仁卓在一次论坛中,描述了苹果和谷歌在数据安全上的做法。
以苹果公司为例,在苹果的生态中,不光集合了苹果自身的AI,还接入了其他大模型公司,还有一些小模型公司,苹果AI努力采用本地AI代理的模式,另一方面,苹果在私有云上拓展了一块安全性很高的空间,这个安全性很高的空间体现在,第一是无状态的计算,数据上下游之间没有关系。
举一个简单的例子,当用户随机进了一个餐馆,这个餐馆不会知道用户以前进了哪些餐馆。另一点则是没有特权访问,包括苹果自身,也不能在未经用户同意的情况下访问用户数据,同时苹果将用户特征的信息隐藏,并提供了可验证的透明度。如果需要使用第三方AI时,苹果的做法是,不提供IP,第三方AI不存储数据。
谷歌的做法逻辑与苹果类似,其采用的密封计算技术,便可理解为,在云上开辟一块空间,供AI使用。数据在传输、存储和处理时均保持加密状态,即使在内存中处理,数据也保持加密状态,防止未经授权的访问。在这样的状态下,多个参与方在不暴露各自数据的情况下进行联合计算,同时,会在数据分析、机器学习等场景中保护用户隐私。
AI风险,敏捷治理
目前业内共识,更多还是基于原有的法律,更准确地说,是基于旧有法规的新组合方式。
“现有的法律和法规对于目前的AI助手,仍然适用”。多位从业者表示。对于AI手机,目前最重要的就是对收集的信息的处理和使用的问题,而无论是网络安全法、个人信息安全保护法等,都对信息使用和处理作了相关规定。另外,中国在信息领域的监管还在及时适时而变,增加新的内容。“目前监管已经在关注,或者说已经在介入监管了。”专家表示。
美国的做法或许是一个参考,美国NIST在今年1月26日发布的《AI风险管理框架1.0》是一个很好的参考。
美国在数据安全上,依靠各州法律以及行业自律。在这份AI风险管理框架中,包括治理、映射、测量和管理的四个板块。
治理模块包括了法律法规、风险活动级别确定、责任划分与认定、劳动力的多样性和公平性以及文化宣传、反馈机制、第三方风险管理;映射主要用于确定特定场景与其对应的AI风险解决方案,例如会对AI系统的预期用途以及风险作出背景评估、考虑参与者的多样性、理解AI技术的目标、商业价值以及监督机制的评估等;测量主要采用定量和/或定性的工具、技术和方法来分析、评估、测试和监控AI风险及其相关影响,例如一些可信度评估、涉及的自然人评估等;管理主要是将相关资源分配给相应的AI风险,进行风险处置。
这样的方式,既对AI风险进行框定,确保这些行为在框架内的运行,又给了一定的自由空间。既有事前的预防,也有事后风险的跟踪。
“有关您个人信息权益的条款重要内容,我们已用加粗形式提示,请特别关注。”这是在下载DeepSeek时,点击《隐私政策》,上面详细披露了九点隐私政策相关的内容,包括如何收集和使用个人信息;如何保护个人信息;如何实现管理个人信息的权利;如何保护未成年人的个人信息;如何更新版本政策以及联系方式。
在DeepSeek的隐私政策中,提及了APP如何委托处理、共享、转让、公开披露个人信息的细节。例如合法原则、正当与最小必要原则、安全审慎原则等,甚至在条款中,披露了第三方共享的清单,提出若具体功能和场景中涉及关联方和第三方、第三方提供服务,则合作方范围包括关联方和第三方。
一些新的条款也在及时调整与增加,并根据已有的法律法规,针对具体问题做出新的调整和组合。
2025年1月1日生效的《网络数据安全管理条例》,对于进一步的自动化处理,甚至是人工智能一些新技术做了特殊的规定,要求网络数据处理者如何使用自动化工具访问数据的,需要对它带来的服务进行影响评估。还有就是不得干扰服务的网络质量的正常运行,这是很针对AI手机数据收集问题。还要求提供生成式服务的数据处理者应该加强对数据的安全管理,采取措施防止数据泄露,我们可以看到这些问题都是密切相关的。
个人信息保护影响评估,也是目前针对AI手机隐私保护的可行方式。前述专家表示,他如今的主要工作就是针对这些AI助手,进行个人信息保护影响的评估。
中国《个人信息保护法》要求,在某些情况下进行个人信息保护影响评估 (PIA) ,以确保个人信息处理活动的合法性和安全性,一共有五种场景:
-
处理敏感个人信息:敏感个人信息包括生物识别、宗教信仰、医疗健康、金融账户、行踪轨迹等;
-
利用个人信息进行自动化决策:如通过算法进行用户画像、自动化推荐等;
-
委托处理个人信息、向第三方提供个人信息或公开个人信息;
-
向境外提供个人信息;
-
其他对个人权益有重大影响的个人信息处理活动。
其中评估的内容包括,个人信息处理的目的、方式等是否合法、正当和必要;评估数据处理活动可能对个人权益 (如隐私、财产、名誉等) 产生的影响以及所采取的保护措施是否合法、有效并与风险程度相适应。
现在针对AI手机所出现的新的场景就属于第五点的内容,“如果我们可以用评估的视角提前介入,就能够把风险降低到可控范围,让应用先落地做起来。”前述专家表示。
“让子弹飞一飞。”是目前业界更为赞同的做法, 尽可能不伤害行业的发展,进行敏捷治理。 “敏捷治理”或许是一种思路,观韬中茂律师事务所合伙人王渝伟曾在采访中提出了这个观点,在一开始先制定顶层框架,在过程中不断调整监管治理和风险控制的措施,在一些案例中不断表明监管的态度,并不断调整监管思路并释放这种信号。