科技猎AI手机和AI PC极速进化为多模态，量变还需5G Advanced
作者｜包永刚
2024世界移动通信大会（MWC 2024），5G Advanced（5G-A）和生成式AI都是主角。
生成式AI能成为移动通信大会的主角，进化的速度和巨大的潜力都是关键。
去年MWC，高通展示了全球首个运行在Android手机上的Stable Diffusion终端侧演示。仅一年时间，能在骁龙平台运行的AI模型升级为多模态。
今年，高通展示了全球首个在安卓手机上运行超过70亿参数的多模态语言模型，能够识别和讨论复杂的图案、物体和场景。
高通还展示了全球首个在Windows PC上运行的大型多模态语言模型，可以接受文本和音频的输入，并基于音频生成多轮对话。
端侧AI有如此强大的能力，还需要5G吗？
高通公司总裁兼CEO安蒙说，“混合AI是生成式AI的未来，终端侧智能与云端协同工作，能够提升个性化、隐私、可靠性和效率。 连接对于助力生成式AI跨云、边缘和终端实现规模化扩展和延伸至关重要， AI解决方案正在支持高通提供下一代连接，赋能生成式AI时代。”
MWC 2024，高通发布了集成5G Advanced功能的调制解调器及射频系统骁龙X80，这也是高通集成专用5G AI处理器的第三代产品。
行业首个支持AI优化性能并在单个芯片中集成Wi-Fi 7、蓝牙和超宽带技术的解决方案高通FastConnect 7900也同时亮相。
极速进化的端侧AI，接下来会与5G Advanced和Wi-Fi 7碰撞出怎样的火花？高通与众多中国生态合作伙伴和最新成果给出了一些答案。
看得懂又听得懂，AI手机和AI PC首次运行多模态大模型
去年MWC，端侧AI领域最有实力的公司高通展示了在安卓手机上运行10亿参数AI大模型Stable Diffusion在终端侧生成图像。
2023年底，随着第三代骁龙8移动平台的发布，运行Stable Diffusion模型的速度从年初的不到15秒缩短至0.57秒，提升幅度和速度惊人。
MWC 2024，骁龙移动平台运行的AI大模型的参数从10亿陡增至超70亿，模型也升级为更具挑战的多模态语言模型（LMM）， 不仅能够接受文本输入，还可以接受图像、音频等其它输入数据类型。
以高通AI研究展示的首个基于第三代骁龙8的安卓智能手机上运行大语言和视觉助理大模型（LLaVA）为例，拍一张食材照片，可以问AI助手这些食材是什么？能用这些食材做什么菜？每道菜的热量是多少？AI助手都能基于视觉内容以非常及时的响应速度给出答案。
完全在终端运行的大模型不仅能保护隐私，还能实现个性化。 高通还展示了首个安卓手机上运行LoRA模型，能根据不同个人或艺术偏好创建高质量自定义图像。
LoRA能够在不改变底层模型的前提下，通过使用很小的适配器（大小仅为模型的2%），就能个性化定制整个生成式AI模型的行为，提升效率、可扩展性，让端侧AI更懂用户。
高通的AI PC同样强大。 搭载全新骁龙X Elite平台的Windows PC，运行音频推理多模态大模型，能理解不同声音，还能够基于输入的音频信息为用户提供帮助。
比如，给搭载骁龙X Elite的AI PC输入一段音乐，多模态大语言模型能够理解用户输入的音乐类型和风格，为用户提供音乐的历史以及相似的音乐推荐，或通过对话的方式为用户调节周围的音乐，充分发挥端侧AI的性能和能效优势，还有隐私性、可靠性、个性化以及成本优势。
如此强大的骁龙X Elite是业界AI PC的标杆。
使用分别搭载骁龙X Elite和X86芯片的两台笔记本电脑，同时运行集成Stable Diffusion插件的GIMP（一款广受欢迎的图像编辑器）生成AI图像， 骁龙X Elite只需7.25秒就能生成一张图像，速度是X86竞品（22.26秒）的3倍。
数倍的速度优势，得益于骁龙X Elite 45TOPS强大的AI性能，大幅领先竞品。
按照第三代骁龙8落地端侧大模型应用只用了一个月时间的速度，相信基于骁龙8和骁龙X Elite多模态大模型的功能也很快会到来。
目前，基于第三代骁龙8的AI功能已经可以在多款国产手机上体验。
搭载第三代骁龙8的小米14系列，新增的AI写真功能，可以在图库里选择20-30张图片后进行AI形象学习，生成不同风格的图片。
OPPO Find X7 Ultra在第三代骁龙8强大的AI性能支持下，用手指轻松圈一圈，就能消除照片里不想要路人，还能智能生成通话摘要。
基于第三代骁龙8的荣耀Magic6手机，运行70亿参数大模型，实现了任意门一拖日程、智慧成片和一语查图等功能。
同样采用第三代骁龙8的魅族21，基于Flyme Ai大模型，支持知识问答、文案创作、文生图、图片风格转换、AI搜图、图片扩展等功能。
手机上强大的AI助手能制定个性化的旅行计划，但仍需要借助5G或Wi-Fi预定机票和酒店，这就是5G对于生成式AI的意义所在。
“高通深知，为实现生成式AI的规模化扩展，需要跨云端、终端和边缘云应用混合AI。”高通技术公司产品市场高级总监Ignacio Contreras说，“混合AI是AI的未来，因此我们需要更加强大的连接能力，确保所有AI工作负载的有效分配。”
AI 5G调制解调器迎来第三款，Wi-Fi 7也AI
从2018年5G商用到2024年5G Advanced元年，高通一直参与标准的制定，也是业界少有每年迭代5G调制解调器及射频系统的公司。
骁龙X80调制解调器及射频系统是高通最新的5G调制解调器，也是继骁龙X70、骁龙X75之后，高通第三款AI 5G调制解调器。
骁龙X80集成了专用AI张量加速器， 对于提升数据传输速度，降低时延，扩大覆盖范围，提高服务质量（QoS）、定位精度、频谱效率、能效和多天线管理能力发挥重要作用。
作为5G Advanced元年发布的产品， 骁龙X80集成5G Advanced-ready架构，实现了多项全球首创的里程碑， 包括首次在5G调制解调器中集成NB-NTN卫星通信、首次面向智能手机支持6Rx（射频前端具备6路接收能力）、首个下行六载波聚合以及首次面向固定无线接入客户端设备（CPE）支持由AI赋能的毫米波增程通信。
“ 新一代骁龙X80调制解调器及射频系统的创新在于，更好地利用带宽提升用户的实际连接体验。 例如，在用户距离基站较远等颇具挑战的情况下提高平均连接速率，而非专注于峰值速率（下行链路是10Gbps，上行链路是3.5Gbps）的提升。”Ignacio Contreras进一步表示，“我们希望在全球范围内充分释放5G和5G Advanced潜能。”
雷峰网 (公众号：雷峰网) 了解到，搭载骁龙X80的商用终端预计将于2024年下半年发布。
释放5G和5G Advanced潜能，离不开高通和合作伙伴的努力。
2014年，高通率先投入5G技术的研究，2016年推出了全球首款商用5G调制解调器骁龙X50及射频系统。2018年5G商用元年，高通与多家领先的中国厂商宣布“5G领航计划”。
2019年，几乎所有当年发布的5G移动终端都采用高通的5G调制解调器及射频系统。2021年，骁龙X65是全球首个支持10Gbps 5G速率（万兆级）和首个符合3GPP Release 16规范的调制解调器及射频系统。2022年，骁龙X70将5G调制解调器带入AI时代。
从参与标准制定到引领实现5G商用，从解决5G复杂性挑战，到把5G带入万兆时代，再到首推AI 5G调制解调器，高通一直在引领5G的发展，也在不断加深和中国合作伙伴的合作，推动5G演进和5G与AI的融合。
MWC 2024上，多家中国公司都发布了基于高通5G产品的解决方案，美格智能基于骁龙X75 5G调制解调器及射频系统推出了5G-A模组，基于骁龙X72推出了5G-A FWA解决方案。
TCL发布了搭载骁龙X35 5G调制解调器及射频系统的RedCap Dongle。5G RedCap对M2M（Machine to Machine）以及在消费级领域的5G普及非常重要，能够让更多人以更优惠的价格享受到5G的高速体验。美格智能也发布了基于骁龙X35的5G RedCap系列FWA解决方案。
5G Advanced与XR的结合让人期待。 高通、中兴通讯、中国移动和当红齐天集团共同启动了5G-A XR大空间对战游戏项目 ，四方联合完成基于5G-A大容量、低时延的特点针对XR游戏优化，实现了近千平米的大空间内，画面清晰流畅无卡顿，平均空口时延低于10ms，可实现无线大空间多人XR免背包游戏体验。
卫星通信方面，广翼智联基于高通212S基带芯片推出5G NTN卫星手持设备，能够在最具挑战性的信号环境中也具有定位功能。
5G与AI实现了深度融合，Wi-Fi 7同样如此。
最新发布的高通FastConnect 7900移动连接系统，是 行业首个在6nm制程芯片中支持AI优化性能并在单个芯片中集成Wi-Fi 7、蓝牙和超宽带技术的解决方案。
利用AI，FastConnect 7900可以适应特定用例和环境，有效优化能耗、网络时延和吞吐量。
“基于AI增强特性，用户使用一些广受欢迎的APP时终端功耗能够下降高达30%。”Ignacio Contreras同时指出，“FastConnect 7900能够支持更出色的多终端体验，例如支持将内容投射到屏幕或扬声器，或同时使用多个屏幕显示，以及支持分离式渲染VR技术。 通过高通独有的两大技术——Wi-Fi高频并发技术（HBS）以及高通扩展个人局域网（XPAN）技术， 带来更低时延，更高的数据传输速率和吞吐量，以及更大覆盖范围。”
MWC 2024期间，中国联通发布搭载高通Wi-Fi7沉浸式家庭联网平台的Wi-Fi7 BE6500智能路由器，双方共同推动Wi-Fi7的创新。
强大的端侧AI能力，和极致的5G Advanced、Wi-Fi 7结合，将加速混合AI时代的到来。
5G Advanced+生成式AI，加速混合AI时代到来
高通早在5G商用之初就已经开始探索5G和AI的融合。
几年前，高通推出了自主移动机器人（AMR）参考设计，能充分发挥5G+AI的能力。
最近，高通、Hololight和爱立信展示了在网络条件最佳时如何在云端进行处理，并在需要时向终端侧计算平滑过渡，展现了动态分布式计算将成为开启无界AR体验的关键。
要探索5G Advanced+生成式AI更多的可能，还需要端侧的异构计算。
高通认为， 生成式AI的多样化要求和计算需求需要不同的处理器来满足。 支持处理多样性的异构计算架构能够发挥每个处理器的优势。NPU专为实现以低功耗加速AI推理而全新打造。
早在2007年，骁龙平台首次集成的Hexagon DSP，成为了高通未来多代NPU的基础。2020年，骁龙平台的Hexagon NPU实现了重要里程碑。2022年，第二代骁龙8中的Hexagon NPU引入了众多重要技术提升。
第三代骁龙8中的Hexagon NPU成为了面向终端侧生成式AI大模型推理的领先处理器。
高通NPU的差异化优势在于系统级解决方案、定制设计和快速创新。 通过定制设计NPU并控制指令集架构(ISA)，高通能够快速进行设计演进和扩展，以解决瓶颈问题并优化性能。
包含高通Hexagon NPU、Adreno GPU、Kryo或Oryon CPU、高通传感器中枢和内存子系统的高通AI引擎，能够实现端侧生成式AI最佳的应用性能、能效和电池续航。
强大的高通AI引擎要为开发者降低门槛进行充分使用，还需要高通AI软件栈（Qualcomm AI Stack），让开发者可以在高通硬件上创建、优化和部署AI应用，一次编写即可实现在不同产品和细分领域采用高通芯片组解决方案进行部署。
MWC 2024上高通推出的高通AI Hub对于激发端侧AI的创新以及5G+AI融合有积极作用。
高通AI Hub为骁龙和高通平台提供超过75个优化AI模型， 比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B，能够充分利用高通AI引擎内所有核心（NPU、CPU和GPU）的硬件加速能力， 将推理速度提升4倍，模型占用的内存带宽和存储空间也将减小。
这些优化模型现已在高通AI Hub、GitHub和Hugging Face上提供， 开发者只需通过几行代码即可在搭载高通平台的云托管终端上自行运行这些模型。
5G Advanced和强大的端侧AI能力已经准备就绪，随着2024年下半年AI手机和AI PC的能力进一步进化，5G+AI的杀手级应用也让人拭目以待。
雷峰网原创文章，未经授权禁止转载。详情见 转载须知 。
