高通AI芯片来了，瞄准视觉场景赋能IoT

人工智能芯片早已成为芯片巨头关注的焦点，早些时候，Nvidia就宣布将把某些Nvidia的技术整合到ARM的芯片设计中，特别是针对物联网设备实现AI的处理器优化。雷锋网 (公众号：雷锋网) 消息 ，近日高通推出视觉智能平台，搭载了采用10nm FinFET制程工艺、专门面向IoT的SoC。QCS605和QCS603 SoC集成ISP、高通AI Engine及连接和安全技术，能为终端侧的摄像头处理和机器学习提供强大的计算能力，面向广泛的物联网应用。

高通新SoC平台如何让IoT设备也实现AI功能？高通IoT产品经理Seshu Madhavapeddy为此做了进一步解读。

为什么需要视觉智能SoC平台？

正如20世纪80年代PC消除了高价值计算必须在大型主机上运行，智能物联设备以及支撑这些设备的芯片正在证明AI计算也可以在边缘完成，而非仅仅在云端。越早打破数据中心在AI中的独特地位，AI能更早和容易被普通终端用户和开发者所接受。

Madhavapeddy表示新的SoC平台为IoT边缘计算而设计，通过让更多地计算在设备中进行尽可能减少数据向远程基础设施传输，让物联网终端变得更加智能。QCS605和QCS603 主要面向智能视觉领域，应用于安防摄像头、运动摄像头、可穿戴摄像头、虚拟现实（VR）360度与180度摄像头、机器人和智能显示屏等。

Madhavapeddy进一步解释，之所以要推出新的平台是因为IoT摄像头与手机摄像头有较大的区别。首先，与手机摄像头不同，IoT摄像头往往工作在低光照环境；其次，IoT摄像头有非常不一样的图像稳定需求，IoT摄像头所需的并非模糊不清的快照，而是运动场景中头盔上的视频拍摄，或无人机在执行任务过程中摄像头的清晰和实时反馈。

高通视觉智能平台（Qualcomm Vision Intelligence Platform）

详解QCS605和QCS603

高通AI Engine

高通新推出的视觉智能SoC平台集成Qualcomm人工智能引擎AI Engine，AI Engine由多个继承的硬件和软件组件组成。包括了骁龙神经处理引擎（NPE）软件框架，其中包含采用TensorFlow、Caffe和Caffe2框架进行开发的分析、优化与调试工具，ONNX（Open Neural Network Exchange）交换格式，以及Android Neural Network API和Qualcomm Hexagon Neural Network库。AI Engine还包括软件开发工具包SKD。当然，高通希望开发者和OEM厂商能轻松将训练网络接入到此平台。

基于AI Engine和骁龙神经处理引擎软件框架，视觉智能平台可为深度神经网络推理提供高达每秒2.1万亿次运算（TOPS）的计算性能。同时，人工智能引擎也可以优化推理，即根据部署到设备的机器学习模型对图像数据进行评分。当然，模型训练仍然会在使用大量GPU具有更强性能的云端进行。

视频特性

Madhavapeddy表示，图像不仅仅是静态的，也有动态的视频，不过603和605都具有强劲的视频性能。605支持4K@60fps和1080p@60fps、4K@30fps和720p@30fps的视频流，以及更低分辨率的多个并发视频流。

为了实现非凡的图像质量，视觉智能平台集成了支持双1600万像素传感器的双14位Qualcomm Spectra 270 ISP。此外，该视觉智能平台包括物联网细分领域所必需的视觉处理功能，如可防止高动态范围视频出现“叠影”效果的交错式HDR（staggered HDR）、电子稳像、畸变校正、降噪、色差校正，以及硬件运动补偿时域滤波（MCTF）。 

异构计算架构

视觉智能平台QCS605芯片组的异构计算架构，集成八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量处理器。该视觉智能平台的集成式显示处理器可为一系列显示屏提供硬件加速合成、3D覆盖，以及包括OpenGL、OpenCL和Vulkan在内的主流图形API支持。该架构支持多种高级操作系统，能帮助开发者和制造商在其解决方案中轻松构建差异化特性，如VR 360度摄像头的端侧内容拼接，自主机器人导航与避障，以及运动摄像头的视频摘要。

QCS603和605都集成Adreno GPU、多核Kryo CPU、和Hexagon 685向量处理器以及高通AI Engine，都属于为电池供电产品设计的低功耗产品。对比而言，605是8核CPU，603是双核CPU， 603的运行功率更低、芯片更小，以更低的规格实现更多的功能。

Wi-Fi、音频、安全特性

据雷锋网了解，高通视觉智能平台都板载Wi-Fi，605具备MU-MIMO和双频并发特性的2x2 802.11ac Wi-Fi、603具备1x1 802.11ac Wi-Fi。

音频方面，支持Qualcomm 3D音频套件、Qualcomm Aqstic音频技术和Qualcomm aptX音频。该平台还具备Qualcomm噪音抑制与回音消除技术，以终端侧音频分析与处理特性，支持自然语言处理、音频语音识别和语音插播功能，打造可靠的语音界面，甚至在吵闹或嘈杂的环境，或当用户远离终端时也可实现。

视觉智能平台基于硬件的安全特性可通过下列功能支持可靠的物联网终端，包括硬件可信根的安全启动、可信执行环境、硬件加密引擎、存储安全、贯穿生命周期控制的调试安全、密钥分发和无线协议安全等。

雷锋网报道 via ZDNet

相关文章：

高通抢占人工智能生态入口 投资包括商汤摩拜在内9家中国公司

三星发布首款 AI 处理器 Exynos 8610：对标高通骁龙 700 系

高通AI产品主管：AI重要的是给用户带来改变，而不是简单的两个字母

。