“影像为王”时代，商汤AI传感器定义手机影像新格局

7月5日,商汤智能产业研究院发布《AI传感器:智能 手机 影像新核心》白皮书,提出在智能手机市场缓慢步入瓶颈期的趋势下,影像功能成为产业破局焦点,而人工智能软件与CMOS(图像传感器)硬件的融合,更是智能手机影像能力持续提升的重要支撑。

作为全球领先的人工智能软件公司,商汤 科技 前瞻开展了多元化的智能影像布局,通过AI算法SDK、AI传感器、AI ISP三位一体的智能影像解决方案,为智能手机影像技术的发展构建新的突破口和竞逐点。

商汤科技联合创始人、首席科学家王晓刚表示,“过去几年,AI算法的广泛应用突破了智能手机影像能力的硬件限制,未来,AI传感器将再次定义和引领智能手机影像发展的新趋势。凭借成熟的AI算法固化技术,商汤在AI传感器的技术领域积累了先发优势。我们将持续开拓创新,将AI传感器的应用从智能手机拓展至自动驾驶、元宇宙、智慧城市等更多领域,打开‘坡长雪厚’的蓝海市场,让AI传感器成为感知物理世界、构建数字世界的核心感官。”

智能手机增长趋缓,影像技术成为下一代手机产品差异化竞争力的新突破口

今年以来,受到核心零部件短缺以及疫情反复的影响,智能手机市场表现相对低迷。据信通院数据显示,2022年4月国内手机市场总体出货量为1808万部,同比大幅减少34.2%。对此,诸多手机厂商开始选择在消费偏好体验方面“对症下药”,在手机外观、处理器、屏幕显示、快充技术、 游戏 体验、内存存储等能力逐渐趋同的背景下,智能手机的影像能力成为了当前竞争的核心要素,以及消费者选购的重要标准。智能手机正全面进入“影像为王”的时代。

CMOS图像传感器和ISP(图像信号处理器)是影响智能手机影像能力的两大关键部件,前者更是塑造手机影像竞争力的核心。随着智能手机多摄像头配置的普及,5000万乃至1亿像素分辨率的应用,以及非Bayer图像传感器需求的旺盛,图像传感器技术得到了前所未有的发展。很多手机厂商甚至开始与传感器厂商寻求定制化合作,打造差异化的竞争力。

图像传感器的尺寸是影像成像质量的关键因素之一,然而智能手机纤薄的外形,使得手机图像传感器的尺寸天然存在物理上限。白皮书指出,过去几年,在AI算法驱动的计算摄影,以及更强大的处理器、专用图像信号和神经处理单元的加持下,智能手机的影像能力依然得到了持续提升。

然而,在传统的解决方案中,图像传感和AI算法的运行在不同的硬件上完成,图像传感器提供图像信号,而处理器或者AI加速芯片执行人工智能算法。白皮书指出,这种方案在强调低功耗和能效比的移动设备中,将会造成能耗资源的浪费,并且难以处理一些需要常开的应用场景。在此趋势下,人工智能赋能的图像传感器成为破题之道,引领CMOS图像传感器步入AI时代。

定格“魔幻时刻”,AI传感器让手机成为“个人智能影像工作室”

凭借领先的原创AI技术和软硬件整合能力,商汤不仅在超分辨率、AI超画质、夜景影像、高动态范围、超清人像、影像虚化、RGB ToF 3D等关键影像场景积累了大量算法能力,同时早在2019年,就已经与全球领先的图像传感器厂商开展紧密合作,将AI算法和传感器硬件直接融合,推动CMOS图像传感器发展进入人工智能软件定义的时代,将成像系统的整体能力推向新的高度。

商汤AI传感器可以借助AI技术,最大化地发挥原始光信号的价值。在终端设备获取视觉信号的伊始,AI传感器就可以进行优化和处理,增强真实世界感知、提高图像和视频的质量、丰富内容细节,同时还最大限度地降低了设备功耗,并增强了数据安全性。在提升图像质量的前提下,商汤的AI传感器还支持固化算法的可控可调,快速适配不同规格和工艺制成的传感器以及ISP芯片平台,实现高效的轻量化部署。

凭借AI算法、AI传感器和AI ISP的三位一体,商汤实现了AI技术对整个智能手机智能影像系统的一体化赋能。一方面,通过AI技术充分挖掘镜头模组、各种新型传感器等硬件的潜力,最大化利用成像设备的底层特性,实现最优的成像质量;另一方面,利用AI技术将成像系统中的各个独立部件有机结合在一起,充分联动,使原本独立运作的成像模块成为协同合作的成像平台。

得益于AI软件与硬件的紧密融合,用户可以获得拍摄质量的全面提升,拍摄场景的全面拓展。例如,通过AI对多种光源的时域、空域、频域不同特性的学习,了解自然光谱特性,进而根据实际应用场景,带来AI降噪、AI超分辨率,提升成像质量;在特殊拍摄模式下,AI夜景增强、AI人像增强,更为智能手机赋予了多样的“魔幻场景”。这些体验,让搭载了AI传感器的智能手机,成为每个人专属的“个人智能影像工作室”,消费者日常使用时,便可轻松拍出媲美专业影像器材的高质量作品。

(超分辨率效果对比:左图为传统方案拍摄效果,右图为商汤赋能)

(AI超画质效果对比:左图为传统方案拍摄效果,右图为商汤赋能拍摄效果)

(夜景影像效果对比:左图为传统方案拍摄效果,右图为商汤赋能拍摄效果)

大幅降低世界建模成本,AI传感器将成“元宇宙”的必经之路

面向未来,AI传感器的价值不仅在于提升智能手机的影像能力,它更将成为机器“认知”世界的基础设施,为更多物联网终端赋予智能感知与内容增强的能力。在全球40亿手机用户的庞大基数下,AI传感器的广泛应用,将大幅降低世界建模成本,成为连接物理世界与虚拟世界的桥梁,加速“元宇宙”的构建。在新兴应用场景中,AI传感器也将扮演重要角色。例如,在智能 汽车 领域,AI传感器将成为车辆感知世界的核心部件;在智慧城市领域,AI传感器更将为挖掘视频信息的价值发挥重要作用。

Gartner 数据显示,2022年CMOS图像传感器的出货量将会超84亿颗,到2026年则会超过107亿颗,成长为百亿出货量规模的半导体细分市场。秉承在AI传感器技术领域的长期布局,商汤将紧密携手合作伙伴,加速AI传感器的市场渗透,共同以AI软件重新“定义”图像传感器趋势,赋予硬件更多创新可能性。

如需获取《AI传感器:智能手机影像新核心》白皮书,敬请关注商汤科技公众号。