美即正义!解析X21 AI智慧拍照背后的旷视技术
3月19日,VIVO 在乌镇发布最新旗舰 手机 X21,不仅搭载了实现屏下指纹解锁的屏幕指纹技术,X21 同时还应用了旷视 科技 Face++提供的2PD 红外人脸解锁技术和实现AI自拍光效的2PD人像光效技术。光效是成像质量的重要保证,本文就重点说明下旷视是如何实现AI自拍光效的。
2PD是相位对焦PDAF(Phase Detection Auto-focus)的一种主流实现方式,通过将同一个像素底部的感光区域(即光电二极管)一分为二,在同一个像素内即可完成相位信息捕获,因为像素覆盖率达到100%,所以对焦体验最佳。VIVO X21采用将2PD全像素双核摄像头与近红外人脸识别技术结合的 2PD 红外人脸识别技术,很好的发挥了2PD对焦的优势。
据旷视科技智能手机产品负责人介绍,“要做好人像的处理就要做好人脸的三维建模,也就是要生成人脸高精度深度图。旷视的2PD人像布光背后核心的技术原理是基于二维照片重建三维信息,为此旷视团队进行了上百万张、覆盖全人种人脸数据的训练,最终在算法层面得到了很大的突破,实现不依赖于硬件的实时3mm 人脸建模精度,这个精度与Iphone X的人像结构光相同。
相比于iPhone X 人像光对后置双摄硬件的依赖,旷视科技Face++的单摄人像布光方案适用性显然更广,且同时满足前置或后置的单摄/双摄应用需求,速度也更快。测试结果显示,基于高通骁龙660 的X21对4K级人像的后处理可以在 0.1 s内完成,同时支持高通的 SNPE 加速,让手机用户可以实现专业摄影棚物理打光的成片效果。发布会上VIVO向观众们展示了基于旷视2PD人像布光方案拍摄的人像样张。
可以看出, X21 的图像色彩和曝光准确,人像的处理更具立体感且背景虚化过渡更自然。即时在逆光环境下,画面主体也有很高的清晰度和理想的炫光控制。为满足VIVO对人像影像处理的高要求,旷视科技Face++为X21单独开发了两款定制光效。基于面部关键点检测、面部 3D 建模、人体分割、3D 光效渲染算法,帮助 X21 在智能打光的同时保护人像画面的胡须、眉眼、唇部等细节,不会因为打光而削弱或变色。
整体来说,旷视的2PD人像光效技术具有适应广、性能强、高鲁棒、效果好等显著优势。在这样一个“美丽即正义”的潮流时代,AI智慧拍照相信会受到广大手机用户的喜爱。AI,让生活更美好。