灵魂的“对焦”:看苹果如何借人工智能把 iPhone 变单反
当苹果发布会正在被国内外媒体吐槽“毫无新意”的时候,这个“心机 Apple”很可能是在酝酿着一个大招。
朋友圈频繁晒自拍的时代,大众对手机的拍照功能要求越来越高,而 iPhone 的拍摄性能也是这次“7家族”的一大卖点。事实上,iPhone 的拍摄性能此前被认为是其众多优势之一,然而近年来,三星及其他安卓手机的图像技术似乎有赶超苹果的趋势。
一直以来,苹果军团正在绞尽脑汁地研究怎么让人们用 iPhone 拍出更有美感,更清晰的照片。这次,iPhone 7系列终于在此方面进行了重大突破——首次推出双摄像头,苹果甚至对此评价“这是我们迄今为止做出的最好的摄像头”。
此次的 iPhone 7 Plus 版本搭载双摄像头,像素大小均为1200万,其中一个为广角镜头,另一个是长焦镜头;并且加入三轴光学稳定系统,都支持光学防抖;前置700万像素摄像头,可实现2倍光学变焦和10倍的数码变焦。
除此之外,这种双摄像头方案最大的亮点在于,在拍摄人物肖像时,可以模拟出单反相机的景深效果,凸显人物细节,模糊和虚化背景 。使用 iPhone7 Plus 拍摄时,在保证主体清晰的同时,能够营造出失焦模糊的背景效果。 这种效果被称为“焦外虚化”,往往只有单反相机才能够实现。 有人将这种“模糊的魅力”称作“灵魂的对焦”。
如何使一张照片达到背景虚化,前景清晰的效果?苹果通过第二个摄像头来实现这个功能。特定的算法在完成前后景分析后,就会让系统判断出哪些是前景,哪些是背景,并且将前景分离出来,再对背景进行一个虚化。
而这正是人工智能的用武之地。这里提到的人工智能不是传统意义上的语音助手Siri,也不是谷歌用来自动完成搜索或者扫描邮件的人工智能技术,而是一种计算机视觉的AI 。这类似于 Facebook 能够自动识别人脸的功能,以及谷歌能够识别照片上的猫的新型算法。这种 AI 技术能够更简单,同时也更有挑战性地快速确定照片的主体,并且根据照片的主体对背景进行虚化。正因为这种虚化是算法做出来的效果,因此更容易做出圆形的虚化背景灯光。
但是,对于机器来说,这是非常困难的。软件通常只能识别出照片中一系列颜色的变化,但是算法是没有主角和背景的概念的,他们无法识别出一朵云、一只猫和一只狗的不同。于是 AI 研究者想要使用机器学习来训练它们的这种能力。
这里所用到的技术被称为卷积 神经网络 ,该命名来源于被称为“回旋”的数学操作,并从人类大脑的学习原理中获得灵感,更注重效率。当计算机为两张图像建立相似度联系时,它将为这些相似度分配权值。在卷积神经网络中,所设定的目标是训练机器,使之能够识别所建立联系之间权重的变化,以便于计算机能够越来越精确地判断图像与图像之间是否能够进行匹配。
比如,给一个软件足够多的猫的照片,这样它就能够自动学习,并且假以时日能够识别出“像猫一样”的照片。事实上,Facebook 就正在利用这种机器学习技术在帮助盲人把照片转化为语音服务,谷歌也在自己的照片应用中运用到了这样的技术,你可以在应用中搜索“山”或者“海滩”等相关位置的词语,系统随即就会自动把你找出所匹配的照片。
神经网络是调制、训练出来的,时不时还是很容易出错。它最需要的,就是训练。需要成百上千甚至几百万张图像来训练,直到神经元的输入的权值都被调制得十分精确。
而对于苹果来说,这似乎更简单和实用。
新的iPhone 7 和双摄像头 iPhone 7 Plus 内置的系统可以帮助镜头理解照片的内容。一旦识别出目标和背景,手机就可以自动开始执行任务。其中包括制动调整曝光、对焦以及白平衡。
iPhone 7 所使用的新 ISP 图像信号处理器的处理能力比之前版本了提高一倍,它可以通过特定的算法来了解到拍摄对象的更多信息,并据此对成像进行深度处理。 在人工智能的驱动下,通过机器学习技术检测到目标、设置曝光、焦距和白平衡。 苹果营销总监 Phil Schiller 表示,这种通过人工智能驱动的ISP能够在25毫秒中进行最多1000亿次的操作,比原先快了 60%。
iPhone 7 Plus 则更高能。它的双摄像头能够捕捉不同的景深,创建一个深度图,而这来自于之前苹果的一项专利。在竖屏操作中,iPhone 7 Plus 能够提供类似于单反的三井效果,通过 f/1.8 的光圈调整,让更多的光线进入,达到主增强浅景深的对比效果。
值得一提的是,苹果去年收购了一家人工智能的初创公司
Perceptio,该公司的目标是开发
智能手机
端的人工智能图像分类系统,同时无需大量的外部数据。这符合苹果对用户数据利用最小化,将尽可能多的技术放在手机端的策略。
有媒体称,这种拍摄技术正在帮助 iPhone 7成为市面上拍照效果最好的智能手机。而不管 iPhone 7系列的摄像头是否真的如苹果营销主管菲尔·席勒(Phil Schiller)所言“你值得拥有”,也许它都在向我们揭示一个真理,那就是,手机硬件背后的智能软件时代已经到来。
Via The Verge
推荐阅读:
智能手机 + 机器学习 = 个人终端的未来
透过Facebook Moments应用,LeCun带我们瞻望计算机移情能力
双核成历史 苹果iPhone 7/7 Plus卖点汇总