连 PS 都自叹不如!Facebook 的 AI 眼部修复技术逆天了
在人们的日常拍照中,眨眼经常会成为影响最终人像照片效果的因素之一;而且红眼等拍照痼疾相比,眨眼所造成的闭眼或半睁眼问题更加难以在后期修图中进行调整——即使现有的修图神器如 Adobe Photoshop,恐怕也很难让照片中的人自然而然地睁开眼睛。
现在,Facebook 的研究者们已近在着手解决这一问题,并取得了一定的成果。
雷锋网了解到,Facebook 于近日发表了一篇题为《Eye In-Painting with Exemplar Generative Adversarial Networks(通过样本生成式对抗网络进行眼部图像修复)》的论文,该论文解决的问题是,利用已有的人像样本,来对处于闭眼状态的人像进行眼部修复,使得后者呈现出自然睁眼的效果。
具体来说,利用一个基于机器学习技术的生成式对抗网络(Generative Adversarial Networks,简称 GAN),对其进行训练;
GAN 的一部分工作负责识别人像中的人脸,另外一部分则根据识别结果去生成类似于真实而自然的图像——在双方不断协作和改进的过程中,最终使得生成的图像结果接近于真实的人脸。
我们以下图中所展示的过程为例。简单来说,通过一张处于睁眼状态的人脸去对闭眼的图像进行人眼修复,一个简单的步骤是复制前者的眼睛到后者;但经常出现的问题是图像在颜色、姿态、方向上的不匹配。
而 Facebook 所做的就是利用 GAN 对被修复图像的面部特征进行识别,并针对识别结果对图像进行不断修正,最终达到自然效果。
在 Facebook 论文中给出的测试结果中,研究者们利用 A/B 测试方法,从 Facebook 的内部数据库拿出两组图片;第一组是一张闭眼图和一张真实图,第二组是一张闭眼图和一张 GAN 修复图——
结果是有 54% 的测试参与者没有区分出原图像和眼部修复图像之间的真实性差异。而能够被区分的图像,往往是图片中人像出现了戴眼镜或头发遮挡的情况,论文认为,更多的训练可以减少这类问题。
当然,除了眼部修复,利用 GAN 进行更多方面的图像修复完全成为可能,考虑到 Facebook 运行着全球最大的 社交 网络,尤其是社交网络中人像数据的庞大性,这一技术毫无疑问更有更大的应用空间。不过 54% 的成绩并不算突出,可能还需要更大的改进空间。
不过,在图像移植技术越来越先进、越来越接近真实效果的情况下,包括 Facebook 在内的巨头们将如何保证人们的肖像等权力得到充分的保障;这又是一个技术如何有效地为人类服务的问题。
【来源:驱动之家】