又是GAN!改个TAG,你就能对图片为所欲为了
这里是, 雷锋字幕组 编译的 Two Minute Papers专栏,每周带大家用碎片时间阅览前沿技术,了解AI领域的最新研究成果。
原标题 High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
翻译 | 刘宁 校对 | 凡江 整理 | 凡江
本期所介绍的内容是——从语义图上获得高分辨率图片。语义图是一幅彩色图片,图上的不同色块代表不同种类物体,如行人、汽车、交通标志、建筑物等。
只需要在输入的语义图上修改相应标签,就能把混凝土路面变成土路,把树替换成建筑等等。
通常,我们采用光线模拟程序或光栅化来产生语义图。但是AI研究者提出:为什么我们要使用光栅,而不是编写一个可以自己合成图像的学习算法?
下面的生成对抗网络将一张语义图作为输入,并由此生成了一张高分辨率的逼真的图像。之前的技术多数只能生成粗糙的低分辨率的图片,看起来也不真实。而这个研究却生成了2k乘1k分辨率的图像,已经很接近全高清的照片。
当我们想手动编辑一张真实的照片里的内容时,传统的方法需要具备Photoshop等专业工具的技能。即使是很简单的编辑也要耗费大量精力,因为人眼是非常难以欺骗的。而语义图方法的优点就是,不需要太多专业技能就可以很容易实现编辑。例如,我们可以通过将供选的物体填充到语义标注图中来控制生成的图片。
这项技术不仅仅适用于室外交通图片,它还可以对人脸细节进行编辑。例如,可以用此方法简单地添加胡子。把这项技术和之前的pix2pix和CRN技术做了比较,我们可以看出新技术生成的图片的质量,图像在分辨率上也有明显提高。
巧妙的一点在于,语义图不仅仅用于标识,它还生成了一幅边界图,使算法输出分割得更好的图片。
生成的边界图像和语义标签一样非常有用。另一个技巧是创建多个鉴别器网络,并在不同精度的图像上使用它们。
论文&代码 原址 https://tcwang0509.github.io/pix2pixHD/
更多文章,关注雷锋网,添加 雷锋字幕组 微信号(leiphonefansub)为好友
备注「我要加入」,To be a AI Volunteer ! 雷锋网 (公众号:雷锋网) 雷锋网
相关文章:
从电影到游戏,你也能用GAN画高清3D地形模型 | 2分钟论文
从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文
爱P才会赢,英伟达用GANS弄了个高清人脸合成项目 | 2分钟论文
生成式对抗网络GAN有哪些最新的发展? | 2分钟读论文
。