GitHub给老照片上色项目曝光: 用AI修复母亲的旧照片
出门在外,是不是才觉得妈妈的唠叨分外可爱又令人怀念。母亲节到了,翻箱倒柜想找出一张妈妈的老照片,却因为早已泛黄褪色而触碰不到回忆的信号,记不得哪年哪月哪天,找不回那条曾经以为可以一直走都走不到尽头的童年街巷。弯弯的月亮,摇在手里的蒲扇,是回不去的流逝光阴,但能不能至少将这些回忆镌刻在相片,然后紧紧攥在手里?
最近图像修复大火,从网友们用小程序“你我当年”一键修复老照片到GitHub上的热门项目“用机器学习给黑白照片上色”,我们似乎找到一个保存记忆的良方。
GitHub上给老照片上色的一个项目:DeOldify
岁月从墙上剥落,小时候牵着妈妈的手哭着闹着要买的那根冰棍,你还记得它的颜色吗?用DeOldify给黑白照片上色,尝试拼凑出曾经的家庭生活的欢乐色彩,也找回曾经的家庭时光的温度。
感恩节的回忆(1911年)
Lemuel Smith夫妇和年幼的孩子们在农场的家庭时光(1941年)
假如母爱有颜色,假如思念有形状,它不应该是黑白而模糊的。回忆应该是在明朗的月光下,沿着夏夜的风爬上家门口的梧桐,然后轻轻敲打我的窗台。
给老电影《黑暗中的舞者》上色
《黑暗中的舞者》讲述一个母亲来到美国为了治愈失明的13岁儿子,甘愿自己被捕入狱,并且最后被判死刑。当死亡就在眼前时,巨大的恐惧和强烈的求生欲让她嘶叫嚎哭,只有朋友告诉她儿子手术成功,不会失明时,才让她镇定下来,惊恐无助的女孩又回归成为了从容的母亲。是非常适合母亲节观看的一部影片。
这是影片最后行刑前比约克对儿子说的话:
亲爱的儿子俊,别害怕,我从不孤单,这不是最后一首歌,没有小提琴,合唱团那么安静,没人转圈。这是倒数第二首歌,记得我说过的话,把面包包好,把床铺好。
大火的小程序“你我当年”
网友用小程序“你我当年”还原女星模糊照片后的美貌:
林青霞修复后的照片
我的妈妈可能有点普通,有时候还有点市侩。我们说“为母则刚”,但她当年也只是一个被捧在手心里的小公主。快拿妈妈年轻时候的照片也试一下,看一看她当年的风采。
图像修复技术一览
- AI修复官:记忆不再模糊
“你我当年”运用主要是CNN、GAN等AI技术,即卷积神经网络和生成式对抗网络”,让人想到美图秀秀的一键磨皮,它们虽然都利用了卷积神经网络,但二者并不一样。美颜软件中常见的磨皮功能是做减法,将照片去掉细节,做模糊处理。常用的磨皮算法包括均值模糊、高斯模糊、中值滤波等,它们的去噪效果好,但视觉效果差。而你我当年是做加法,可以自动补充细节,即利用AI算法替代图像中缺失或者损坏的数据。
AI修复的大小S照片在网上引起惊叹
图像修复一般用“扩散”的方法来处理,这种方法将局部结构应用到其他部分。或者用“示例”的方法,每一次构建缺失部分的一个像素点(块)保持和周围像素点的一致性。但是当缺失部分很大时,这些方法会失效,因此就需要运用机器学习。由一个高阶模型提供补充的信息,例如深度神经网络。
深度神经网络使用监督图像分类,在监督图像分类中,每个图像都有一个特定的标签,神经网络通过一连串的基本操作运算来学习图像到标签之间的映射。通过输入学习大量的数据集(数百万张带有成千个的标签的图像),神经网络可以实现准确的分类,实施一个判别式预训练的神经网络来指导图像重建。
原理类似训练一个机器人,让其对缺失信息很多的图进行“脑补”;同时找来一个“鉴定师”提出意见,让机器不断钻研,双方不断提升。
AI上色师:老照片重见光彩
同样地,训练有素的AI可以学会上色,生成对抗网络的本质还是学习损失函数。通过先对照片进行图像分割,AI可以区分出标志性物体,认出图像中的各种元素,比如树木、天空、人脸、服装……在输入大量包含常见场景和人物的图片后,AI会自动学习和记忆这些关键信息的颜色,比如树叶是绿色、人脸是肤色等。因此,它可以很快开始对黑白照片里的场景进行彩色化,填补缺失色彩。
而更进一步地,AI正在逐步从静态照片进军动态效果,近日,在Facebook的F8大会上,一个名为Jason Antic软件工程师展示了用DeOldify为老电影上色,效果非常惊艳。
电影《Reefer Madness》1936
DeOldify的深度学习模型借鉴了当前多种主流技术方法,包括:自注意生成对抗网络(Self-Attention Generative Adversarial Network)、两个时间尺度更新规则(Two Time-Scale Update Rule)以及最重要的——NoGAN——他开发的一种新型GAN训练模型,用来解决之前DeOldify模型中出现的一些关键问题。NoGAN训练结合了GAN训练的优点(绚烂的色彩),并消除了一些副作用(如视频中闪烁的物体)。
GitHub地址:
https://github.com/jantic/DeOldify/blob/master/README.md
上色体验地址:https://colorize.cc/
话说回来,今天母亲节,给妈妈打个电话,然后把妈妈的画像牢牢印在脑海吧。当然照片只是辅助,有些事还是要握在手心,刻在心头。
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App