揭秘美图影像实验室：数据、算法和一件关于美的事

「美是无用之用。」

每天清晨，全世界不同时区的女孩儿们依次醒来，洗脸、化妆或是不化妆、吃早饭、上班或是去上学。这些女孩儿中有不少人会用美图推出的不同应用自拍，生成大约 2 亿张照片。这些照片有的去了瑕疵，有的加了滤镜，有的干脆添了妆容。不同的手指按下同一个「发送」键，照片们就出现在不同的社交平台上。

你很难说清这些照片有什么用。它们既不像传统的旅行照记录「到此一游」，也不像证件照充满了功利。这些照片更像一种自我暗示和面向广袤世界的宣示——我们存在，我们拥有美。

这是一个属于自拍的时代，没有哪张照片能比这张更能说明我们的处境。

饺子是美图影像实验室（MTLAB）北京地区负责人。在这个制造「魔镜」的人看来，「美是一种选择」，既不能强迫他人接受，也不能接受他人的强迫。美是无解的。

自成立以来，美图影像实验室的研究成果几乎改变了美图软件、硬件中所有功能。一键美颜、实时美妆，或是时下相当流行的美图秀秀手绘功能，都有这个实验室的功劳。

他们一定很爱自拍吧？

饺子笑了笑，「看到自己的技术用在产品中效果非常好，很有成就感，但可能并不会经常自拍。应用和技术之间，是不同的两回事儿。」

如今已有 60 余人的美图影像实验室行事相当低调，在搜索引擎上似乎很难找到相关信息。作为首次采访到美图影像实验室的媒体，希望机器之心能让你对「神秘」的实验室和这份关于美的事业多一分了解。

民主化的的实验室

亚麻、香草金或者冰蓝，只要在屏幕上轻轻一点，所有人都能立即改变自己的发色。

但在实验室的研究员们看来，这项令人惊叹的「染发」功能，纯粹是技术上的分割问题。

左一为原图，可以选择较自然的色彩如亚麻色，也可以选择更夺目的色彩如莓粉色

「一张照片，头发有的亮有的暗，头发和围巾很像甚至有时候纹理也很像。背景是黑的头发也是黑的，和头发连在一起的眉毛也是黑的，那怎么办呢？我们就需要克服这些问题。」

目前，负责「克服问题」的美图影像实验室有大约 60 多位研究员，分布在北京、厦门、深圳。位于美图总部的厦门实验室是最老也是最大的团队，主要提供人脸技术、美颜技术、3D 技术和性能优化；北京实验室更偏向计算机视觉，包括视频技术及深度学习；深圳则是与智能硬件相关的影像算法。

这样的设置自然有吸引人才的考量。深圳有华强北，硬件创业氛围好、相关人才也多，有利于美图手机的迭代研发；北京是全国最大的人才集散地，又有众多高校学府，很适合招揽人才；厦门自 2010 年时就诞生了实验室雏形，有着深厚的技术积累。

美图实验室厦门团队部分成员合影

可如此分散的架构，会不会产生协作上的困扰？

「这不单单是美图的问题，很多公司都是这样。」饺子显出某种技术人员独有的认真，讲述起实验室的「解决方案」。

每周，不同地区的实验室都会通过远程会议系统一同召开会议。除了例会，还有定期的论文分享会、主题分享会。论文分享需要每个人介绍一系列文章，讲清内容、问题、自己的理解和未来应用的可能，然后大家共同探讨；主题分享会则由组员讲述近期正在做的、和他人不同的工作，不仅要讲明内容、逻辑清晰，还要应付观众提问，共同提升批判性思维的能力，「和读博士差不多」。

同时，这些内容提前会写成博客——美图在内部建立了一个技术博客，任何人都可以评论和编辑、添加新内容。各次分享会的内容、研究中发现的成果都发布在博客中，即使新人入职也能马上学习新技能，其他人遇到问题也能在博客上寻找解决方案。

「这也是我们实验室民主化的一部分，技术分享同样可以提高实验室的整体效率。」

在前沿研究和真实需求之间的平衡感

自 2010 年从开发团队中剥离，到 2014 年正式成立，实验室如今已是美图最重要的部门之一。

比起开发团队，实验室更像研究院，不过与研究院不同的是，研究员们关注的内容既要包括前沿技术，也要顾及实际需求。如果有新人入职，第一件事就是将一个项目从头跟到尾，不仅要清晰流程，还要解决最实际的问题、面对最严格的产品经理和最真实的用户需求。

大头贴是美颜相机中最火的功能之一。这个至今已被使用了 7.9 亿次的功能，是产品经理日本考察时发现的需求。在日本游戏中心相当流行的大头贴机，几乎每个前来游玩的女孩子都想尝试一次。与中国的大头贴机不同，日本的大头贴机不仅自带磨皮美白、放大眼睛的美颜效果，还可以选择不同的美化功能，甚至是拉长双腿。

美颜相机中的大头贴功能，有各种卡通模版可以选择

不过想要在软件中实现这些效果，不少在技术上尚且无法满足。研究员们第一时间告知产品经理能达到的效果，最终折衷成目前已上线的功能。而那些没能被满足的需求，不少已经变成了实验室长期研究的课题。

除了对产品和用户更加了解的产品经理，也有不少需求直接来自实验室。钻研技术中碰到哪个点刚好会产生不错的效果、感觉用户可能会喜欢，实验室也会和产品经理讨论是否加入到产品中。前面提到的染发功能，就是其中之一。

一个需求需要多长时间才能实现？除了规划的「死线」和工程适配的流程，更具决定性的是「效果」。在采访过程中，饺子反复强调美图对效果的严苛，「如果产品要求很低当然可以做得很快，但这取决于美图价值观，我们要为用户提供最好的效果」。甚至不希望用户注意到他们在背后的努力，「一点，头发就变色了，用户感觉很方便就足够了。」

深度学习与数据

在内部，美图影像实验室将技术分为 8 类，分别对应基础技术和综合技术。

作为基础的 MTFaces，包含人脸检测、人脸关键点检测和人脸属性分析，可以了解用户的年龄、性别，为后续的美颜和上妆提供支持；MTSegmentation 是图像分割技术，可以准确找到照片中头发、皮肤、身体的位置；MT3DTech 可以通过一张自拍照重建人脸 3D 模型；MTRestoration 则是画质修复，光线不好、有噪点或者被压缩，都可以一键恢复。

综合技术是多种技术的融合，比如 MTBeauty 包含图像美化和人像美化；MTStyles 风格化技术则是时下最流行的迁徙技术，能够给图像赋予风格；MTPhotos 可以通过人脸识别和图片标签管理照片；基于人脸检测技术 MTMakeup，通过美图独有人脸网格技术实现实时的视频和图像上妆。

MTSegmentation 头发部分分割效果图，最右为染色后

在这些被划分的技术背后，深度学习功不可没。运用传统方法进行皮肤分割，准确率往往低于 80%。深度学习则可以让 MTSegmentation 的准确率达到 98.5%，以保证在磨掉小斑点、小细纹的同时，不会将衣服、头发磨平。MTRestoration 也离不开深度学习，机器之心也曾报道过相关的应用案例。

在具体应用上，美图的深度学习有什么特点？在饺子看来，美图影像实验室的优势还是在 to C 的场景和拥有的数据：「有多少层、用了什么样的结构，取决于应用场景。美图软硬件产品为我们提供了很多 to C 的应用场景，这可能是其他平台提供不了的。」

除了最为人熟知的美图秀秀，美图的产品线还包括美拍、美颜相机、美妆相机、潮自拍、BeautyPlus 等等。截至 2016 年 10 月 31 日，美图应用的月活跃用户总数约为 4.56 亿，核心影像应用当月产生约 60 亿张照片。据相关调查统计，在中国主流社交网络上传的照片中，有约 53.5% 的照片经过了美图应用的处理。

美图公司在 App Store 上线的产品，共 20 款

庞大的数据为美图带来无可比拟的优势，「图像、视频都在向深度学习靠，但深度学习拼到底，很多时候是要靠数据。」

都是自拍照，会不会面临数据结构单一化的问题？美图获得的数据目前的确以自拍照为主，「但食物、风景这些都是有相当比例的，我们的产品也不全是在人脸上做的。美拍上还有视频，这些都是我们技术上独一无二的优势。」

用户是最苛刻的「数据集」

美拍是美图「产品矩阵」中不可忽视的一部分，目前其视频观看量已超 79 亿，月点赞数为 46 亿次（2016 年 10 月数据）。在美拍中，「激萌表情」是相当流行的功能，用户可以实时为自己加上兔耳朵、猫鼻子、甚至直接把自己的脸变成小猪的样子。

3D 已经成为时下最重要的技术之一。去年 10 月，Angelababy 曾在微博上发布了一张万圣节上妆照，网友纷纷留言「孕妇不要搞这些花样」、「怀孕还化妆」，事实上这张照片是由美图秀秀「万圣节妆容」功能自动生成的。以假乱真的逼真效果和美图强大的 3D 技术脱不开干系——通过一张 2D 自拍照重建人脸 3D 模型。「万圣节妆」其实是一款 3D 妆容，立体贴合造就了真实的「假象」。

Angelababy 万圣节妆容微博，被点赞 71 万次。

很快美拍还将上线实时 3D 功能，除了在直播的同时自然的放大双眼、添加妆容，还可以添加 3D 兔耳朵、耳机或是卡通魔镜。早在 2015 年 1 月，美图就已战略投资专注 AR 核心技术和产品研发的亮风台，并成立了联合实验室。

美图影像实验室 2D 转 3D 的效果图

谁来衡量「用户喜欢」的标准？美图内部设有专门的「设计特效」团队，会对技术结果进行反馈。作为专管效果的「产品经理」，他们更了解美的标准和用户的标准是什么。

可是作为专注影像技术的实验室，为什么很少在数据集测试中看见他们的身影？「首先，美图没有通过 PR 获得资本市场认可的压力；另外，美图习惯于用产品说话，我们公司很多功能非常实用，好用到理所当然。」

对于美图来说，爱美的用户们是最苛刻的「数据集」，为用户提供更好的体验就是探索技术的动力。

但也并非完全不理会，实验室正考虑在测试数据集和论文身上分散些精力。目前实验室已经尝试了 FDDB 人脸检测数据集，美图的 MT-Face-v3 在大部分阶段表现都是最佳之一。

MT-Face-v3 在 FDDB 上的表现

接下来，美图会在技术上增加不少投入。在去年美图赴港 IPO 招股书中提到，未来两年预计投入 3.27 亿港元（人民币 2.90 亿元，占所得款项净额的 6.6%）用于扩大研发能力，包括但不限于招聘工程师、数据科学家、分析师及收购技术相关知识产权。目前美图已注册超过 300 项专利，并持有 94 款软件程序的著作权。

当技术遭遇美

自文艺复兴时代起，艺术家们就在想方设法为自己留下自画像。1513 年达芬奇用红色粉笔画下自己晚年的样貌，透过画纸向未来的观众投以深邃目光；伦勃朗通过镜子描绘自己的样貌，右手执笔的他自画像几乎都向左倾；1998 年，梵高的最后一幅自画像《Self-Portrait without beard》拍出 7150 万美元的天价，是历史上第四贵的画作。

第一张用相机拍摄的自拍照诞生于 1839 年，Robert Cornelius 打开摄影机，在镜头前坐了足足一分钟。到了 2014 年，Twitter 上转发量最高的的照片，是艾伦和詹妮弗·劳伦斯、布拉德·皮特等明星的自拍照。

这张「著名」自拍照被转发超 300 万次

随着时间流逝，人类的自拍史不断变化，承载自拍的手段和技术也在不断进化。「美本身是没有错的，大家都喜欢，但标准不一样。我作为男生不太喜欢磨皮，拍出来精精神神就好了，更喜欢用潮自拍加滤镜。」

作为在这一过程中提供技术基础的美图影像实验室，不会强调「磨皮就是美」、「不磨皮就是美」，而是希望通过人工智能把「工具」做得更好，为每个人提供不同的美的体验。

就连实验室也不自觉的向这一目标靠拢靠拢，「我们的愿景，是让世界变得更美。」

满足自我欣赏也好，追求他人认可也罢，在弄清「人们为什么会自拍」这个亘古难题之前，不妨把它当作一种人类的本能行为。也许自拍的合理性一直都在，只是我们没有足够的技术去实现。移动设备的出现和类似美图应用的崛起，让自拍已经从一件「奇怪」的事变成新「常态」。当然，每个人都有选择是否自拍的自由。

「美是自己选择的。」

注：封面图为美图影像实验室在去年 12 月的 Siggraph Asia 上，向与会人员展示产品效果。