CVPR 2018摘要：第三部分

本文为 AI 研习社编译的技术博客，原标题 ：

NeuroNuggets: CVPR 2018 in Review, Part III

作者 | Sergey Nikolenko、Aleksey Artamonov

翻译 | 老赵    校对 | 酱番梨

整理 | 菠萝妹

原文链接：

https://medium.com/neuromation-io-blog/neuronuggets-cvpr-2018-in-review-part-iii-82a5a3129caf

NeuroNuggets：CVPR 2018年回顾，第三部分

CVPR 2018（计算机视觉和模式识别）会议已经结束，但我们不能停止回顾其精彩的论文; 今天，我们学习第三部分。在第一部分中，我们简要回顾了2018年CVPR中关于计算机视觉GAN的最有趣的论文; 在第二部分中，增加了人性化，并谈到了人类的姿势估计和跟踪。 今天，我们转向Neuromation中内部研究的主要焦点之一：合成数据。 像往常一样，论文没有特别的顺序，我们的评论非常简短，所以我们绝对建议完整阅读论文。

合成数据：模仿学习

合成数据是指通过3D建模和渲染（通常用于计算机视觉）或通过其他方式人工生成的数据，然后用于训练机器学习模型。 合成数据在机器学习中是一个令人惊讶的主题，最令人惊讶的是它被忽略了多长时间。 有关合成数据的一些着作可以追溯到2000年代，但在2016年之前它基本上没有引起任何兴趣。 它所使用的唯一领域是训练自动驾驶汽车，对模拟环境的需求和收集真实数据集的不可能性使其成为合成数据集的完美情况。

现在兴趣正在迅速增长：我们现在拥有模拟室内环境的SUNCG数据集，用于驾驶和导航的室外环境，用于学习姿势估计和跟踪的合成人的SURREAL数据集，以及甚至最近应用GAN来生成和改进合成的数据（我们希望回到这一点并解释它之后的工作原理）。 那么让我们看看CVPR 2018作者对合成数据的看法。 由于这是我们的主要关注点，因此我们将比通常更详细地考虑合成数据的工作。

R. Volpi等人，无监督域适应的对抗特征增强
S. Sankaranarayanan等人，生成适应：对齐域使用生成性对抗网络

有一个非常有趣和有前途的领域，即使用GAN生成合成数据集来训练其他模型。 从表面上看，没有多大意义：如果你有足够的数据训练GAN，为什么不用它来训练模型呢？ 或者甚至更好，如果你有一个训练有素的GAN，你为什么不采取鉴别器并将它用于你的问题？

但是这个想法在自适应域设置中变得更加有趣。 假设你有一个大的源数据集和一个小的目标数据集，并且需要使用针对目标的源数据集训练的模型，该模型可能完全没有标记。 这里，对抗域适应技术训练两个网络，一个生成器和一个鉴别器，并用它来确保网络不能在源数据集和目标数据集中的数据分布之间进行压缩。 这个领域是在Ganin和Lempitsky的ICML2015论文中开始的，其中使用鉴别器来确保这些特征保持域不变：

以下是2017年对抗性判别领域适应论文中这一想法如何略微概括的示意图：

在Volpi等人的CVPR 2018论文中，来自意大利和斯坦福的研究人员使对抗训练不是在原始图像上，而是在特征空间本身。 GAN对预训练网络提取的特征进行操作，这使得有可能实现更好的域不变性并最终提高域适应的质量。 以下是Volpi等人改编的整体培训程序：

另一种方法是由Sankaranarayanan等人在马里兰大学的研究人员在2018年的CVPR中提出的。 他们使用GAN来利用无监督数据，使源和目标分布在特征空间中彼此更接近。 基本上，该想法是使用鉴别器来控制从嵌入产生的图像保持用于源分布的真实图像，即使嵌入是从目标分布的样本中获取的。 以下是它的工作原理，作者再次报告了改进的域适应结果：

A. Zlateski等，关于标签质量对语义分割的重要性

合成数据的主要卖点之一始终是像素完美的标签质量，你可以使用合成数据轻松实现。 合成场景总是带有完美的分割 - 但它有多重要？ 这项工作的作者研究了如何精确（或多么粗略地）标记你的训练集以从现代卷积体系结构中获得良好的分割质量......当然，与合成场景相比，执行此研究的工具更好。

作者使用他们专门开发的Auto City数据集：

在他们的实验中，作者表明，毫不奇怪，最终的分割质量确实与生产标签所花费的时间量密切相关，但与每个单独标签的质量无关。 这表明，生产大量粗标签（例如，使用众包）比对每个标签执行严格的质量控制更好。

K.Rematas等人，桌面游戏里的足球

在Neuromation，我们喜欢足球（是的，俄罗斯世界杯花了我们很多工作时间），这项研究真的太酷了。 作者提出了一个系统，可以拍摄足球比赛的视频流并将其转换为移动的3D重建，可以投影到桌面上并使用增强现实设备进行观看。

系统提取玩家的边界框，使用姿势和深度估计模型分析人物图形并产生非常精确的3D场景重建。 请注意，专门针对足球领域的模型培训如何真正改善结果：

它还激励我们的心，他们实际上训练从FIFA游戏中提取的合成数据。 而且结果非常酷。

感谢您的关注。 下次我们可以更详细地了解一些关于合成数据和域适应的CVPR 2018论文。

Sergey Nikolenko
Chief Research Officer, Neuromation

Aleksey Artamonov
Senior Researcher, Neuromation

想要继续查看该篇文章相关链接和参考文献？

长按链接点击打开或点击【 CVPR 2018摘要：第三部分 】：

https://ai.yanxishe.com/page/TextTranslation/1195

查看 CVPR 2018摘要 系列更多文章，请点击： 雷锋网雷锋网雷锋网 (公众号：雷锋网)

• CVPR 2018摘要：第一部分

• CVPR 2018摘要：第二部分

AI研习社每日更新精彩内容，观看更多精彩内容：

使用 SKIL 和 YOLO 构建产品级目标检测系统

如何极大效率地提高你训练模型的速度？

良心推荐：一份 20 周学习计算机科学的经验贴（附资源）

数据科学家应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计