科技猎本周 Paper 推荐丨MetaHIN 模型、GPT-GNN、大规模强化学习算法等
.
推荐目录
基于立体视觉深度估计的深度学习技术研究
P2Net：无监督的室内深度估计的块匹配和平面正则化
缓解异质信息网络中冷启动问题 so easy？来看看 MetaHIN 模型
IMPALA：大规模强化学习算法
GPT-GNN：图神经网络的预训练
基于立体视觉深度估计的深度学习技术研究
论文名称： A Survey on Deep Learning Techniques for Stereo-based Depth Estimation
作者：Laga Hamid /Jospin Laurent Valentin /Boussaid Farid /Bennamoun Mohammed
发表时间：2020/6/1
论文链接： https://arxiv.org/abs/2006.02535?context=cs.GR
推荐原因
这是第一篇关于基于深度学习的立体匹配任务的综述文章，以往关于立体匹配的综述文章多基于传统方法，或者年代已久。这篇综述文章主要总结了过去6年发表在主要会议和期刊上的150多篇深度立体匹配论文，可以称得上方法最新，分类最全，概括最广。
在论文中，作者首先介绍了深度立体匹配网络的常用架构，然后讨论了基于每种架构的所有方法之间的异同。其分析的角度包括训练的数据集、网络结构的设计、它们在重建性能、训练策略和泛化能力上的效果。对于一些关键的方法，作者还使用了公开数据集和私有数据进行总结和比较，采用私有数据的目的是测试各类方法在全新场景下的泛化性能。
这篇论文能够为研究深度立体匹配的研究人员提供详细的参考资料，同时，作者在最后一节提到的7种未来发展方向对于研究深度立体匹配具有很好的思考价值，值得细细品读。
P2Net：无监督的室内深度估计的块匹配和平面正则化
论文名称：P2Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation
作者：Yu Zehao /Jin Lei /Gao Shenghua
发表时间：2020/7/15
论文链接： https://arxiv.org/abs/2007.07696
开源地址： https://github.com/svip-lab/Indoor-SfMLearner
推荐原因
这篇论文提出了一个新的无监督室内场景下的深度估计网络P2Net，其创新点在于提出了两种新式无监督损失函数，论文发表在ECCV2020上。
传统的无监督损失函数是以像素点为单位的图像重构损失，以及边缘敏感的梯度平滑损失。作者发现只在每个像素点处计算图像重构损失得到的特征表示并不够鲁棒，由此提出采用基于图像块表示的重构损失。具体地，采用已有的特征描述子算法DSO提取特征关键点，以关键点为中心构建局部窗口，计算整个窗口内的重构损失更具有鲁棒性。另外，考虑到无监督训练时的崩塌来源于室内场景下的无纹理区域，作者认为无纹理区域可以看做是一个平面，通过对图像提取超像素点从而构造平面区域，在同一平面上的像素点的深度信息应当具有一致性，由此提出平面一致性损失。
作者提出的P2Net在NYU Depth V2和ScanNet两个公开数据集上取得了SOTA的效果。
缓解异质信息网络中冷启动问题 so easy？ 来看看 MetaHIN 模型
论文名称：Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation
作者：Yuanfu Lu/Yuan Fang/Chuan Shi
发表时间：2020/7/6
论文链接： https://aminer.cn/pub/5f03f3b611dc830562232019?conf=kdd2020
开源代码： https://github.com/rootlu/MetaHIN
推荐原因
推荐系统旨在预测用户对物品的偏好，从而向用户提供其感兴趣的商品，为用户解决信息过载问题。为了缓解推荐系统中异质信息网络的“冷启动”问题，作者提出MetaHIN模型。
MetaHIN在模型层面探索了元学习的能力，同时在数据层面研究了异质信息网络的表达能力。在MetaHIN中，作者提出使用多方面的语义上下文来增强每个用户的任务，因此设计了一种新颖的语义增强型任务构建器，用于在元学习场景中捕获异质信息网络中的语义信息。进一步地，我们构建了一个协同适应元学习器。
该学习器既具有语义层面的适应性，又具有任务层面的适应性。
该论文已经被KDD 2020收录。
IMPALA：大规模强化学习算法
论文名称：Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures
作者：Lasse Espeholt / Hubert Soyer / Remi Munos / Karen Simonyan / Volodymir Mnih / Tom Ward / Yotam Doron / Vlad Firoiu / Tim Harley / Iain Dunning / Shane Legg / Koray Kavukcuoglu
发表时间：2018/6/28
论文链接： https://arxiv.org/abs/1802.01561
推荐原因
这是并行RL算法领域引用最为高的一篇文章。文章和以往做的工作不同，不仅仅有工程上实验效果的大幅提升，还做了理论的分析解决了on-policy与off-policy的训练差异问题，整体工作是相当solid的。
作者同时启动了多个Actor和一个Learner，每个Actor都是包含整个policy参数的，负责和环境交互产生数据，Learner是负责训练参数还有同步参数给Actor的。这就有个问题了，参数同步会有无法避免的延迟，那这个就违背了On-policy算法的更新原则，作者提出了一种很好的方式解决这个问题，对有延迟的数据进行修正使得on-policy的训练方式可以继续进行。
GPT-GNN：图神经网络的预训练
论文名称：GPT-GNN: Generative Pre-Training of Graph Neural Networks
作者：Hu Ziniu /Dong Yuxiao /Wang Kuansan /Chang Kai-Wei /Sun Yizhou
发表时间：2020/6/27
论文链接： https://arxiv.org/abs/2006.15437
推荐原因
该论文介绍的工作是致力于预训练图神经网络，以期GNN能够学习到图数据的结构和特征信息，从而能帮助标注数据较少的下游任务。 论文已经被KDD 2020 收录。
文章提出用生成模型来对图分布进行建模，即逐步预测出一个图中一个新节点会有哪些特征、会和图中哪些节点相连。
在第一步中，通过已经观测到的边，预测该节点的特征；
在第二步中，通过已经观测到的边，以及预测出的特征，来预测剩下的边。
作者在两个大规模异构网络和一个同构网络上进行了实验，总体而言，GPT-GNN在不同的实验设定下显著提高下游任务的性能，平均能达到9.1％的性能提升。另外，还评估了在不同百分比的标记数据下，GPT-GNN是否依然能取得提升。
详细可看论文。
AI研习社论文讨论微信群，分别有
【NLP论文讨论群】【CV论文讨论群】【强化学习讨论群】
，未来将会更细分方向和内容，群里面可以分享你觉得不错的论文，可以和同学一起讨论论文复现结果等细节，欢迎大家加入并积极参与活跃！
扫码添加小助手微信，发送【XX论文】，如：强化学习论文，即可进入相关的论文讨论群。
雷锋网雷锋网 (公众号：雷锋网) 雷锋网
。
