资源 | Bengio和LeCun在NIPS 2016上的演讲（附PPT）

选自NIPS2016

机器之心整理

编辑：杜夏德

NIPS 2016召开至今，干货满满， Google 、 吴恩达 、 IanGoodfellow 等公司和学者的演讲、展示的材料不断放出。今天小编又给大家带来两位重磅级学者Yoshua Bengio 和 Yann LeCun 在NIPS2106上的讲演材料。Bengio主要介绍从生物学角度介绍了深度学习，而LeCun讲解了基于能量的GAN及其对抗训练的方法。点击阅读原文即可下载两份材料的PDF

1【生物学可信深度学习】《Towards biologically plausible deep learning》by Yoshua Bengio

P2-5.深度学习的核心议题是信用分配

也就是，隐藏层要做什么才能对其他层及该网络更大的目标有用？现有的方法是反向传播算法及玻尔兹曼机中的随机松弛。但是强化学习不行，因为方差会随着神经元获得的信用数量呈线性上升。那么大脑有时如何做的呢？

生物学上可信的反向传播。

连续 Hopfield 神经网络的能量函数变异

　　

P6-9. 作为推理的神经计算需要对称性，巧合的是没有强制对称的自动编码器最终会有对称权重。反向传播不需要严格的对称。

　　

P10-13 如何在负相中进行快速推理（后验采样）。对于深度生成网络的快速推理前馈初始化在生物学上是可信的。误差的传递是件好事，因为它能实现一种和谐。而误差的传递其实就是增量目标的传递。

　　

P15-22 我们如何训练一个执行计算的物理系统？首先要实现动态平衡

　　

P23- 26STDP 连接

平衡传播产生 STDP――一个微分对比的 Hebbian 更新

P27. 继承反向传播的特性

P28. 误差传递等于增量目标的传递

　　

P29-30. 平衡传播包括作为前馈网络中一个特例的一般反向传播

P31. 开放性的问题

摆脱能量公式的局部极小值，同时泛化到被其动力学限制的系统中，还要学习过渡算子（transition operator），这样就可以避免权重对称约束

将这些想法推广到无监督学习中

一段时间后反向传播会怎么样呢？

　　

P32. STDP vs 反 STDP：可能吗？

P33. Variational Walkback

　　

P34.GAN 在大脑中的部署和 Actor-Critic 算法：质疑单一目标优化 Dogma

2.【能量 GAN 与对抗方法】《Energy-Based GANs & other Adversarial things》by Yann LeCun

　　

P2. 无监督学习

P3. 基于能量的无监督学习

学习一个满足以下两个条件的能量函数

在数据流形上取值较低

在其他地方取值较高

　　

P4-5. 在带有能量函数的变量之间扑捉相关性（dependencies）

P6. 学习该能量函数

P7-9. 塑造能量函数的 7 个策略

P10-22 对抗训练。

难点是在不确定的情况下预测。

基于能量的无监督学习

对抗训练：一个可训练的目标函数

基于能量的 GAN。

EBGAN 损失函数

EBGAN 的解决方法是纳什均衡

ENGAN 中的 D 是一个梯形网络

　　

　　 基于能量的 EBGAN 在 128×128 像素的 ImagNet 上训练的结果。

　　

基于能量的 EBGAN 在 256×256 像素的 ImagNet 上训练的结果。

　　

P23-34 视频预测（经过对抗训练）

用于视频预测的多尺度卷积网络

不能使用平方误差：模糊预测

预测的无监督学习

视频预测：预测 5 帧的结果图

　　

　　 视频预测：预测 50 帧的结果图

P35-P43 风格迁移

风格迁移架构

　　

风格迁移结果

　　 风格迁移：风格插补（interpolation）

点击阅读原文下载PPT

©本文为机器之心整理， 转载请联系本公众号获得授权 。

　　 ?------------------------------------------------

加入机器之心（全职记者/实习生）：hr@almosthuman.cn

投稿或寻求报道：editor@almosthuman.cn

广告&商务合作：bd@almosthuman.cn