【NIPS'16 】Bengio 报告 | 大脑与比特：当神经科学遇上深度学习

1 新智元编译

编译：弗格森 刘小芹

　　 新智元启动新一轮大招聘 ：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　 简历投递：j obs@aiera.com.cn

　　 HR 微信： 13552313024

　　 新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、 高于业界平均水平的工资和奖金。

　　 加盟新智元，与人工智能业界领袖携手改变世界。

　　 【新智元导读】 本年度的 NIPS 接近尾声，Yoshua Bengio 的报告终于出炉。Bengio这次报告主要介绍神经科学与深度学习之间的关系，逐一介绍了在神经科学上可行的深度学习概念，比如反向传播、 玻尔兹曼机中的随机松弛、强化学习等。他认为，深度学习的中心议题是 信度分配问题，所以，在一个大型网络中，联合的协作式学习是必须的。

　　 在新智元微信公众号回复 1211，可下载全部 35 页 PPT。

　　

　　 大脑与比特：当神经科学遇上深度学习

　　

　　 蒙特利尔在深度学习上的优势：教员、研究院、学生等方面优势的介绍。

　　

　　 深度学习的中心议题：信度分配

　　 在一个大型网络中，联合的协作式学习是必须的

　　 例子：要想让某些隐藏的层对其他层和网络中更大的对象有用，它们应该做些什么？

　　 已有的一些解决方案：

• 反向传播

• 玻尔兹曼机中的随机松弛

　　 但是，仅有强化（学习）并不能解决这一问题，因为随着大量的神经元得到可信度，变量会呈线性扩展。

　　 那么，大脑是如何处理这一问题的？

　　

　　 生物学上可行的反向传播

　　 推荐了6篇论文

　　

　　 连续霍普菲尔德网络中能量函数的变化

　　

　　 作为推理的神经计算机：Langevin MCMC （以及其他大部分的MCMC）=降低能量的一些小步骤，加上输入的不可预测性。

　　

　　 对称（symmetry）的必要性

　　

　　 巧合

　　 没有强制对称性的自动编码器最终是有对称权重的

　　

　　 对于反向传播来说，精确的对称性并不是必须的。

　　

　　 如何在负相位（negative phase）中执行快速的推理（比如，从后部进行抽样）。

　　 前馈计算与循环relaxation 中的固定的互相起作用的有效条件是：

　　 每一对连续的层组成一个好的自动编码器

　　

　　 深度生成网络中快速推理中使用前馈的概念，在生物学上是可行的。

　　 从下至上的输入=基树突；从上至下的输入=顶端树突

　　 相互预测标准=自动编码重构标准

　　

　　 错误传播=惊喜传播=以和谐的方式反馈

　　

　　 错误传播=增量目标传播

　　 如果临时派生=错误梯度

　　 反馈通道会计算用于反馈通道的“增量目标”，在正确的方向上移动隐藏激活因子。

　　 被传播的、自上而下的小变化代表着“意外”信号，与此同时，反馈通道计算目标的方向，也就是反馈激活因子的移动方向。

　　 前馈和反向传播在结构上没有任何的不同。

均衡传播

　　

　　 填补基于能量的模型和反向传播之间的差异

　　

　　 我们如何训练一个能执行计算任务的实体系统？

　　 考虑一个通过其确定性或随机动态执行计算的物理系统

　　 该系统有一个可以调整的参数θ

　　 成本函数C可以衡量答案的好坏

　　 参数和目标 J （动态的平衡成本）间的关系是隐式的

　　 怎样评估损失wrt参数的梯度？

　　

　　 动态平衡

　　

　　 两个阶段：前人研究平衡传播能解决以上所有问题（起码在理论上能）。

　　

　　 影响参数CHL 和玻尔兹曼机学习有两个模式：①钳位输出模式；②自由输出模式影响参数β控制外部世界对输入和输出单元的影响程度。

　　

　　 示例：监督连续 Hopfield 网络

　　

　　 解决对比Hebbian学习的问题

　　

　　 更多通用设置：平衡传播在任何架构中都可以工作，甚至是在一个完全连接的网络，或者一个侧向连接的网络。反向传播中的连接在网络拥有层次架构时会更加明显。

　　

　　 主定理目标函数（平衡成本）的梯度可以通过一维有限差分来估计

　　

　　 STDP连接：从Hinton在2007年的研究中获得灵感。

　　

　　 平衡传播与STDP：一个差异化的对比Hebbian更新。

　　

　　 实验结果

　　

　　 峰值结果（Mesnard, Gerstner, Brea 2016）

　　

　　 继承反向传播属性

　　

　　 误差传播 = 增量目标传播前向传播和反向传播之间没有结构性的差异

　　

　　 平衡传播包括了普通反向传播，以前馈传播网络作为一个具体的例子。

　　

　　 平衡传播包括前馈网络的一般反向传播的特殊情况

　　

　　 开放问题：

　　 消除能量公式的局部最小值，推广到由其动态定义的系统，学习跃迁算子，从而避免权重对称约束。

　　 将这些想法推广到无监督学习？

　　 推广到沿时间反向传播？

　　

　　 STDP vs 反向-STDP：做梦的原理？

　　

　　 变分回溯

　　

　　 GANs 和 Actor-Critic 的大脑实现：质疑单目标优化教条。

　　 使用平衡传播，类似 GAN 的判别目标或 actor-critic 设置中的 critic 可以用于训练 predictor 或 actor resp.。

　　

　　 新智元招聘

　　 职位 运营总监

职位年薪：36- 50万（工资+奖金）

工作地点：北京-海淀区

所属部门：运营部

汇报对象：COO

下属人数：2人

年龄要求：25 岁 至 35 岁

性别要求：不限

工作年限：3 年以上

语 言：英语6级（海外留学背景优先）

　　 职位描述

1. 负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向

2. 擅长开拓市场，并与潜在客户建立良好的人际关系

3. 深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态

4. 主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力

5. 带领团队完成营业额目标，并监控管理项目状况

6. 负责公司平台运营方面的战略计划、合作计划的制定与实施

　　 岗位要求

1. 大学本科以上学历，硕士优先，要求有较高英语沟通能力

2. 3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作

3. 对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解

4. 具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力

5. 具备优秀的时间管理、抗压能力和多任务规划统筹执行能力

6. 有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑

7. 有媒体广告部、市场部，top20公关公司市场拓展部经验者优先

　　 新智元欢迎有志之士前来面试，更多招聘岗位请访问新智元公众号。