谷歌新 AI 实验室主管 Hugo 深度学习教程：神经网络、CV、NLP 难点解析

新智元编译

来源：info.usherbrooke.ca

翻译：胡祥杰

　　 新智元启动新一轮大招聘 ：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　 简历投递：j obs@aiera.com.cn

　　 HR 微信： 13552313024

　　 新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、 高于业界平均水平的工资和奖金。

　　 加盟新智元，与人工智能业界领袖携手改变世界。

　　 【新智元导读】 11月22日，谷歌在蒙特利尔的现有办公室开设了一个全新的深度学习和人工智能研究小组。新团队将作为位于山景城的 Google Brain 团队的远程部门，由从 Twitter 深度学习部门出来的 Hugo Larochelle 领导。Hugo Larochelle 是 Yoshua Bengio的博士生，Geoffrey Hinton之前的博士后。本文是他主讲的神经网络教程，内容包括神经网络原理介绍、深度学习及应用层面的计算机视觉和自然语言处理等等，课程深入浅出，且全面系统，是不可多得的了解深度学习基础知识的优质材料。

　　 11月22日，Hugo 宣布加入谷歌蒙特利尔人工智能研究小组。

　　

　　 【经典】 Hugo Larochelle 深度学习讲课视频（时长 1 小时，建议在 WiFi 环境下观看）

　　 课程介绍

　　 第 0 周 引言和数学复习

　　 总体概览：Hugo Larochelle 在Sherbrooke课程上使用的讲义

　　 线性代数：吴恩达课程回顾

　　 统计学：William Faris 的课程笔记第三章

　　 抽样：Iain Murray的博士论文，第20-31页

　　 第 1 周 前馈神经网络

　　 主要内容：人造神经元、激活函数、单个神经元的能力、多层神经网络、神经网络的能力、生物学的启示。

　　 第 2 周 训练神经网络

　　 主要内容：经验风险最小化、损失函数、输出层梯度、隐藏层梯度、激活函数派生、参数梯度、反向传播、正则化、参数初始化、模型选择、优化。

　　 第3周 条件随机场

　　 主要内容：Motivation、直链CRF、文本窗口、计算分割函数、计算边际、执行分类、因子，有效统计和线性CRF，马尔科夫网络、因子图、信念传播（Belief Propagation）。

　　 第4周 训练CRFs

　　 主要内容：损失函数、一元log-factor 梯度、成对log-factor梯度、区分与生成学习、最大熵马尔科夫模型、隐藏马尔科夫模型、常规条件随机场、Pseudolikelihood

　　 第5周 有限玻尔兹曼机器

　　 主要内容：有限玻尔兹曼机器的定义、推理、自由能量、对比发散、对比发散（参数升级）、坚固的CD、例子、扩展。

　　 第6周 自动编码器

　　 主要内容：自动编码器的定义、损失函数、例子、线性自动编码器、未完成VS过完成隐藏层、去噪自动编码器、收缩自动编码器。

　　 第7周 深度学习

　　 主要内容：动机、训练的难度、非监督预训练、例子、漏失信息、深度自动编码器、深度信念网络、可变化的绑定、深度信念网络（DBN ）预训练

　　 第8周 稀疏编码

　　 主要内容：定义、推理（ISTA 算法）、词典更新――映射梯度下降、词典更新――块调整下降、词学习算法、线上词学习算法、ZCA 预处理、特征提取、与V1的关系

　　 第9周 计算机视觉

　　 主要内容：动机、局部连接性、参数分享、离散卷积、池化与次抽样、卷积网络、物体识别、样本、数据集扩展、卷积RBM

　　 第10周 自然语言处理

　　 主要内容：动机、预处理、单次编码、词表征、语言建模、神经网络语言模型、分层的输出层、词标签、卷积网络、多任务学习、递归网络、合并表征、树表征、递归网络训练。

重点介绍，第7周：深度学习

　　

　　

　　

1. 深度学习

　　 主题：深度学习；分布式表征

　　 深度学习，就是使用多层表征研究学习模型

• 多层（前馈）神经网络

• 多层图模型（深度信念网络，深度玻尔兹曼机）

　　 每一层对应于一个分布式表征

• 每层中的单元并不是相互排斥的

• 可同时激活两个单元

　　 它们对被区分开的（分串）输入不会有反应

• 在串中，输入只属于单一的串

　　

　　 深度学习从视觉皮质获得启发

　　

　　

　　

　　

　　

　　

　　

　　 主题：理论论证

　　 一个深度架构可以代表特定的函数，但是在简洁性上却有指数级的进步。

　　 一个例子：布尔函数

　　

　　

2. 训练的难度

　　

　　

　　 为什么深度学习的训练很难？

　　

　　 第一个假设：优化更难（没有达到拟合）

　　 梯度消失的问题

　　 饱和单元会阻碍梯度传播

　　 这是递归神经网络中的一个著名难题

　　

　　 第二个假设：过拟合

　　 我们正在探索的，是一个带有复杂函数的空间

　　 深度网络一般都有很多的参数

　　 可能会存在于高变量/低偏见的情况下

　　

　　 解决方案：第一种情况，使用更好的优化；第二种情况，使用更好的正则化，非监督学习、随机训练。

3. 非监督预训练

　　

　　

　　 使用非监督学习对隐藏层进行初始化

　　

　　

　　 非监督式的预训练

　　

　　

　　 第一层：找到隐藏层的特征，比起随机输入，训练后的输入中这些特征更加常见。

　　 第二层：找到隐藏层中各种特征的结合点，这比随机隐藏层的特征更加常见。

　　 第三层：找到结合中的结合……

　　

　　 调整：在所有的层都经过预训练后进行，这是一个监督式学习的过程。

　　

　　

　　

　　 主题：伪代码

　　

　　

4. 深度学习原理解析

　　 包含内容：预训练、调参、数据库等

　　

　　

　　 假设：使用随机梯度下降来训练整个神经网络

　　

　　

　　

　　

　　

　　

　　

5. Dropout

　　

　　

　　 通过随机地一处隐藏单元，让神经网络“残废”

　　 Dropout 概率值设定在0.5

　　

　　

　　

　　

　　

　　

　　

　　 主题：测试时间分类

6. 自动编码

　　

　　

　　 预训练可用于对一个深度自动编码器进行初始化

　　

　　

7. 深度信念网络

　　

　　

　　

　　

　　

　　

　　

　　

　　 可变绑定

　　 神经网络层数的增加可以呈现递归性重复

　　 现在可以把这一过程看成

　　 调优由自上而下的算法完成

8. 可变绑定

　　

　　

　　

　　

　　

　　

　　

　　 9. 深度信念网络预训练

　　

　　

　　

　　

　　

　　

　　

　　

　　 Hugo Larochelle 本课程更多内容，包括讲义和视频（92 堂课）可在爱可可老师的微博（账号：爱可可-爱生活）上查询并下载！

新智元招聘

　　 职位 运营总监

职位年薪：36- 50万（工资+奖金）

工作地点：北京-海淀区

所属部门：运营部

汇报对象：COO

下属人数：2人

工作年限：3 年以上

语 言：英语6级（海外留学背景优先）

　　 职位描述

1. 负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向

2. 擅长开拓市场，并与潜在客户建立良好的人际关系

3. 深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态

4. 主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力

5. 带领团队完成营业额目标，并监控管理项目状况

6. 负责公司平台运营方面的战略计划、合作计划的制定与实施

　　 岗位要求

1. 大学本科以上学历，硕士优先，要求有较高英语沟通能力

2. 3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作

3. 对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解

4. 具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力

5. 具备优秀的时间管理、抗压能力和多任务规划统筹执行能力

6. 有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑

7. 有媒体广告部、市场部，top20公关公司市场拓展部经验者优先

　　 新智元欢迎有志之士前来面试，更多招聘岗位请访问新智元公众号。