科技猎AlphaGo 团队最新研究：作为序列学习的生成模型（22ppt）
新智元编译
整理：刘小芹
新智元启动新一轮大招聘 ：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。
简历投递：j obs@aiera.com.cn
HR 微信： 13552313024
新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、 高于业界平均水平的工资和奖金。
加盟新智元，与人工智能业界领袖携手改变世界。
【新智元导读】 本文是 Google DeepMind 研究科学家 Nal Kalchbrenner 在 NIPS 2016 RNNSymposium 上的演讲 ppt，讲义介绍了作为序列的生成模型在文本到语音的转换、翻译等技术上的应用。 Nal Kalchbrenner 的主要研究领域包括神经机器翻译、卷积句子模型、RNN架构以及图像、音频和视频的生成模型。Nal Kalchbrenner 也是 AlphaGo 团队的一员。
在新智元微信公众号回复1226，可下载全部PPT。
讲者介绍
Nal Kalchbrenner 是 Google DeepMind 研究科学家，主要研究领域包括神经机器翻译、卷积句子模型、RNN架构以及图像、音频和视频的生成模型。Nal Kalchbrenner 也是 AlphaGo 团队的一员。
作为序列学习的生成建模
学习自然数据的分布
-
1D序列，例如文本或声音
-
2D张量（例如图像）的自回归模型
-
3D张量，例如视频
-
PixelRNN/PixelCNN (图像)
-
Video Pixel Nets (视频)
-
ByteNet (语言/seq2seq)
-
WaveNet (音频)
前人研究：
-
自回归图像模型（Autoregressive image models）
-
Dilated convolutions
-
RNN 与 语言/翻译建模（RNN and language/translation modelling）
1D序列的架构（Bytenet/Wavenet）
-
编码中dilated、masked 1D卷积的堆栈
-
架构在时间维度（在训练或评分过程）中是可并行的
-
容易接入多个状态
模型&测试
-
ByteNet+SubBN 1.33
-
ByteNet+Layer Norm 1.315
1D序列（Bytenet / Wavenet）的架构
可用于从文本到语音的转换
用于机器翻译和Seq2Seq的Bytenet
-
通过保留解析度泛化LSTM seq2seq
-
动态unfolding，而非attention
-
线性时间计算
Bytenet 学习对齐源和目标的记号
视频像素网络（Video Pixel Net )
Masked卷积
保留解析度的CNN编码器→PixelCNN解码器
离散化（SoftMax）
Video Pixel Net
-
Moving MNIST
Moving MNIST 的VPN样本
Moving MNIST 的VPN样本
Moving MNIST 的VPN样本
Moving MNIST 的VPN样本
Robotic Pushing 的VPN样本
Robotic Pushing 的VPN样本
规则常见设置和跨模态架构。
可量化的提升和最先进的结果！
新智元招聘
职位 运营总监
职位年薪：36- 50万（工资+奖金）
工作地点：北京-海淀区
所属部门：运营部
汇报对象：COO
下属人数：2人
年龄要求：25 岁 至 35 岁
性别要求：不限
工作年限：3 年以上
语 言：英语6级（海外留学背景优先）
职位描述
-
负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向
-
擅长开拓市场，并与潜在客户建立良好的人际关系
-
深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态
-
主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力
-
带领团队完成营业额目标，并监控管理项目状况
-
负责公司平台运营方面的战略计划、合作计划的制定与实施
岗位要求
-
大学本科以上学历，硕士优先，要求有较高英语沟通能力
-
3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作
-
对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解
-
具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力
-
具备优秀的时间管理、抗压能力和多任务规划统筹执行能力
-
有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑
-
有媒体广告部、市场部，top20公关公司市场拓展部经验者优先
新智元欢迎有志之士前来面试，更多招聘岗位请访问新智元公众号。