科技猎【干货】自然语言处理深度学习活跃研究领域概览 （43PPT下载）
1 新智元编译
作者：Sam Bowman
编译：弗格森
新智元启动新一轮大招聘 ：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。
简历投递：j obs@aiera.com.cn
HR 微信： 13552313024
新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、 高于业界平均水平的工资和奖金。
加盟新智元，与人工智能业界领袖携手改变世界。
【新智元导读】 本文是纽约大学助理教授 Sam Bowman 关于自然语言处理中深度学习活跃领域的课程讲义PPT。对深度学习NLP领域最近较为活跃的研究进行了综述，其中包括Attention 模型、结构化记忆、词水平以上的无监督学习等等。Sam Bowman 在斯坦福大学完成博士学位，是Kris Manning 和 Chris Potts的学生 【在新智元微信公众号回复1130，可下载全部43页PPT】
我们正在快速进步
深度学习中的活跃研究领域之NLP。
大多数6岁儿童都能处理的语言问题，现在机器还远远做不到……但是，我们正在快速进步中。
目录
目录：
词，字或词素？
Muti-hop 注意力和结构化记忆学习
深度增强学习
有效的句子表征学习
低资源学习
在词水平线上的无监督学习
可解释性
常识
词，字和词素的优势和劣势
词，字或词素
问题：我们如何把文本跨度表示为一个神经网络模型的输入或者输出？
换句话说：
编码器应该看到什么类型的符号？
解码器应该产生什么类型的符号？
词语本身的问题？
优势：
-
容易标记化
-
与意义单元的基础相近
劣势：
词汇组成很大
词素？
优势：意义的基本单元
劣势：很难标记化
词汇组成依然很大
字节配对编码
优势
标注化比较简单
词汇构成可以自由条换
与意义的基本单元比较接近
劣势：
目前结果很混乱
字（字母）？
优势：
非常便于标注
没有生僻词的问题
最近的研究
1.字母 n-Gram 嵌入
2. 神经机器翻译的一个混合模型
3. 神经机器翻译的字母+池化
Multi-HOP Attention 和 结构化记忆
处理大型的输入
记忆网络框架
原始记忆网络
多变量：最近的研究，大多数都是关于阅读理解，包含了一些结构化的记忆。
故事理解中，超过5-Grams的记忆网络
Attention + Attention +增加输入
深度增强学习
深度增强学习的定义和介绍
NLP 中的深度增强学习
一个例子：问答
问答其实是很难的，回报可能是非零（Non-zero），只有一小部分可能的行动；在一大串的动作之后，你可能只得到一个回报。
实际上，深度增强学习用于NLP是很难的
实时翻译
用于解释的语法分析，使用SPINN和SNLI
用重复的搜索命令进行信息提取
其他议题
低资源学习
可解释性
常识，常识推理
能从语言学中学到什么
最后提醒：本研究中提到的所有神经元指的都是一种有用的工具，任何与真实的神经元形成的类比，都纯属巧合。
责编：SQ
新智元招聘
职位 运营总监
职位年薪：36- 50万（工资+奖金）
工作地点：北京-海淀区
所属部门：运营部
汇报对象：COO
下属人数：2人
年龄要求：25 岁 至 35 岁
性别要求：不限
工作年限：3 年以上
语 言：英语6级（海外留学背景优先）
职位描述
-
负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向
-
擅长开拓市场，并与潜在客户建立良好的人际关系
-
深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态
-
主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力
-
带领团队完成营业额目标，并监控管理项目状况
-
负责公司平台运营方面的战略计划、合作计划的制定与实施
岗位要求
-
大学本科以上学历，硕士优先，要求有较高英语沟通能力
-
3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作
-
对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解
-
具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力
-
具备优秀的时间管理、抗压能力和多任务规划统筹执行能力
-
有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑
-
有媒体广告部、市场部，top20公关公司市场拓展部经验者优先
新智元欢迎有志之士前来面试，更多招聘岗位请访问新智元公众号。
