神经网络的训练

来源 | OpenAI编译 | 黄楠编辑 | 陈彩娴大型神经网络是当前人工智能领域的热门话题之一，那么，如何训练大模型？最近，曾推出大规模预训练模型 GPT-3 的 OpenAI 发表了一篇博文，介绍了基于 GPU 的四种节省内存的并行训练方法，分别是：数据并行——在不同的 GPU 上运行同一批次的不同子集；流水线并行

AI 开发者按，本文的作者是数据科学家 Maël Fabien。在过去的几个月里，他在 个人博客 上写了 100 多篇文章。这个内容量相当可观。他突然想到一个主意： 训练一个能像他一样说话的语言生成模型。 为此，他写了一篇文章分享了生成一个像人一样说话的神经网络模型的过程和相关

雷锋网 AI 科技评论按：深度神经网络中有许多连接权重，这些权重的值对网络表现有巨大影响；通过反向传播可以定向优化这些权重，提高网络的表现，这个过程被称作「训练」；训练过程通常需要多轮迭代，需要大量的稠密矩阵运算；这些都是领域内的常识。因为训练过程如此地重要，深度学习研究人员们都会设立多 GPU 阵列加速训练过程，关于

 严重后果的运营事故：全部数据遭到删除，幸而最终得以恢复。15日，Yelp在其移动应用的最新更新说明中称：“我们向所有本周使用app过程中出现问题的用户致歉。我们训练了一个神经网络用于去除应用中的所有程序缺陷，但它把所有数据都删除了，我们只好恢复了所有数据。“在更新说明中公布这一事件的同时，Yelp还不忘幽默一把，称，

[ 摘要 ]Yelp训练了一个神经网络用于去除应用中的所有程序缺陷，但它把所有数据都删除了，Yelp只好恢复了所有数据。 腾讯《一线》 纪振宇 1月16日发自硅谷本地服务信息点评网站Yelp最近发生了一次可能酿成严重后果的运营事故：全部数据遭到删除，幸而最终得以恢复。15日，Ye

雷锋网消息，最近，Youtube 上的知名游戏博主 SethBling 训练了一个叫 MariFlow 的神经网络来玩 Mario Kart 游戏。在进行15个小时的游戏训练并做了一些针对性的改进后，这个神经网络在 50cc Mushroom Cup 中获得了金牌。 这并不是 SethBling 第一次在游戏中

雷锋网 AI 科技评论按：谷歌大脑近期放出了一篇论文「Neural Optimizer Search with Reinforcement Learning」（强化学习的神经网络优化器搜索），用强化学习的方法为神经网络（尤其是深度学习）找到最佳的优化算法/权重更新规则。论文并没有重新制造轮子，但也取得了不错的效果，而且

编者按：本文由微信公众号 “机器之心”（ID：almosthuman2014） 编译，选自Medium，作者：Slav Ivanov，参与：黄小天、Smith 近日，Slav Ivanov 在 Medium 上发表了一篇题为《37 Reasons why your Neural

作者：章华燕本文将主要介绍 8 种深度神经网络实现细节的技巧或tricks，包括：数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法等。1. 数据增广在不改变图像类别的情况下，增加数据量，能提高模型的泛化能力。自然图像的数据增广方式包括很多，如常