梯度下降

作者｜李梅编辑｜陈彩娴前几天刚跟马斯克吵完架的Gary Marcus，又双叒叕跟人吵起来了，这次的吵架对象是Yann LeCun。一向喜欢给深度学习泼冷水的Marcus，在今天发帖谈了谈与LeCun的「旧账」和「新仇」，并给了LeCun一个白眼：事情是这样的。几天前，有人在推特上发帖问:在机器学习中，最优雅美丽的ide

作者 | Nick Thieme编译 | 陈彩娴许多现代应用研究都对梯度下降算法有很强的依赖。梯度下降过程通常用于寻找特定数学函数中的最大值或最小值，这个过程也被称为“优化”该函数。它的计算应用十分广泛，上至研究利润最大化的产品制造方式，下至制定日常工厂工人分配轮班的最佳方式。然而，尽管梯度下降算法的用途十分广泛，但研

雷锋网 AI 科技评论按：我们经常一同提起 Geoffrey Hinton、Yann LeCun、Yoshua Bengio 这被合称为「深度学习三驾马车」的三个名字，但却并不常见到他们三个人在同一个场合出现——甚至在 ICLR 之前，三个人全都不怎么参与学术会议。如今深度学习无可辩驳地在学术研究和实际应用中都成为了最

雷锋网(公众号：雷锋网) AI 科技评论按：对于诸位“机器学习儿”而言，梯度下降这个概念一定不陌生，然而从直观上来看，梯度下降的复杂性无疑也会让人“敬而远之”。本文作者 Suraj Bansal 通过对梯度下降背后的数学原理进行拆解，并配之以简单的现实案例，以轻松而有趣的口吻带大家深入了解梯度下降这一在机器学习

雷锋网(公众号：雷锋网) AI科技评论按 ：如果你是一名机器学习从业者，一定不会对基于梯度下降的优化方法感到陌生。对于很多人来说，有了 SGD，Adam，Admm 等算法的开源实现，似乎自己并不用再过多关注优化求解的细节。然而在模型的优化上，梯度下降并非唯一的选择，甚至在很多复杂的优化求

原标题 | 10 Gradient Descent Optimisation Algorithms + Cheat Sheet作者 | Raimi Karim in Towards Data Science译者 | 斯蒂芬•二狗子（沈阳化工大学）、intelLigenJ（算法工程师）、星期五、莱特•诺顿、沧海一升本文编

原标题 | Machine Learning 101: An Intuitive Introduction to Gradient Descent作者 | Thalles Silva译者 | 汪鹏（重庆邮电大学）、通夜（中山大学）编辑：王立鱼 英语原文： https://towardsdatas

雷锋网 AI 科技评论按：神经网络的优化本质上是一个非凸问题，而简单的基于梯度的算法在实践中似乎总是能够解决这类问题。这种现象是深度学习的核心支柱之一，而目前有许多理论科学家家正试图解开这个谜：为什么基于梯度的方法能够在深度学习的优化中行之有效。 一篇来自 offconvex.org 博客的文章对最近一些试图解

来源：TowardsDataScience编译：Simons Road 最优化是指由变量x构成的目标函数f(x)进行最小化或最大化的过程。在机器学习或深度学习术语中，通常指最小化损失函数J(w)，其中模型参数w∈R^d。最小化最优化算法具有以下的目标： – 如果目标函数是凸的，那么任何的局部最

作者：kissg基本概念 本节尝试独立于机器学习算法, 单纯地来讲 梯度下降算法 [Gradient Descent, GD] , 以使梯度下降更具一般性. 开始之前, 先放 2 个基本概念, 带着这 2 个认识, 在几乎不具备机器学习知识的前提下, 应该也能很好地读懂本节内容: