反向传播

作者 | Richard Sutton编译 | bluemin编辑 | 陈彩娴“可塑性损失”（Loss of Plasticity）是深度神经网络最常被诟病的一个缺点，这也是基于深度学习的 AI 系统被认为无法持续学习的原因之一。对于人脑而言，“可塑性”是指产生新神经元和神经元之间新连接的能力，是人进行持续学习的重要基

编辑导语：最近，蜜雪冰城的LOGO吉祥物雪王变黑登上热搜。本文通过这次案例分析了品牌该如何有效地使用自黑、反差式营销，并提出了一些建议，一起来看看吧。 这几天，如果有点蜜雪冰城外卖，大概会留意到Ta们LOGO吉祥物雪王变“黑”了， 黑化后的雪王除皮肤外，似乎与正常的没太大区别。网友们疑惑的同时也意识到，

品牌，来1TB反向传播？王智远 · 刚刚微信扫码21反向是种预期极限管理、也是“错位CP组合”。图片来源@视觉中国文 | 王智远这几天，如果有点蜜雪冰城外卖，大概会留意到Ta们LOGO吉祥物雪王变“黑”了，黑化后的雪王除皮肤外，似乎与正常的没太大区别。网友们疑惑的同时也意识到，原来不仅电视剧中

整理｜李梅、黄楠编辑｜陈彩娴过去十年，AI 在计算机视觉、语音识别、机器翻译、机器人、医学、计算生物学、蛋白质折叠预测等等领域取得了一个又一个突破，而这些突破的背后，均离不开深度学习。那么，深度学习起源于何时何地，又在何时成为最突出的AI方法？最近，UC伯克利教授、深度学习专家Pieter Abbeel在其播客节目《机

用反向传播（backpropagation）来计算优化目标函数的梯度，是当前机器学习领域的主流方法。近日，牛津与微软等机构的多位学者联合提出一种名为「正向梯度」（forward gradient）的自动微分模式，可以完全抛弃反向传播进行梯度计算。实验证明，在一些问题中，正向梯度的计算时间是反向传播的二分之一。编译 |

作者 | 张铁林，徐波论文标题：A Mesoscale Plasticity for Efficient AI Learning在人工智能领域，目前人工神经网络中被广泛使用的反向传播算法（Backpropagation，BP）采用全局优化策略，这种端到端的学习方法性能卓越，但学习过程能量消耗大，且缺乏灵活性。中科院脑智

CV 在前，NLP 在后，迁移学习技术的应用为这两个领域所带来的进展和突破，不可谓不瞩目。其中，预训练模型作为当下迁移学习的一种主流方法，让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后，便能够较好地适配类似的新目标任务，可以极大地节约时间和成本。不过，天下没有免费的午餐，这种方法

在AI领域，几乎每个人们所熟知的技术革新都仰仗于三十年前出现的突破性理论。想要跟进AI技术的发展步伐，人们必须考虑由此带来的严重局限性。那本突破性的著作出版于20世纪80年代中期，阐述了建立多层次神经网络的方法，为之后十年AI的发展奠定了基础。站在我身边的Jordan Jacobs是我们所处的Vector 人工智能研究

过去十年来，人们对机器学习兴趣不减。你几乎每天都会在计算机科学程序、行业会议和华尔街日报上看到机器学习。对于所有关于机器学习的讨论，很多人把机器学习能做什么与希望其做什么混为一谈。从根本上说，机器学习就是使用算法从原始数据中提取信息，并通过模型进行实现。我们使用这个模型来推断我们尚未建模的其他数据。神经网络属于机器学习

雷锋网按：本文原作者李飞腾，本文整理自知乎专栏——数字编程。雷锋网 (公众号：雷锋网) 已获得转载授权。 如果能二秒内在脑袋里解出下面的问题，本文便结束了。 已知： ，其中 。 求： ，