问世十年,深度学习有哪些里程碑

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

雷锋网 (公众号:雷锋网) (公众号:雷锋网) 按:本文由图普科技编译自《 Milestones of Deep Learning 》,雷锋网独家首发。

“深度学习”自问世到现在已有大约十年的时间了,从一开始,它就因为其巨大的成功风靡全世界。以下是“深度学习”在这些年的发展过程中所取得的一些重大成就。

  • AlexNet — 2012

问世十年,深度学习有哪些里程碑

AlexNet架构(图片来自题为《ImageNet Classification with Deep Convolutional Neural Networks》的研究论文)

·      AlexNet的出现证明了“卷积神经网络”确实奏效。AlexNet及其研究性论文《ImageNet Classification with Deep Convolutional Neural Networks》被认为是推动深度学习进入主流的最重要动力。

·      AlexNet以15.4%的低失误率夺得2012年ILSVRC(ImageNet大规模视觉识别挑战赛)的冠军。(亚军得主的失误率为26.2%。)

·      AlexNet含有8个层,其中5个为卷积层,3个为全连接层。

·     将ReLU用于非线性函数,而非传统的tanh函数。

·     引入了漏失层和数据增强以克服过度拟合的问题。

《ImageNet Classification with Deep Convolutional Neural Networks》,作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton。

  • ZF Net — 2013

问世十年,深度学习有哪些里程碑

ZF网络架构(图片来自题为《Visualizing and Understanding Convolutional Networks》的研究论文)

·      以11.2%的低失误率夺得2013年ILSVRC冠军。

·      与AlexNet架构相似,ZF网络也是在一些调整和优化中不断提高了其工作性能。

·      引入了一项可视化技术——“转置卷积网络”——来观察卷积神经网络的内部工作原理。

《Visualizing and Understanding Convolutional Networks》,作者Matthew D. Zeiler和Rob Fergus。

  • VGG Net — 2014

问世十年,深度学习有哪些里程碑

VGG网络架构(图片来自Keras博客: https://blog.keras.io )

·      以7.3%的失误率取得了2014年ILSVRC的“分类及定位”比赛的单项冠军。

·      VGG网络架构擅长图像分类及图像定位。

·      VGG网络含有19个层,其过滤器为3x3(AlexNet的过滤器为11x11,ZF网络则为7x7。)

·      简单的深度结构对于分层特征提取十分有效。

《Very Deep Convolutional Networks for Large-scale Image Recognition》,作者Karen Simonyan和Andrew Zisserman。

  • GoogLeNet — 2014/2015

问世十年,深度学习有哪些里程碑

GoogLeNet网络架构(图片来自题为《Going Deeper with Convolutions》的研究论文)

·      以6.7%的失误率取得了2014年ILSVRC的冠军。

·      引入了“Inception单元”,强调了卷积神经网络的层不需要每次都按照顺序排列叠加。

问世十年,深度学习有哪些里程碑


“Inception单元”(图片来自题为《深入卷积》的研究论文)

·      含有22块的网络层(单独看,每一块含超过100个层。)

·      非全连接层

·      GoogLeNet证明,优化的非连续结构的性能可能比连续结构的性能还要好。

《Going Deeper with Convolutions》,作者Christian Szegedy等人。

  • Microsoft ResNet — 2015

问世十年,深度学习有哪些里程碑

ResNet网络架构(图片来自题为《Deep Residual Learning for Image Recognition》)

·      以3.6%的失误率取得了2015年ILSVRC的冠军。(据了解,普通人的失误率大约为5-10%,ResNet的准确度超过了人类水平。)

·      ResNet网络是有着152个层的“超深度”网络架构。

·      引入了“残差块”以减少过拟合。

问世十年,深度学习有哪些里程碑

残差块(图片来自题为《Deep Residual Learning for Image Recognition》的研究论文)

《Deep Residual Learning for Image Recognition》,作者Kaiming He、Xiangyu Zhang等人。

 

伴随着深度学习模型对人类能力的一次次超越,在未来几年,我们一定能看到更多有趣的深度学习模型,及其重大成就。

  • “深度学习”是否等同于“卷积神经网络”?

重新回顾上面的内容,你可能会有这样的疑惑——“深度学习”是否就是“卷积神经网络”呢?

答案:不全是。

事实上,下面的模型都被称为“深度学习”:

·      卷积神经网络

·      深度玻尔兹曼机

·      人工神经网络

·      堆栈式自编码器

在以上的例子中,“卷积神经网络”是“深度学习”领域最突出且定义最明确的,至少目前是这样。但是,我们必须始终记住“卷积神经网络”并不是“深度学习”的全部内容。

 查看文章——《 What is Deep Learning? 》。了解“深度学习”是怎么来的,以及它与机器学习和人工智能有着什么样的关系。

雷锋网版权文章,未经授权禁止转载。详情见。

随意打赏

提交建议
微信扫一扫,分享给好友吧。