英特尔IDF PPT揭秘： 高性能计算和深度学习发展的趋势（上）

进行深度学习的训练向来不被认为是CPU的强项，但是以CPU研发见长的英特尔并不甘心屈服于这个定位，在过去的几年里，英特尔及其合作伙伴一直在探索用CPU来进行快速有效的深度学习开发的方法。代号KNL的Xeon Phi至强芯片是英特尔的努力尝试之一，同时在深度学习算法的改进上，英特尔也做了一些努力。

近日，在美国旧金山举行的IDF16大会上，浪潮集团副总裁、技术总监胡雷钧做了 基于英特尔至强融合处理器KNL和FPGA上的深度学习的报告。报告介绍了高性能计算和深度学习发展的趋势、深度学习在高性能计算平台上的挑战和解决办法、大规模深度学习平台的系统设计、多核设备和机群系统的算法设计（——KNL技术和案例学习/——FPGA技术和案例学习) 4部分的内容，下面我们从摩尔定律的演变开始，看基于英特尔至强融合处理器KNL和FPGA上的深度学习现在是怎样一副现状。

摩尔定律的革命

1965年摩尔定律提出后，我们开始依次进入 1965-2005年的单核CPU时代； 2006至如今的多核CPU时代； 2012至如今的多核英特尔MIC时代。

而现在，深度学习正在成为高性能计算的全新驱动力

高性能计算设备联手大数据提升深度学习的发展的同时， 深度学习促进新的高性能计算模型的发展。归根结底，我们把 深度学习现在的成功归功于三方面：1） 大量标签数据样本的出现： 图片（10亿级）/ 语音（10万小时以上）。2） 好的算法，模型，软件的出现：  算法：DNN/CNN/RNN   软件：Caffe/TensorFlow/MXNet 3） 高性能计算样本的激励：AlphaGo可视为典型例子。

不可避免地，深度学习在高性能计算上遇到了挑战  

具体表现为两方面， 其一，大规模深度学习平台的系统设计。比如离线训练要求的：高性能；在线识别要求的：低功耗。其二，多核设备和机群系统的算法设计问题 。比如，多核设备异构细粒度并行算法；机群系统的分布式以及粗粒度并行算法。这些都是不容易解决的问题。

上述的挑战之一，是深度学习具体的平台设计情况，分为两种：

离线训练平台特点：计算机密集型/交流密集型——使用KNL平台最合适。

在线识别平台特点：高吞吐量，低功耗——使用FPGA平台最合适。

最终呈现出来的完整深度学习平台，就是KNL+FPGA 机群+OPA网络+Lustre存储 (由Linux和Clusters演化而来, 可以看做一个解决海量存储问题而设计的全新文件系统)的全新结合体。

上述的挑战之二，关于并行算法极其应用情况的进展。

在我们的潮—Intel中国并行计算实验室里， KNL/FPGA技术研究；HPC/深度学习应用；第一代 Xeon Phi Phi 书正如火如荼地进行着。

浪潮—Intel中国并行计算实验室的进展情况包括： KNL/FPGA技术研究； HPC/深度学习应用； 第一代 Xeon Phi使用手册。下面详细介绍这些应用背后的高性能计算平台和其算法。

KNL技术本身

它是英特尔第二代MIC架构， 基于X86 架构的多核计算：拥有最多 72核，总计 288线程。目前以 3个产品模型： 处理器； 协处理器； KNL-F。支持 大规模记忆和高速宽带： DDR4：384 GB，90+GB/s。 MCDRAM: 16GB, 500GB/s。

关于 KNL测试结果

性能：1KNL/2 CPU=6.88X 。（叠加）扩展 效率：95%

当我们自己把改进版的Caffe放在KNL上运行时，深度学习在其上面运行的情况如下。

Caffe有许多用户，在中国非常流行。在数据规模很大的情况下， 一个节点通常需要很长的时间去训练。这就要求， Caffe的前馈计算，权重计算，网络更新可在并行机群环境中处理。

英特尔IDF PPT揭秘： 高性能计算和深度学习发展的趋势（下）