前方切换“极客模式” 深度学习开发者峰会PaddlePaddle 11项重磅全盘点

迈入开源第三年，深度学习平台PaddlePaddle又发重磅升级。

4月23日，由深度学习技术及应用国家工程实验室与百度联合主办的首届WAVE SUMMIT 2019深度学习开发者峰会上，PaddlePaddle首秀全景图，并连抛11项重磅发布！

开发环节，全新发布工业级NLP开源工具集PaddleNLP，以及业界首个视频识别工具集；训练环节，展现大规模分布式训练、工业级数据处理两大特性；部署环节，首发预测服务Paddle Serving和用于模型压缩的PaddleSlim；工具方面，首发预训练模型管理工具PaddleHub、深度强化学习工具PARL重要升级、自动化网络结构设计AutoDL Design正式开源；服务方面，发布了价值一亿人民币的算力支持计划以及企业深度学习实战营。

深度学习推动人工智能进入工业大生产阶段，深度学习框架是智能时代的操作系统。从开发、训练、部署、工具到服务，PaddlePaddle展现了历经产业实践打磨的“趁手利器”所拥有的全面、稳定与高效。

一、  开发：新增N LP、视频两大模型工具集

在模型库方面，PaddlePaddle已开源 60 多个经过真实业务场景验证的官方模型，涵盖视觉、自然语言处理、推荐等 AI 核心技术领域，成为官方支持模型最多的深度学习平台。而此次，PaddlePaddle再次全新发布工业级NLP开源工具与预训练模型集PaddleNLP，以及业界首个视频识别工具集。

PaddleNLP是基于PaddlePaddle 打造的面向工业应用的中文NLP工具集，覆盖全面的中文处理任务，工业使用效果突出。PaddleNLP提供全面丰富的中文处理任务，并拥有当前业内效果最好的中文语义表示模型ERNIE和基于用户大数据训练的应用任务模型。基于PaddlePaddle深度学习框架构建的基础NLP算法模型和NLP应用任务的灵活组合，同类型算法模型可灵活插拔，真正高效易用。

此外，PaddlePaddle还发布了业界首个视频识别工具集，旨在为开发者提供解决视频理解、视频编辑、视频生成等一系列任务的便捷、高效的模型。工具集提供了适合视频任务的通用骨架代码，覆盖视频识别方向的7大主流领先模型，包括StNet、Attention LSTM 、Attention Cluster三大帮助百度视觉团队夺得国际竞赛冠军的自研领先模型。目前，该领先的视频理解技术已在百度多项核心业务中使用，如百度 Feed 流，百度搜索，百度云 VCA 系统等，视频标签集Top5准确率达到96%，百度 Feed 流短视频分类全免人审。

二、  训练：业界最强的超大规模并行深度学习能力

训练环节，超大规模深度学习并行技术一直是PaddlePaddle的优势之一。此次大规模分布式训练主要从三方面实现了升级，首先是对多机多卡训练的的全面支持，实现了良好的可扩展性。同时发布了针对网络条件不好的情况下的稀疏通信技术，大幅降低了带宽对训练速度的影响。

其次，针对超大规模稀疏参数的挑战，设计并开放了大规模稀疏参数服务器，开发者可轻松下载相关镜像使用。基于真实的推荐场景的数据验证，PaddlePaddle 在 100 节点*10线程/节点的情况下，根据batch size的不同吞吐量可达 60 万~ 140 万 /s，每小时可处理20 ~ 50亿数据，且达到batch size为 512 的情况下90%的加速比。该系统已应用于百度feed流以及凤巢 商业 推广系统中，可有效地解决超大规模推荐系统、超大规模数据、自膨胀的海量特征及高频率模型迭代的问题，拥有超大吞吐量及高效率。

第三，大规模分布式训练支持在各种容器上高速运行，同时支持在K8S生态下使用PaddlePaddle进行训练。

在这种大规模数据场景下，数据的吞吐非常关键，对于数据做处理往往是一大痛点，对此，PaddlePaddle研发了数据处理组件方便开发者使用。优化分布式IO，增加远程文件系统流式读取能力。GPU多机多卡同步训练通过增加稀疏通信能力提升带宽不敏感训练能力，在低配网络带宽网络环境下，例如10G网络下，同步训练可提速10倍。

三、部署：首发预测服务Paddle Serving、用于模型压缩的PaddleSlim

开发和训练后，将模型部署到各种应用场景下是非常关键的一个步骤。部署环节需要高速的推理引擎，在此基础上，为了部署在更多的硬件上往往需要做模型压缩，在真正使用时，还需要软硬一体能力的支持。

（PaddlePaddle端到端全流程部署方案）

目前，PaddlePaddle提供完整的端到端的全流程部署方案。基于多硬件的支持，PaddlePaddle提供性能全面领先的底层加速库和推理引擎。此次大会，PaddlePaddle全新发布了预测服务Paddle Serving，以及用于模型压缩的PaddleSlim。

Paddle Serving可与核心框架的模型训练环节无缝衔接，提供深度学习预测云服务，内置模型，可批量预测。Paddle Serving目前已在百度的很多产品线使用。

而PaddleSlim实现基于PaddlePaddle的模型压缩，能够在精度损失较小的情况下高效进行模型体积压缩，覆盖目前主流的网络剪枝、量化、蒸馏三种压缩策略。参数集中管理，两行python代码即可调用自动化模型压缩。针对体积已经很小的MobileNet模型，它仍能在模型效果不损失的前提下实现70%以上的体积压缩。

四、工具：开源AutoDL Design、 升级P ARL 、首发PaddleHub

灵活、高效、易用是PaddlePaddle大受欢迎的重要原因。在多项全新发布及重磅升级中，工具组件方面显得尤为突出。此次，PaddlePaddle不仅重磅开源AutoDL Design、升级深度强化学习框架PARL，并首次提出并发布预训练模型管理工具PaddleHub。

传统的神经网络的结构设计是由人根据经验设计，并不断的进行调参训练获得最优结果，这个过程较为复杂和费时费力。AutoDL Design自动化网络结构设计是用深度学习设计深度学习，理想状态下，只需要使用者提供一份数据集，整个系统就可以根据数据集自身，不断尝试不同类型的网络结构和连接方式，训练若干个神经网络模型，逐步进行自动化反复迭代和尝试，产出模型。本次重磅开源了基于PaddlePaddle实现的AutoDL Design源码， 以及在CIFAR-10数据集上训练出来的一共6个模型，这6个模型进行融合，可获得超过98%的准确率。

PARL是一款基于百度PaddlePaddle打造的深度强化学习工具，继1.0版本开源了NeurIPS 2018假肢挑战赛冠军训练代码以及主流强化学习模型后，本次升级聚焦并行，通过一个简单的修饰符即可实现并行化。数据预处理以及simulator仿真等计算密集型的任务经过这个修饰符之后，会自动部署到用户指定的计算资源上运行，不再占用主线程的计算资源。以通过PARL实现的IMPALA算法的评估结果为例,在雅达利这个经典评测环境中 ，Pong 游戏 最快可在7分钟内达到20分，breakout游戏在25分钟达到400分。

PaddleHub是一款简明易用的预训练模型管理框架，提供包括预训练模型管理、命令行一键式使用和迁移学习三大功能，旨在帮助用户更高效地管理模型并开展迁移学习的工作。

模型管理上通过hub命令行可完成基于PaddlePaddle的预训练模型下载、搜索、版本管理等功能。无需代码，通过命令行即可直接使用预训练模型进行预测，快速调研训练模型效果。迁移学习方面，提供了基于预训练模型的Finetune API。活动现场，马艳军演示了低至10行代码即完成迁移学习的惊艳Demo。

五、服务：算力支持计划，价值一亿人民币！

算力是深度学习发展不可或缺的重要“能源”。为此PaddlePaddle宣布了一个振奋全场的“土豪”计划——百度一站式开发平台AI Studio重磅推出价值一亿人民币的算力支持计划，为开发者破除算力桎梏。

据悉，免费算力主要以两种模式提供，第一种是一人一卡模式，使用邀请码即可获赠算力时长。另外一种是远程集群模式，PaddlePaddle提供高性能集群，开发者只需登录AI Studio，便可以免费使用。

百度对于深度学习开发者的支持不仅于此。面向高校，推出深度学习师资培训班、协同育人专项基金、AI Studio教育版。面向开发者，提供免费在线课程、免费算力支持、并举办不间断的赛事互动。面向企业，推出深度学习架构师培养计划黄埔学院，此次进一步推出了可覆盖1000家企业的企业深度学习实战营——AI快车道。

更精进的基础框架设计、更丰富的算法模型、更强大的系统性能和稳定性、更完备的异构硬件支持、更全面贴心的开发者生态……开源三年，PaddlePaddle始终在实践中不断锻造锤炼，为中国开发者打造趁手“神兵”。

风云骤起的智能时代何以亮剑？或许PaddlePaddle可以成为你的选择。