智慧超算,将成为开启未知世界的达芬奇密码

我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

智慧超算,将成为开启未知世界的达芬奇密码

   速度,可以改变一切。在汽车、地铁发明后,地面交通工具大提速,城市似乎变小了;在飞机发明后,跨洲际的长途旅行变为可能,让地球变小了;当大型粒子对撞机为微观粒子加速,并产生碰撞诞生未知新粒子后,微观世界的真相向我们露出了新的一角;当电影《超体》中Lucy的大脑和身体机能开发至100%,肉体消失,而变成了无所不能、无处不在的超级计算机(HPC)…

   智慧超算,将成为开启未知世界的达芬奇密码

   9 月23日,第6届高性能计算用户大会在北京举行。大会以紧跟时代脉动的“智慧超算”为主题,吸引了国内外近千名来自科研院所、互联网、航空航天、石油勘探、生物医药等行业大咖参会,现场嘉宾演讲干货满满,分论坛精彩观点纷呈,让我们对智慧超算开启未来的方式和路径有了更清晰的认识。

   在我看来,《超体》演绎的故事并不是纯粹的想象,尤其是在HPC由P级向E级冲刺、人工智能再次迎来爆发式增长的今天,我们更有理由相信,智慧超算将成为人类开启未知世界的达芬奇密码。

   E 级计算,将有可能在2020~2022年实现

   在今年参加完ISC2016大会之后,我慕名去参观了奔驰和宝马的汽车博物馆,其中发动机技术和产品的展示,在这两家超过了百年的汽车巨头博物馆中占据了显耀位置,引擎的进步,成为拉动汽车产业向前发展的核心原动力之一。

   超算也是如此,尤其是人类进入到互联网时代之后,大数据有成为数字经济燃料的趋势,而HPC正在扮演的其实就是数字经济发动机的作用,正是因为HPC强劲的算力提升,才能使PB级的数据得以挖掘、流转、分享、利用。据IDC调研数据显示,在2015年全球HPC预算投入增长了11%,2016年还将有更大的增长。

   但由于半导体工艺日渐接近极限,摩尔定律失效的风险在逐渐增大,在今年HPC TOP500排名中,除了今年新登榜首的神威 太湖之光外,像天河2号、泰坦、Sequoia、京等排名靠前的系统,其性能进步幅度不大。整体而言,HPC的性能增长在逐渐步入减速带,这不得不引发我们的警惕。

   E级计算,用简单的白话来描述,就是每秒运算100亿亿次,而目前位列全球HPC TOP500榜首的“神威·太湖之光”,其系统峰值性能为125.436PFlops,持续性能为93.015PFlops,神威·太湖之光让HPC首次迈过了10亿亿次计算整数关,但要达到E级计算的100亿亿次,性能还需要在现有基础翻十倍才能实现,这对于人类而言,将是一个巨大的技术和工程挑战。

   如果摩尔定律继续延续,HPC的每瓦特性能要达到50GFlops的标准,才能通过众核集群实现E级计算,否则把能效比低下的节点聚合在一起,仅仅是电费消耗就很难让其真正运转。

   智慧超算,将成为开启未知世界的达芬奇密码

   在接受《老尚看科技》关于E级计算何时能够实现的现场提问时,国家863计划“高效能计算机及应用服务环境”重大项目总体专家组组长钱德沛教授表示,按照国家重点研发计划,E级计算应该是2020年底实现,这个目标相对来说并不是那么超前。

   当《老尚看科技》向钱德沛教授请教,中国HPC在硬件建设方面世界一流,但在应用方面相比欧美国家还存在短板,当E级计算实现后,如何从顶层设计角度来让HPC的硬件和应用能够更协同发展时,钱德沛教授表示:“说中国硬件世界一流,我觉得我们还是要谦虚一点,即使是硬件,我们距离最先进水平还是有一定差距,因为采用国产处理器的HPC系统数量还很少,很多关键技术还是依赖于国外企业,我觉得这块我们还有很长的路要走。”

   在钱德沛教授看来,关于HPC硬件和软件应用协同发展的问题,长期以来一直持续存在,也是需要我们不断解决的问题。实际上中国在规划发展E级计算硬件系统的同时,也启动了大规模可计算编程和优化算法研究,并将启动面向E级计算的并行算法库研发;同时,我们要启动适应于E级计算的并行应用软件研发,也将启动编程框架的支撑研究。所以从基础技术,到关键技术,再到应用系统,中国的E级计算是多维度、多层次推进的,只有这样才有可能在E级系统出来以后,就有一定数量的应用能够在E级系统上运行。最近几年,中国在超算软件应用方面有了很大的进展,我们希望通过国家计划的引导,让高校、研究所、企业来一起来解决HPC软硬协同发展的问题。

   万物互联网引发数据大爆炸,AI成为大数据利用新希望

   计算驱动数据,数据支撑计算。云计算和大数据,以往常被视作DT经济密不可分的正反两面。大数据时代的到来,让HPDA(基于HPC的大数据分析)应用成为HPC的下一个爆点,2015年时67%的HPC资源用于HPDA。

   但当万物互联网逐渐临近,因为接入网络设备可能出现量级上的剧增。有调研机构预测,到2020年全球数据量将超过4万亿GB,这些海量的大数据依靠传统的方式和算法,将很难被人类挖掘和利用,所以新变革必然发生,而通过最新的深度学习技术,人工智能(AI)有望成为数据大爆炸时代的大数据利用的希望。

   智慧超算,将成为开启未知世界的达芬奇密码

   中国工程院院士、浪潮集团首席科学家王恩东在本届高性能计算用户大会致辞时表示,以云计算为基础平台、大数据为认知方法、深度学习计算为优化工具的智慧计算,将是新变革的推动力,并成为未来整个计算产业里最重要、最主要的组成部分。在新的变革期,高性能计算与云计算、大数据相互融合的趋势会更加明显,并将在人工智能、虚拟现实、高性能数据分析等新领域得到更广泛的应用。

   AlphaGo战胜人类顶尖围棋高手李世石,让我们领略了深度学习的巨大威力。深度学习技术的原理,是采用高性能计算机建立模拟人脑进行分析学习的深度神经网络,让机器能够像人一样进行复杂问题的思考和判断。而海量数据是喂养AI不断变聪明的养料,但按照现有的计算技术,当深度学习的层级多到一定数量,那么现有的计算效率就成为了现实的瓶颈所在。

   微软亚洲研究院首席研究员刘铁岩在演讲中举了一个现实案例,如果采用RNN算法模型训练Clueweb09英文数据集,需要涉及到200亿的参数变量,用现有的计算技术需要180年才能训练完所有数据。就像胃部消化能力不强时,会出现积食、营养难以吸收一样,深度学习也需要更强劲的计算引擎来催动,如果算力不够,动辄数百年才能获得答案,那么这对于寿命有限的人类来说是无法接受的科研项目。

   智慧超算,将成为开启未知世界的达芬奇密码

   那么如何让HPC给AI提供源源不断的澎湃创新动力?在 浪潮集团高性能计算总经理刘军看来, HPC 要跟人工智能形成协同创新,就必须要贴近用户、贴近应用,从用户的应用需求角度上面,怎么帮助他建好超算和用好超算。以往用于深度学习的HPC有个难点,就是并行扩展能力有限。所以浪潮开发了全球首个开源并行深度学习计算框架Caffe-MPI,它具备良好的集群并行扩展性能,实测数据表明,新版本在4节点下16卡的性能较单卡提升13倍。新版本增加了对cuDNN库的支持,使程序开发人员能够轻松实现高性能深度学习代码的开发。

   刘军指出,在面向人工智能深度学习这个领域,浪潮是根据客户实际应用的特点和需求,来构建适合于他的HPC系统,并且帮助他应用深度学习的框架在一些具体的应用中。在实际推广中,浪潮也发展在实现路径上大家还是有一些分歧,需要沟通来解决。

   之前社交网络上曾经盛传,在硅谷招聘一位做深度学习的优秀博士毕业生,需要开200万美元以上的巨额年薪。刘军在HPC行业中已经耕耘了19个年头,他现在越发感受到熟悉人工智能和HPC交叉复合型人才的稀缺,所以浪潮也越来越清晰地意识到,HPC和人工智能要想融合发展,就必须迈过人才关,这也是浪潮连续多年赞助世界青年超算大赛、在Caffe-MPI开源社区的持续投入的根本动因。

   超算,离我们并不遥远,它将是未来生活的的点点滴滴

   超算,在很多人看来,是绝对高大上的前沿科技,它关系到国计民生、科技进步,但似乎却离我们的生活比较远,但我认为这只是一种错觉。就比如我们每天都要看的天气预报,现在很多时候甚至可以精确到暴雨何时开始何时结束,这比起十年甚至二十年前非常粗犷的气温和风力预报,已经有了长足的进步,这背后其实就是HPC不断进步所推动的;基因测序,我之前也觉得遥不可及,但当我太太在37岁时怀上我们第二个宝宝时,医院已经可以提供高龄产妇的无创基因测试,可以通过母体静脉采血对胎儿常见遗传疾病进行非常精准的判定,而且费用已经降到2000元左右,让这种前沿技术造福百姓的推动力,其实也有HPC巨大的功劳在其中。但当时有些遗憾的是,这种基因检测需要几周后才能有结果,漫长的等待如果能够缩短些,对等待结果的父母来说会更具吸引力。

   据刘军介绍,目前上海儿童医院借助浪潮基因一体机,已经在开展罕见病基因诊断,这套系统现在可以在3个小时内完成10个样本的基因测序以及检测流程,而使用以往的旧系统完成同样工作量需要花费的时间为15天。

   我相信,在这些非常具体和落地的应用被普通百姓感知后,HPC的产业化和商业化空间也会无限拓展。而且HPC应用在能源勘探、精准医疗、生物制药、航空航天等高精尖领域,其实最终受益的也是广大人民群众,当这些需求汇成加快HPC产业发展的民间呼声,我相信决策层和主管部门也会不断评估HPC发展的战略价值。

   智慧超算,将成为开启未知世界的达芬奇密码

   无论是HPC科研带头人钱德沛教授,还是HPC企业领导人王恩东院士,还有其它HPC产业的资深大咖,都反复在强调HPC生态系统的建设。从现实情况来看,只有实现科研院校、科技企业、行业用户密切配合,让智慧超算成为解决社会和技术难题、催生新产业新机遇的良方,那么HPC产业不断成长壮大才有更优渥的土壤。

   在这个过程中,产业协同、融合创新就变得异常重要。浪潮在超算生态的建设中,就非常在意与合作伙伴们形成互补和协同关系:浪潮与NVIDIA合作建立了云超算应用创新中心,与英特尔联合建立了Inspur-Intel并行计算实验室,组建专门的深度学习团队,针对不同行业对深度学习计算平台的需求,开发个性化的解决方案;并且通过世界青年超算大赛,为HPC产业储备精英人才,通过加大对Caffe-MPI开源社区的投入,让开发者有机会接触到可以改变未来的前沿技术。

   尽管浪潮为建立一个健康强壮的HPC生态系统,做了很多扎实有益的工作,但如果只有某几个科研机构和企业在推动,那HPC产业的发展速度也非常受限。可喜的是,现在中国高校、科研机构、IT企业、典型行业客户,都已经意识到了协同创新的巨大价值和潜力,并且进行着紧密的合作,所以我们有足够的理由期盼,随着E级计算的实现,中国HPC的基础建设和软件应用会迎步入一个速度和质量双提升的发展新热潮。

   未来生活,或许就如电影《超体》结局时Lucy的预言:超算,无处不在。

随意打赏

开启智慧
提交建议
微信扫一扫,分享给好友吧。