最强AI训练集群华为Atlas 900首次在AI超算领域应用
语音播放文章内容
由深声科技提供技术支持
两个月前的全联接大会上,华为发布了目前全球最快的训练集群Atlas 900。不过,设计和制造出强大的硬件对于硬件提供商而言并非最困难的事情,能否将其应用于不同领域体现出其价值才是成功的标志。
本周五,鹏程实验室联合华为在深圳发布鹏城云脑Ⅱ基本型系统发布会,这是Atlas 900第一个外部应用案例。这不仅代表着华为鲲鹏和昇腾双引擎计算战略的向前迈进,也是华为在5G+AI时代能否保持领先的关键。
Atlas 900落地鹏城云脑Ⅱ
Atlas 900由数千颗昇腾910 AI处理器互联构成,每颗昇腾910 AI处理器内置32个达芬奇AI Core,单芯片提供比业界高一倍的算力(256TFLOPS@FP16),总算力可达到256P~1024P FLOPS @FP16。Atlas 900发布时,华为给出的数据是在Fastest cluster ResNst-50@ImageNet测试中,华为成绩为59.8秒,比第二名70.2秒的成绩高出了10秒多。
峰值算力和测试成绩是判断硬件性能很好地指标,但实际中的应用效果更为关键。在Atlas 900发布之时,华为就介绍其联合上海天文台与SKA共同打造的,一张南半球的星空图有20万颗星星,当前条件下,天文学家要从这20万颗星星中,找出某种特征的星体,相当困难,需要169天的工作量。用上Atlas 900,只用10秒,就从20万颗星星中检索出了相应特征的星体。时间从169天缩减到10秒就是Atlas 900实际应用效果最直观地说明。
另外,全联接大会上,中国工程院院士、鹏城实验室主任高文院士也分享了鹏城实验室基于华为Atlas 900集群打造鹏城云脑Ⅱ的平台规划。两个月之后的2019年11月29日,鹏城云脑Ⅱ基本型系统正式发布。高文院士介绍,鹏城云脑Ⅱ原型系统实现了100 PFLOPS的算力,并计划到明年底扩展至1000 PFLOPS级AI算力。
据悉,双方目前正在联合攻坚AI集群的规模进化以及AI功能的进化,解决散热、组网等影响集群扩展的关键问题,为实现明年1000 PFLOPS级AI算力。
1000PFLOPS是个什么概念?2019 年6月开始,超算 TOP500 的入门门槛超过 1PFLOPS(每秒一千万亿次浮点运算),这是全球超算 TOP500 榜单 26 年以来的又一历史性突破。根据TOP500本月发布的最新一期超算排行,排名第一的美国超算Summit(顶点)的性能为148.6 PFLOPS。接下来,超算的竞赛将进入Exascale计算(百万兆级的计算,也可称E级超算)时代,也就是1000PFLOPS级。
不过,以Atlas 900为基础的鹏城云脑Ⅱ是AI计算集群,虽然性能将达到E级,但主要是面向AI计算,与TOP500的超算系统还有所区别。
需要补充的是,鹏城云脑是鹏程实验室的人工智能开放开源平台,鹏城云脑面向全国,为人工智能基础研究和应用基础研究提供多层次、多样化的资源环境支撑,服务我国人工智能领域创新发展。此前的2018年一期工程中,鹏城云脑初步建成上线运行了以“鹏城云脑-1”为核心的P级计算系统。
在鹏城云脑Ⅱ原型系统发布的当天,鹏城实验室与深圳市政府就一系列重大项目签约,向卫生健康、公安交警、巴士交通、政务等场景提供鹏城云脑强大的AI算力,支撑市政重大项目智慧升级。
另据雷锋网了解,不断进化、动态升级的鹏城云脑还将持续向国内外的科研机构、高等院校等组织提供云端AI算力,充分发挥华为Atlas 900集群的优势,搭好科学研究和探索的地基。
华为高级副总裁、Cloud & AI产品与服务总裁侯金龙(左)与鹏城实验室主任高文(右)出席鹏城云脑Ⅱ发布会
Atlas 900与华为5G+AI的未来
至此,Atlas 900已经在内部和外部都已经落地,但其可以更多地应用于科学研究与商业创新,如天文探索、气象预测、自动驾驶、石油勘探等领域。并且在实际应用中享受到高算力带来的优势。
做一个简单的对比,要实现256 PFLOPS的算力,经测算如果使用通用CPU需要6195个机柜,使用GPU需要208个机柜。而基于昇腾架构对深度学习业务的优化,以及芯片优化之外增加的如板级液冷、柜级密闭绝热等系统级优化, Atlas 900集群使用16个机柜就能实现256 PFLOPS的算力,并且将功耗从40000千瓦降低至736千瓦,实现更高性价比。
当然,将Atlas 900中既有昇腾系列AI处理器,也有鲲鹏系列CPU。华为在全联接大会上推出了鲲鹏和昇腾双引擎的计算战略。华为技术有限公司Cloud&AI产品与服务总裁侯金龙近日接受雷锋网等媒体采访时表示:“这两个计算引擎将会应用于向各个行业,我们认为AI+5G+云会使能各个行业,使各个行业进入智能时代。目前除了鹏城实验室的鹏城云脑外,金融、智慧城市、电力、交通、互联网等行业都采用了鲲鹏和昇腾这两个计算引擎。”
还需指出的是,硬件生态的强大还需要软件生态的协同,英特尔和英伟达在高性能计算领域的成功就是很好地例子。因此,在近一年的时间里,华为相继推出训练和推理框架MindSpore、芯片算子库和高度自动化算子开发工具CANN、一站式AI开发管理平台ModelArts。并且这些软件和硬件覆盖了云、边、端。
不仅如此,华为还计划打造强大的生态。侯金龙介绍,计算产业的核心就是开发者生态,华为计划在未来三年会投资15亿美元发展开发生态。希望和各个高校一起,基于鲲鹏和昇腾的计算架构体系联合各个高校开发教材,让学生至少可以学习我们这个体系。
他还透露,明年2月份鹏城云脑和华为会举办一个开发者大会,规模将超过两万人。
雷锋网小结
对于任何一家芯片提供商而言,设计出性能和功耗都具有优势的芯片只是迈向成功的第一步,只有获得用户的认可并且持续迭代芯片才能视为芯片的成功。对于华为而且,基于其技术和客户的积累,推出新的硬件更容易获得应用,所以我们看到Atlas 900发布两个月后就已经有两个应用案例。但正如Atlas 900是一个复杂的系统一样,华为要在5G和AI的时代胜出,除了硬件,强大的软件和开发者生态都至关重要,我们也看到了华为在这些方面的投入。至于结果会如何,我们将保持关注。
雷锋网年度评选—— 寻找19大行业的最佳AI落地实践
创立于2017年的「AI最佳掘金案例年度榜单」,是业内首个人工智能商业案例评选活动。雷锋网 (公众号:雷锋网) 从商用维度出发,寻找人工智能在各个行业的最佳落地实践。
第三届评选已正式启动,关注微信公众号“雷锋网”,回复关键词“榜单”参与报名。详情可咨询微信号:xqxq_xq
。