架起科学数据到科学发现桥梁，曙光发布大数据引擎

10月28日，在全国高性能计算学术年会（HPC China 2016）上，我国领先的信息系统综合服务商中科曙光发布了全球首个“科学大数据引擎”，旨在帮助政府部门、科研院所、教育机构、行业技术创新中心、大型企业研发部门等用户向大数据研究方面转型，促进数据密集型计算架构在各行业领域的创新发展和深入应用。曙光公司总裁历军说，科学大数据引擎集成了曙光在高性能计算、海量数据存储和大数据处理分析技术等领域的优势资源，以积极应对科学大数据发展对传统HPC系统提出的挑战。

“科学大数据的时代已经来临。”曙光公司总裁历军介绍说，数字化进程正在引发不同行业领域的群体性技术革命，已经深入到IT互联网、科学研究、工业制造、现代农业、服务业等各个应用场景，有力地带动了产业升级和技术革新。而大数据技术给科学研究带来的影响更为深远—科学发现将越来越依赖数据密集型计算来驱动。今天，大数据研究已经成为继理论、实验和计算模拟之后的第四种科学范式，在新型材料、生物基因、精准医学、地球科学、生态环境、卫星遥感、天文、空间地理、高能物理、现代农业等诸多领域受到广大科研人员的高度重视。

（曙光发布全球首个“科学大数据引擎”）

                                          面向科学大数据应时而动

“科学研究正变成一个又一个大数据问题。”曙光公司高性能产品事业部总工程师戴荣举例说，“千人基因组计划”每月产生1万亿条碱基序列信息，我国30多个在轨民用航天平台每年有超过3PB遥感卫星数据，FAST 射电望远镜的数据产出速度是6000亿条记录/年，大型强子对撞机实验每年产生15PB原始数据……“未来，基于对科学大数据的处理和分析将成为发现新知识的基本特征。”

其实，去年8月底，国务院就发布了《促进大数据发展行动纲要》，明确提出要发展科学大数据，以实现科学数据的开放共享和应用服务。今年7月，《十三五国家科技创新规划》进一步明确了多个重点领域的大数据发展规划，比如在人工智能方面，要“重点发展大数据驱动的类人智能技术方法”；在材料基因工程方面，要研发“材料大数据”等四大关键技术；在先进高效生物技术方面，要加快推进“生物大数据”等生命科学前沿关键技术突破；在生态环保方面，要开发“生态环境大数据”应用技术；在精准医学方面，要建立“国家生物医学大数据共享平台”；在空天探测开发和利用方面，开展“多源多尺度时空大数据分析与地球系统模拟”等核心关键技术研究及示范应用。

科学大数据的海量、多源、异构、高维等特征，向传统HPC系统发起了全新的挑战。“多数科研项目的数据量非常巨大并快速变化，而且往往是分布、异构的，传统的数据管理模式已不能满足需要；此外对科学大数据的‘计算’包括了从数据获取、管理到分析、可视化的全过程，传统的高性能计算亟需将服务向外延拓展。”戴荣解释说。

作为诞生于科研国家队、多年服务于科研领域的HPC领军企业，曙光敏锐地洞察到科学大数据的未来前景及其对“计算-存储-分析”架构提出的更高要求，率先将“大力发展科学大数据”列入公司“数据中国加速计划”战略，为科学大数据引擎的进一步开发和水平提高提供了有力的保障。

                                         走向融合的计算模式

针对科学大数据的行业应用特征，曙光认为，科学大数据引擎将实现计算存储分析一体化，充当连接数据源和业务应用的“黑匣子”，完成对数据的清洗转换、存储与管理、数据处理与挖掘、数据分析及可视化等工作，架起从科学数据到科学发现的桥梁。

据戴荣介绍，在科学大数据引擎的“黑匣子”里，部署着曙光全系列数据计算技术及服务产品，主要由5个引擎组件构成，它们分别是：针对海量非结构化数据的曙光ParaStor并行存储系统、类型丰富的曙光高性能计算平台、最大化提升系统整体效能的曙光深度学习计算平台、高效敏捷的曙光XData大数据处理平台以及能覆盖科学大数据中心全生命周期的曙光 EasyOP运维管理平台。

“科学大数据引擎融合了高性能计算、云计算、认知计算、大数据分析等多种模式，是高性能计算与数据分析挖掘的有机结合，可为科研工作者提供一个实现科学数据存储、分析和管理的一体化解决方案。”戴荣评价说。 曙光的科学大数据引擎拥有以下六个亮点特征：

1. 专门为科学数据处理流程进行优化，提供“计算、存储、分析、运维”一体化强劲性能；

2. 基于曙光独特的超融合架构，灵活支持高性能计算、大数据计算、深度学习计算等多种计算模式；

3. 超强弹性设计，最高支持E级超算系统立体扩展；

4. 可构建EB级单一存储空间，是经过验证的国内最大存储系统；

5. 支持PB级数据处理能力，可实现亿级数据库毫秒级极速查询分析；

6. 可为上万节点提供7*24小时在线、移动、实时自动监控服务。

                                        共建科学大数据开放生态

曙光“科学大数据引擎”虽然刚刚发布，但曙光在多年的HPC技术服务工作中已经形成了一套全流程、一体化数据处理技术体系，目前已经在多个大科学项目上开展了应用。

部署在贵州黔东南地区的世界最大口径单体射电望远镜FAST，每天要产生5TB左右的数据，数据需要保留10年以上。曙光部署的超算系统就将承担起海量天文数据整合分析、天体分析和挖掘、天文大数据的可视化等工作，推动天文科学研究和探索由假设驱动向数据驱动转变。

此外，曙光于去年与中科院大气物理所联合部署的“地球数值模拟装置”原型系统，也将为地球科学大数据充当“计算处理引擎”；今年还携手中科星图、中科三清等分别发展空天大数据应用和生态环境大数据应用。

目前来看，科学大数据在中国的应用发展还处于起步阶段，在推动大科学研究、促进各行业领域科学发现和技术创新方面有着非常大的潜力，但同时也面临诸多挑战。比如我国的科学数据资源还相对分散，还没有形成一批在国际上有强大影响力的科学数据中心，针对科学数据资源管理和开放共享的法律法规以及相关技术标准还不够完善，高水平的复合型数据科学家人才队伍还存在缺失。

对此，曙光公司大数据总经理宋怀明博士谈到，作为一家已经为上千家科研教育机构用户提供了近20年服务的高性能计算和信息系统服务商，曙光有责任、也有能力提供更好的解决方案来帮助提升科研创新能力，同时，我们也呼吁更多的机构和厂商加盟进来，共同发展适合中国的科学大数据开放生态，帮助中国的科研机构借助各领域大数据发展机遇实现转型与变革，共建创新型国家。