阿里云存储发布“盘古”2.0引擎 如何通过升级应对数据爆炸时代

1月9日，阿里云宣布推出新一代高性能企业级存储产品家族，并对分布式存储引擎进行了全面升级。后者包括块存储、对象存储在内的云存储家族，混合云存储阵列、混合云容灾的混合云存储服务，以及高性能分布式专有存储方案。

升级具体应用在性能、可靠性、成本、自动化运维等方面，最终实现在底层提供微秒级延迟与百亿级IOPS（Input/Output Operations Per Second，即每秒进行读写操作的次数，多用于数据库等场合，衡量随机访问的性能）。基于全新一代分布式引擎，相比上一代整体IOPS性能提升50%，并新增ESSD云盘、极速型OSS、NAS Plus等新品。

数据大爆炸时代，什么样的存储才适配？

阿里云资深总监Jason吴结生于现场表示，互联网的应用、电商、支付宝，以及万物互联，促进整个数据大爆炸，加快数据采集速度。这对于存储行业人士来讲，既是机遇也是挑战。数据爆炸时代，存储系统应该如何应对挑战？

Jason表示，阿里云将新时代存储系统标准定为4V：

• 第一个V就是容量（Volume at Scale），怎样提供一个存储系统来存储所有的数据，而且用户的数据不能删。

• 第二个V是速度（Velocity at Scale），即当数据产生的速度越来越快，包括IOT产生的数据速度，互联网汽车产生数据的速度等，阿里云存储系统需要跟数据产生的速度进行匹配。

• 第三个V就是多样性（Variety at Scale ），手机、跑步机、汽车等不同设备，都会产生数据，数据产生的多样性越来越多，这也要求存储系统进行相应匹配。

• 第四个V就是普惠（Value at Scale），即让存储系统高可靠、高可用，能够让每位用户或者每个应用都享受得到。普惠的另外一层意义，就是怎样让存储成本不断下降，让用户持续地保存更多的数据。

Jason回顾自2008年，阿里云组建团队，探索通过存储系统满足阿里集团内部业务，包括虚拟机、阿里金融、邮箱搜索等。2009年阿里云团队开始创建分布式存储1.0，主要面对阿里集团内部挑战，提供虚拟机存储服务。

据雷锋网 (公众号：雷锋网) 了解，随着技术演进与业务扩大，2015年，阿里云存储引擎在五千台机器基础上进行升级，支持五千台机器存储集成，并首次在377秒过程中完成100TB的数据排序。

2016年，阿里云将存储规模和存储系统进行升级，支持1万台机器的存储规模。2018年，阿里云即将发布分布式存储引擎2.0，内部代号盘古2.0，其出发点就是面向人工智能、面向新一代的存储应用场景，构建下一代存储引擎。

Jason表示，新一代阿里云存储引擎，要打造世界上最全的存储产品系列，包括对象、文件、块、表格等各种存储格式，且每个存储阵列里都有不同忠烈，形成完全的产品矩阵，“这是第一条公有云产品矩阵。”

其次，阿里云也在打造混合云产品线——即如何把线下存储和线上存储连很好地衔接起来。

第三条产品线，就是阿里云专有云与企业存储——做到将云上分布式存储能力，输入到用户自己的数据中心内。

阿里云存储升级的目的是什么

（一）保证安全

Jason表示，安全对于阿里云来讲，是始终坚持的最重要功能——多层次、全链路、全方位的安全。即从整体安全机制来看，阿里云提供业务安全、安全运营、数据安全、网络安全、应用安全、主机安全和帐户安全，以及底层数据中心安全。

（二）使上云与云存储管理足够简单

• 第一，不需要改动任何的代码就可以上云，就是说应用通过网络文件系统提供网络文件系统，就可以让你的代码不需要做任何的改动就可以上云。

• 第二，完全的脱管服务，也就是说你不需要自己来看容量的规划，或者你需要扩容你也不需要做操作系统，要找到安全的等，安全运维方面工作都可以省掉，也不需要去做备份我们有一套备份的系统能够把你数据做备份。

• 第三，开通方便，Jason表示，数据爆发时代，云存储标准除了上文所提的4V之外，易用性是普惠最重要的一点。

（三）应用场景的扩展

今天的云计算发展。包括云存储。面临各种各样新企业、新金融、新零售、新制造、人工智能、生命科学等挑战，这些应用与场景给云计算带来广泛的需求，包括低延时需求，在光谱情景范围内各种不同需求等。

据雷锋网了解，正是在这样的情况下，阿里云存储提供各种不同存储抽象，比如数据库、块存储、对象存储、表格存储、人工智能、数据处理、抽象处理等，为不同行业提供广谱动力，来驱动业务的发展。

阿里云存储2.0引擎（内部代号“盘古2.0”）也是为这规模而生的，引进分布式原数据管理，使得可以轻松支持万亿级别文件，也可以轻松支持大量的小文件实现第一分布式原数据管理。同时实现更好的弹性部署，形成巨大的存储池，将不同存储介质、不同的情形组合在一块，形成一千PB、也就是亿B级别的存储容量出来。

阿里云存储2.0引擎有哪些不同

一方面，Jason表示，阿里云存储2.0引擎也是分层结构——内部有单机存储层，中间是分布式存储系统，在上面做了一些文件接口的抽象，比如数据库的文件系统、快存储的文件系统、大数据的文件系统、Logfile文件接口等。再底下还有多个机房，在机房里装有高速网络互联，在这样一个架构里面可以使多个机房里的数据管理起来像一台机器一样，便捷地提供巨大的存储池给上面的应用。

其次，这个2.0引擎里第一次把阿里巴巴集团Fusionengine融合进来，更好地去适配各种不同的硬件，而且能够更好地把这一种硬件的红利释放给客户。

另外一个革命性的进化，就是把存储从毫秒时代进化到微秒时代，2.0引擎支持微秒延时以及百亿级别的IOR操作。

具体包括：

• 第一用户度文件系统

• 第二高性能网络库

• 第三软件极致的优化，使得软件开销在链路里面占比不到10%

• 第四做了一些多流映射，把这带宽提高3倍；做了一些动态切换，提供更稳定、更极致的性能

具体升级包括两部分：

• 一个是硬件升级里，引入当下最快的AVMVSD，也引入存储级别的内存MVDE，同时对网络也进行了升级，使之也具备RDMA能力。

• 二是存储系统的升级，就是软件系统升级。软硬结合促使性能稳定、整体能力达到一个世界第一的水准。

  
  

性能表现方面，以ESSD超高性能云盘为例，其可提供单盘高达100万的随机读写能力，相比SSD云盘提升了50倍，是阿里云迄今为止性能最强的企业级块存储服务，但售价不变，每GB每月仅需1元。

除了性能之外，线上线下的灵活拓展能力也变得越来越重要，数据在线产生的价值已经成为了主流。阿里云存储产品总监许呙兢表示，线上线下存储的边界正在消失，阿里云要做的是在任何地方、以任何形式向不同企业提供高效的存储解决方案。

据雷锋网了解，阿里云已形成了一整套涵盖公共云、混合云、专有云在内的全线企业级高性能存储产品线，并且提供在线和离线数据搬迁服务。此前，阿里云与国家天文台合作，共同开展天文科学大数据研究。截至目前，国家天文台将3.5亿颗恒星的数据存储在阿里云OSS上，用于计算、分析，并向公众开放。

。