为何说国内企业级存储市场将迎来快速增长?
文 | 王洪磊, 朱晟君
在上文中,我们概述了传统存储的三种架构以及分布式存储,并对存储市场为什么会迎来快速增长的原因。十三五的信息化战略导航,物联网的快速到来以及大数据时代数据量的疯狂增加。接下来我们将讲述存储产业发展趋势。
3.产业发展趋势: 架构升级与存储介质更新
3.1 硬件方面—闪存
IDC 数据显示,在经过今年的缓慢开端之后,第二季度企业存储市场仍然保持稳定。全闪存阵列销售的持续增长成为市场发展的助推因素之一。闪存介质成本的持续下降、使用实例的增加以及高密度部署需求的增加,推动着市场的快速发展。该季度,全闪存市场总收入近 11 亿美元,同比增长 94.5%。混合闪存阵列细分市场仍然是该市场的主要组成部分,收入 23 亿美元,占有 26.1%的市场份额。
对于 IT 存储界来说,闪存技术的应用可以算作一场“颠覆”。 2010 年闪存新星Fusion-io 宣布营收额增长 300%,揭开了闪存快速发展的序幕,随后各种工艺的SSD 如雨后春笋般出现,诸多闪存公司竞相并起, 闪存市场发展迅猛。
我们认为,闪存市场的快速发展,是应用需求驱动的结果。移动设备、云服务、社交网络和大数据分析等都对存储的实时响应能力提出了较高的要求。要满足这些实时应用的需求,后台就需要有高效的计算、网络、存储能力。处理器和内存的性能近些年来基本上符合摩尔定律的预测,增长速度非常快。但是存储的读写
性能相对于多核处理器、不断增长的网络速度来说,已然成为了系统的短板。无论邮件系统、 ERP 系统、数据库以及实时分析系统,都需要硬盘在最短的时间内将最准确的数据传递给 CPU,用户对这些系统的 I/O 响应要求非常高。传统硬盘读写性能低,依靠传统磁盘阵列的并行读取技术,虽然可以提高硬盘读写性能,但也是杯水车薪,硬盘一直是传统阵列响应速度的瓶颈。高速 SSD 的出现极大地提升了硬盘的 IOPS 和吞吐能力,一定程度上解决了数据存取效率低的问题。
通常而言, 5U 的全闪存阵列可提供高达 20 万混合读写 IOPS,时延只有 500us,在线重删、压缩技术基本可达成 3~5 倍的数据缩减率。相比传统机械硬盘阵列,提供同样的 IOPS、容量情况下, 5U 的全闪存阵列就可以代替 2 个机柜的传统机械硬盘阵列,同时降低能耗、制冷、空间费用以及 TCO (Total Cost of Ownership)。
我们认为,随着半导体工业的发展, Flash 集成度愈来愈高, SSD 成本将不断下降。在多通道并行等技术条件下, SSD 盘有着读写速度快、绿色省电和无机械部件可靠性高等优势,因此闪存阵列在企业级市场的高速发展势头必将得以延续。
另外,我们预计,未来随着闪存价格的下降,或许会出现闪存大规模替换传统磁盘阵列的情况,但是就目前来看,闪存价格依然是普通磁盘阵列价格的 8 倍以上,因此两者会在各自的应用领域发挥自己的优势。
3.2 软件方面—存储的核心竞争力趋向软件化
3.2.1 虚拟化—传统存储的机遇
3.2.1.1 存储虚拟化软件的作用
在引入 SAN 技术之前,存储采购的目标主要是阵列的嵌入式特性/功能和物理硬件属性,如可扩展性和可靠性。一旦 SAN 被广泛地采用,用户面临的就是各种各样的型号和品牌,因此他们只能根据具体的项目需求建设一套又一套的存储设备,这在很大程度上使不同的存储设备在用户的系统中是一个个孤岛。这就造成了不同业务系统的存储资源无法均衡并且维护成本居高不下。 此外,对于用户来说,由于数据迁移的风险和费用很高,一旦购买了一个厂商的存储,后续就只能购买该厂商的服务和扩容,这样就会被一个硬件供应商绑定。用户急需能够对现有存储进行统一整合并且能兼容其他厂商设备的存储管理软件,存储虚拟化应运而生。
存储虚拟化在一些厂商的概念设臵中, 被当作了软件定义存储的一种。它是指把传统存储设备进行统一管理、池化,然后映射给上层主机使用。这种技术有两个优点,一是很好地解决了传统存储“烟囱式”扩容的弊病,二是解决了被单一存储厂商绑定的问题。
我们预计,未来三年,数据量的增加将带动虚拟化存储的应用需求,数据中心、异地数据管理等都将应用存储虚拟化技术,因此,存储虚拟化网关的市场规模将呈现高增长。根据 CCID 预测显示, 2017 年市场规模将达到 4.09 亿,年复合增长率超过 25%。
我们认为,因虚拟化网关本身的价格限制,它的市场规模表明看起来并不太大,但是它对于传统存储厂商的市场格局影响会非常大。首先它降低了存储系统新进厂商的准入门槛和进入可能;其次它将传统 SAN 存储厂商推入一个公平竞争的环境,规避了封闭系统的高门槛,有利于行业的推陈出新。需要特别提到的是,传统 SAN 阵列中低端市场目前属于“红海”,竞争惨烈,利润率逐年走低。
而作为 SAN 阵列的制高点—高端存储,目前高端存储的玩家较少,基本是国外的存储巨头和国内的华为、浪潮公司,高技术门槛带来了高利润,这也是目前 SAN 存储厂商发力的一个方向。除了能为企业带来较高的利润,高端存储产品历来都是存储厂商创新能力与研发实力的体现。高端存储取得成功,将带动中低端存储的研发实力和品牌提升,对企业做大做强存储业务有巨大帮助。
3.2.1.2 存储虚拟化软件给传统存储带来机遇
目前,云存储、超融合以及基于闪存的存储解决方案等新技术的兴起,对传统存储而言,是一个巨大的挑战。根据 IDC 的全球企业存储系统季度追踪报告称,2016年第一季度企业存储系统工厂收入同比下滑 7%至 82 亿美元。该季度出货容量下滑 4%至 27.8EB。直接出售给超大规模数据中心的原始设计制造商这个类别的收入增幅有所下滑,这部分市场同比减少 39.9%至 6.81 亿美元。
2016 年第二季度全球企业存储系统工厂收入同比持平,增幅 0.0%为 88 亿美元。该季度总体出货容量同比增长 12.9%达到 34.7EB。直接向超大规模数据中心进行售卖的原始设计制造商的收入增幅有所下滑,这部分市场同比减少 21.5%至 7.947 亿美元。目前存储市场总体规模虽然基本稳定,但是闪存和服务器存储的持续增长是建立在传统存储的份额下滑之上的。
传统存储最大的弱势在于只能凭借在系统中增加大量磁盘驱动器来实现较高的性能,而这种方式必然带来昂贵的开支和营运费用。存储厂商通过在混合结构中增加闪存,尽力克服磁盘阵列局限性,但是旧有基础架构并不能真正发挥闪存的效率,发挥其最高性能。而且,混合阵列也不能轻易地跨多个系统进行共享,这样就导致效率低下。
我们认为,存储虚拟化技术的发展为传统存储带来了新的机遇。存储虚拟化的目标是把应用程序存储与物理的数据存储基础设施分离。理论上,这将实现存储资源的“灵活”分配、重新分配或不分配。换言之,存储虚拟化提供一种把存储服务从存储包中分离出来的方法,即使基本的硬件和互连被变更,仍然能提供卷的持续性。软件定义存储允许客户将存储服务集成到服务器的软件层,将软件从原有的存储控制器中抽离出来,使得它们的功能得以进一步的发挥而不仅仅局限在单一的设备中。
目前来看,存储虚拟化的一种主流方案是在现有的存储层之上增加一个虚拟化层,在虚拟化层连接各存储系统以创建一个整体得资源池。在资源池内部可以实现快照、容灾、数据重删、持续数据保护等多种增值功能。据我们分析,这种方式可以充分利用用户已有的存储设备,实现多厂家设备的异构、数据的迁移、容灾和统一管理,充分实现客户存储硬件的投资价值。将虚拟化与缓存结合起来,这正是获得高 IOPS 性价比的重要途径。虚拟化技术可用于跨多个系统灵活分配存储空间,通过使用缓存系统来发挥闪存的优势。
我们认为,虚拟化技术的引入给传统存储市场注入了新的活力,主要有以下几点:
1、可以有效提升传统存储的 IOPS 和扩展能力,这样已购买传统存储的客户可以在其基础上扩容,以满足自己后续的存储需求。
2、可以利用传统存储进行做容灾,增强数据的安全性,这就带来了新增市场空间。我们预计,随着虚拟化技术能力的提升,运算能力、扩展能力、安全性能得以提升,再加上运维成本的下降,传统存储的成本优势就能得以体现,有望打破近年来市场规模持续下滑的窘境,焕发新的活力。
3.2.2 软件定义存储—存储的未来主流
在传统存储设备中,存储厂商会自己研制存储硬件,存储厂商的存储硬件主要为了解决三个问题:
一是提高磁盘的 IO 性能,存储厂商需要自己研制面向 IO 的存储硬件,比如说在一台存储服务器中需要扩展很多的 SATA/SAS 接口、扩展硬件RAID 功能,如果是高性能的存储设备,还需要扩展控制器之间的专用互连网络接口;
二是应对存储的 IO 密集型读写,低端存储甚至可以采用计算性能比较差的 CPU 进行设计;
三是提高存储的高可靠性,传统存储往往追求硬件设计的可靠与稳定,通过提高硬件的可靠性来达到存储可靠的目的。在这种传统存储的思路下,存储的设计主要分成存储硬件和存储软件设计两大部分。
专用存储硬件是各个厂商独立开发的,具有封闭性,因此造成客户一旦购买了某一厂商存储,后续扩容基本上就被该厂商“绑架”,而相应的运维和服务也没有选择权。此外,专属硬件的维护和更换也大量增加了运维成本和故障恢复时间。软件定义存储的理念就是将硬件归一化,而把之前通过专用存储硬件实现的提升IO 性能和可靠性等功能都由软件来实现。
目前存储各厂商对于软件定义存储的概念并不统一。我们认为,软件定义存储的思想就是要将定制硬件的过程从存储设计中彻底抛弃,存储就是在通用服务器上的一套软件。软件定义存储在本质上来说,会给现有的存储市场带来革命性的改变,这也是市场现有的存储巨头不主动推广该技术的原因。但是,发展趋势不是既得利益者能够改变的,虽然存储厂商没有主动推广,可 EMC、华为、 IBM 等存储巨头以及 Vmware 等软件厂商都看清了这一趋势,并且在积极布局。
软件定义存储的概念提出较早,但近年来才开始逐步落地, 主要有三方面原因:
1)通用服务器性能的提升。今天一个普通的服务器就可以安装 1TB 左右的内存;2 路 CPU 基本算是通用服务器的最低配臵;
2)网络性能的大幅提升。服务器的基础配臵一般都会板载两个 10Gbps 以太网或者 8G/16Gbps FC 卡;
3)在 IO 处理方面,闪存无论在性能还是容量方面都取得了长足的进步。以前如果我们想要达到 1 万 IOPS 的性能,只能通过并发磁盘的方式,为了能使更多的磁盘并发,需要大量的 SAS/SATA 接口,因此,只能定制主板来满足这种设计。而如今,一块 SSD 盘就可以达成这个目标。
我们预测,软件定义存储是未来存储行业发展的主要趋势,在该趋势中,存储硬件将归一化,大大降低整体存储解决方案的成本;软件的价值将被凸显,未来在软件方面领先并且具有持续研发能力的厂商将获取产业链的大部分利润。另外,软件定义存储将打破现有存储格局,降低新进厂商的准入门槛,为更多的创业型公司带来机遇,也给整个行业的发展带来新的可能。
3.3 解决方案方面—灾备(存储领域的蓝海战场)
国际标准 SHARE 78 对容灾系统的定义有七个层次:从最简单的仅在本地进行磁带备份,到将备份的磁带存储在异地,再到建立应用系统实时切换的异地备份系统,恢复时间也可以从几天到小时级到分钟级、秒级或零数据丢失等。目前针对这七个层次,都有相应的容灾方案。
从 SHARE 78 可以看出,灾备系统随着业务的重要程度和对数据丢失数量的容忍度,投资规模差异巨大。我们认为,随着数据资产受到越来越多的重视,政府和企业在容灾上的投资额会逐步加大,灾备系统的大建设时期不会太远。备份系统内部的组件主要有两部分:备份软件和备份介质。就备份软件来看, Gartner 于 6 月 15 日发布了 2015 年企业备份软件和集成设备相关的魔力象限图,与 2014 的备份软件魔力象限图相比变化不大。
我们认为,当前备份软件和集成设备解决方案基本被外商所垄断,主要原因是备份软件作为整个灾备系统的中枢,其架构和开发难度较大,技术门槛很高。国内目前的灾备解决方案基本上是集成主流厂商的备份软件、加载第三方或者自产存储设备所组成,而整个解决方案的主要利润毫无疑问会被备份软件厂商获取。
备份介质目前主要有磁带、磁盘和蓝光光盘。我们认为,由于磁带失效率高、数据易丢失、恢复无法保证、维护成本高等种种劣势,出现在备份解决方案中的机会非常小。磁盘阵列是目前在备份系统中应用最为广泛的备份介质,其中以虚拟带库(VTL)最受欢迎。 VTL 使用的是磁盘阵列,对外提供的是磁带库接口,这样就最大程度的得以兼容上层的备份软件,具备磁带库和磁盘阵列两者的优势。
蓝光存储其实也是 VTL 的一种,只是把 VTL 中的硬盘替换为蓝光光盘,蓝光存储目前还未大规模推向市场。但是由于它具有寿命长(可靠保存时间超过 50 年)、容量大(单张光盘存储容量为 100G、每个光盘盒可装 12 张光盘,共 1.2T 存储容量,每一台光盘库可配备 90 个光盘匣,总存储容量为 108T)、绿色存储(储存条件简单、功耗低、碟片保管时不需要空调)、安全系数高(具有防篡改,防病毒功能,电源切断、地震、洪水时碟片不会损坏)等优势,相信未来必然能在灾备市场上大有作为。
目前国内灾备市场还未打开,大多数厂商对容灾的认识不足。甚至有些依然采用“手动+移动硬盘”的方式进行数据备份,而很多企业对于数据安全的认识停留在阻击黑客层面。灾备是指通过预先建立备份中心、备份设备,并对数据进行备份,一旦业务系统故障,在企业可以容忍的时间内恢复业务系统的正常运行,将因业务中断导致的损失降低到最小的程度。国外一家权威机构曾做过研究, 1TB工程数据的丢失可能造成高达 50 亿美元的损失。随着系统越来越复杂,数据容灾备份是数据安全的最后保障。
政府部门以及医疗、金融等行业对灾备的重视程度越来越高,有些还明确地提出了灾备要求,比如保监会要求所有保险机构的系统宕机时间不能超过 8 小时。未来,更多的用户会关注 RTO(恢复时间目标)、 RPO(恢复时间点目标)等与灾备相关的指标,这对于中国灾备市场的发展来说是一个利好因素。
据 IDC 的估算, 2017 年,灾备市场将达到上千亿元的规模。当前在中国的灾备市场上,国外厂商仍占据主导地位。我们认为,由于灾备涉及到数据安全问题,因此在国内对数据安全性敏感的行业,国产化是未来的趋势。而且随着国内厂商的技术和产品不断走向成熟,以及对国产数据库有更好的支持,中国灾备软件厂商在市场上也拥有了更多的话语权。
4.总结
随着互联网与移动互联网的兴起, 海量终端设备带来数据量的大幅增加,对于存储的需求也随之增长。 传统存储的集中式架构在性能和扩展性上存在着天然的缺陷, 难以适应下游客户海量存储的需求场景。在互联网化浪潮推动下, 软件架构的升级与硬件介质更新推动存储行业迈入新的阶段:
1)软件推动存储产业架构升级, 有望重塑竞争格局:
a)虚拟化。随着数据量指数级增长, 互联网化思维要求数据中心能够很好地解决传统存储架构存在的数据孤岛问题,虚拟化应运而生,进而推动传统存储产业发展。
b)软件定义存储。传统存储架构难以满足互联网业务高并发、 高扩展性的需求,软件定义存储很好地解决了互联网厂商的痛点,未来随着数据量增加、互联网业务并行需求增加,软件定义存储架构占比将持续提升,有望成为存储产业的主流架构。
2)全闪存阵列性能优异, 占比将稳步提升。 随着数据增加、业务处理量提升,读写频率及读写速度需求均陡然增加,传统磁盘阵列虽能通过并行架构提升读写速率,但仍难以满足移动设备、社交网络、大数据分析等高频高速数据响应需求。而全闪存阵列非常好的契合了 IO 密集型场景,且随着价格逐年走低, 未来全闪存阵列占比有望持续提升。
我们认为, 在数据大爆炸的时代,数据量的指数级增长必将引爆对存储的需求,且在国产化和去“ IOE”的大背景下,国产厂商将获得历史性发展机遇。 云计算的发展、虚拟化和软件定义存储等新技术的加速发展使国内厂商有望弯道超车,大举占领国内市场,并实现国际化。
End.