Web 3.0时代,西部数据创新存储架构如何助力数据价值挖掘
中关村在线
近几年来,从 互联网 、人工智能到大数据的兴起引起的世界的变化,不难看出数据的价值正在以前所未有的速度被放大。事实上,作为企业的宝贵资产,数据已经成为驱动企业发展的核心生产力要素,成为了堪比“油田”一样的存在,而要想充分挖掘其价值,首先要进行开采,也就是数据的存储,然后进行“精炼”即数据的挖掘和分析,最终实现数据创造 商业 价值。可以看到,商业价值的实现是以数据存储作为前提的。
根据IDC的报告,到2024年,以HDD为代表的大数据预计将增长到1.62ZB,而以SSD为代表的快数据将会达到333EB的水平,但与此形成鲜明对比的是届时高达143ZB的总数据量。即便数据增长如此快速,但最终也只有1.5%的数据被存储下来,究其原因,还是因为存储的架构和存储的技术没有及时地跟上,以至于有很多数据被浪费掉了,没有办法被存储下来并及时使用。
然而对于企业来讲,要存储数据这样的互联网时代资产,则面临着更多的挑战,一是更多的数据来源造成了更大的容量需求,二是对存储性能的需求也成倍增加,三是TCO成本负担的加重,四则是在绿色能耗体系标准下的节能挑战。然而当前的市场上,并不存在单一的存储介质或存储设备,可以同时满足这四方面的需求。但是如果根据存储需求的不同将数据进行划分,再针对应用场景的特性来提供对应的存储解决方案,就可以应对大数据时代的存储挑战,而这,也就是西部数据带来的存储架构创新。
西部数据公司副总裁兼中国区业务总经理刘钢
7月15日,西部数据公司副总裁兼中国区业务总经理刘钢在成都的Web 3.0峰会上介绍道,西部数据对于存储架构的创新主要体现在以下三个方面:
第一是分布式存储。在Web 2.0时代,存储的数据主要有两种,一种是存储在相关数据库中的数据,另一种是作为非结构化数据进行存储的固定内容,可以看到,无论哪种数据,都是基于传统中心化的存储方法。而Web 3.0这样的分布式存储方案,可以通过新的存储架构来降低成本,同时也带来了存储容量方面的优势。
第二是分层存储。根据数据的使用频率和场景,可以将数据分为极热数据、热数据、温数据、冷数据和极冷数据。根据不同的数据需求,对应不同的存储设备。比如极热存储适用于DRAM;热存储方面,用户希望快速访问高价值数据,进行业务的预测或决策等,适用于高性能SSD;温存储则代表了读取较频繁,有较高性能IOPS和带宽要求,主要以主流SSD或HDD为主;冷存储则是少量写入,多次读取,适用于高密度大容量的企业级硬盘,甚至可以达到18T的水平,极冷存储则用于大块写入,写入次数较少的数据保存,可以用SMR HDD来满足需求。
需要说明的是,对于整个IDC行业来说,容量密度的提升可以降低整体数据中心的部署及运营成本。在配置不变的前提下,将HDD密度从14TB提升至18TB,就可以降低22%的服务器使用和21%的单位功耗,以及17%的总体拥有成本。
另一方面,分布式存储服务商与传统的云供应商相比,发展步伐也更为激进,仅仅用了4个季度,18TB大容量硬盘就成为了主流。而且对于用户选择更高容量存储设备的好处是十分明显的。因为单盘容量密度越高,相应的服务器数量就会减少,并使得单位功耗降低,最终带来相应的部署成本和运营维护成本的减少。
第三则是分区存储。通过使用全新技术进行SSD的分区处理,可以在进行垃圾数据收集时保证整体存储性能,同时降低总体成本。
可以看到,基于用户需求,西部数据针对性的存储技术创新为企业带来了更多存储方面的可能,也为数据价值的深度挖掘打好了基础,让企业能够在数智化转型的道路上越行越远。
当然,西部数据之所以能成为存储技术的创新者,也是归功于多年来在存储技术环节上的积累和产业链优势。
在产能方面,作为全球知名的存储技术厂商,西部数据既是大型机械硬盘厂商,同时通过收购SanDisk以及旗下的NAND晶圆厂,也成为了全球产量领先的NAND Flash闪存厂商。
然后则是技术优势,今年2月,西部数据发布了最新第六代162层3D闪存技术。通过提高侧面单元密度,与BiCS5相比,芯片的尺寸减小了40%,通过采用CUA技术的CMOS和四平面运行技术,与前代相比,程序性能提高两倍以上,读取延迟缩短了10%,输入输出性能则提高了66%。
在垂直企业级固态硬盘纵向集成方面,西部数据也有不小的领先。通过集成完全自主的NAND Flash、SSD控制器和固件于一体,有利于性能和稳定性的提升与优化。
当然,检验一家存储技术厂商的综合实力,还是要落实在具体的解决方案上。拿西部数据的分布式计算和存储集群解决方案来说,不但可以满足数据的高吞吐性能需求,也支持4U60节点下最高1080TB的大容量部署,并带来成本的降低和运维的简化。而共享SSD节点解决方案则拥有高并发、低延时、高性能、节省成本、支持弹性更换等优势。除此之外,在基于西部数据HDD的腾讯云对象存储解决方案中,通过将腾讯的无目录层次结构、无数据格式限制、可容纳海量数据的分布式存储服务Tencent COS,以及腾讯应用场景优化的高密度存储服务器与西部数据16T/18T企业级硬盘的有机结合,实现了存储桶空间无容量上限扩展,并大幅提高了Tencent COS的使用效率、可靠性、与安全性,同时实现了成本最优。
西安灵动就通过采用西部数据高性能存储方案,结合分布式存储网络情况,使得客户拥有了更快的封装、验证速度,在提升性能和效率的前提下降低了成本,未来,灵动也会携手西部数据基于分布式存储,打造全新的Web 3.0基础架构。
除此之外,西部数据也携手众多合作伙伴,将存储技术和存储架构应用到了分布式存储领域。例如基于西部数据与杉岩数据的杉岩MOS海量对象存储系统,凭借海量、高性能、智能化、低成本等优势,为分布式存储场景提供了极佳的存储底座。同时,西部数据SSD、HDD与JBOD存储平台则能在满足分布式存储业务对于存储容量、性能、可用性的前提下,降低总体拥有成本(TCO),提升 经济 效益;西部数据、星辰天合、浪潮联合推出的分布式存储解决方案,搭载了专为分布式存储而生的XSFS系统,基于通用的X86服务器构建了一个无限扩容、持续在线的高性价比存储架构体系,并且通过部署西部数据Ultrastar DC HC550 18TB硬盘,显著提高了的存储容量,同时降低集群的节点数量,节省能耗、机柜空间等相应成本。
随着计算、云端、AI等等多元技术的快速发展,存储作为载体引领着不同类型的数据对于容量、存储时间等要求的差异性,也使得多项存储技术与存储介质实现了多元共生。在Web 3.0时代的大背景下,存储问题的解决不仅要面对存储本身,还要跳出存储本身,解决技术互相融合的问题。
刘钢表示:“凭借行业领先的闪存和硬盘存储技术,以及纵向集成与产能上的独有优势,西部数据不断为分布式存储领域提供先进的数据存储架构和解决方案。在未来,我们将持续助力客户降低部署和运维成本,并满足高效率、大容量及节能减排等多样化需求,加速Web 3.0落地,助力'东数西算'算力网络建设。”
传统商业世界的发展动力源于集中式的存储方案,而Web 3.0这样与传统的互联网架构完全不同的世界里,如何通过新的商业模式将每一个个体的积极性调动起来,从而带动市场的活力,将个人的价值发挥到最大化的程度,是未来需要考虑的问题。西部数据所提供的全新的技术创造、更优化的产品和可扩展性、高可靠性、低延时、高性能、及成本最优的解决方案,既是对分布式存储基础设施建设的赋能,也为数据价值的深度挖掘带来了更多可能。