面向海量非结构化数据场景,青云科技存储产品QingStor U10000面世
在数字时代,数据成为新的生产资料,重要性不言而喻。围绕数字化,国家在政策层面持续发力,包括“十四五”规划到 2035 年的远景目标多次提到“数字化”的概念,加快推动数字产业化,以及最新公布的“东数西算”重大工程,这些都与数据存储息息相关。
青云 科技 存储产品总监冯相东告诉记者,青云将场景和算力的变化视为这些年推动整个存储产业、存储形态往前发展最主要的两个因素。“新应用层出不穷,随之不断产生新的数据形态。同时,计算形态的演变对存储提出的要求也在发生变化。”
在场景和算力推动整个存储形态往前变革的基础上,如何让数据更好地流动起来,成为企业关注的焦点。冯相东说,在数据流动的完整链条里,从最初的采集、处理到后面的归档、再利用、销毁,都会涉及到存储与大数据技术、存储与AI计算技术的结合,这能让数据更高效地被捕获、被索引、被分析和被加工,从而实现数据层面的点石成金。这也是青云存储这些年一直在努力研究的一个方向。
青云存储的特色:专业、自研
迎接数字中国的到来,青云存储做足了工作。冯相东表示,青云存储的核心特点可以概括为专业、自研。青云存储产品线QingStor的特点是更懂算力的存储平台。过去10年间,整个青云存储积淀了多种平台下,算力和存储结合的技术实践,从而在这些实践基础上,帮助客户快速解锁数据的潜能。
专业存储服务专业场景。QingStor 产品线主要有两款核心产品构成:一是 QingStor NeonSAN,二是QingStor U10000。
其中,作为一款分布式块存储,QingStor NeonSAN设计原则是为I/O极致性能而设计,面向的场景是云盘、数据库以及虚拟化存储资源池场景的应用。
NeonSAN最短的I/O时延可以控制在50微秒左右;只需要3台NeonSAN节点,就可以实现100万IOPS的业务支持。并且青云存储已经在 金融 行业多个企业客户内具有多年稳定运行Oracle RAC集群的实践经验积累。
相比于NeonSAN主要面向的数据库、虚拟化等结构化数据而言,U10000主要面向非结构化数据的场景,包括各种影像数据、音视频数据、数据湖、大数据、物联网等。U10000帮助客户更好实现海量数据的价值挖掘,产品的核心特点包括:同时提供对象、文件、大数据接口,不同协议之间实现数据无损访问互通;单存储桶支持100多亿个对象,并且性能不会随之下降。
“两款产品有各自面向的专业场景,有各自专业的分工,我们没有用一种架构同时满足结构化和非结构化的数据场景。因为从专业技术的视角来看,存储架构是没有银弹的,没有哪一种架构能同时做到既能满足极致的性能设计要求,也能满足海量数据吞吐、计算、并发利用的需求,这样的结构是不存在的。青云希望通过专业的存储分工能更好地服务专业的场景。”冯相东说。
青云存储产品线的另一个重要特点就是真正自研的中国存储。青云存储QingStor的两款核心产品:QingStor NeonSAN和QingStor U10000全部是自主设计,没有继承任何开源的架构,不存在任何知识产权的风险。
冯相东表示,为什么青云存储会走上自研道路?这一方面是来自于青云对技术的追求,另一方面是作为中国云计算公司,青云希望以真正自研的中国存储服务于数字中国。“同时,基于开源方案的产品开发 商业 存储,往往会有很多问题,比如性能表现不佳、开源项目的管制风险等。”
正是基于这些考虑,青云存储自主研发使得技术百分百可控,不存在技术盲区。青云存储也匹配了一系列的国产化生态,包括从底层的国产芯片、OS、上层PaaS以及SaaS应用,包括鲲鹏、飞腾、海光等目前主流的国产硬件平台,还有麒麟软件、统信、openEuler等国产操作系统,青云已实现完整的国产化兼容。
青云存储QingStor U10000全面升级
对于青云的存储产品,我们并不陌生,比如QingStor块存储 NeonSAN、QingStor对象存储、QingStor文件存储等。
作为青云在多年存储技术积累基础上的一次产品全面升级,QingStor U10000继承了原来青云对象存储、文件存储的所有能力,并且在多个维度上实现了产品力的增强和迭代。
QingStor U10000的定位是面向海量非结构化数据的统一存储平台,帮助客户把数据存得稳、算得快、管得好。冯相东说,QingStor U10000主要面向私有云场景,以软硬一体机、软件授权等产品形态提供给客户,并可以与青云公有云上的对象存储服务和文件存储服务进行联动。
QingStor U10000相比于之前的QingStor对象存储和文件存储,除了产品力的全面继承,主要在以下几个方面有一些明显的提升:功能和性能的增强,实现数据协议的互通,整个算力平台对接的强化,数据安全机制。
例如U10000具备支撑海量数据存储的能力,同时保证提供卓越的性能。U10000的元数据和数据存储服务都采用全分布式的架构,最小规模3节点起,可以横向扩展大规模数据存储集群,并且在所有节点规模增长的时候均可以保证性能和容量的线性增长。
U10000提供非常灵活的EC配比的选项(即EC纠删码),用户可以根据业务的实际情况选择合适配比,U10000能提供的最高EC配比可以保证整个集群物理磁盘的得盘率或者可用空间率达到90%以上,处于比较领先的水平。
U10000 在保证线性扩展和高性价比EC集群的基础上,还能为通用场景,包括海量小文件场景提供卓越的I/O性能。比如,单桶单目录能支持百亿级小文件存储,并且能做到性能不衰减。
在多协议无损互通方面,U10000在技术层面提供了统一的索引架构,并且基于统一的索引架构提供多种层次的能力。U10000提供了POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多种接口的支持,满足常见应用。
此外,U10000具备丰富的数据处理的功能特性,能够提供一系列完善的API、SDK,可以轻松地对接大数据平台、数据处理的框架和服务,实现数据和算力的高效结合,最终让数据实现点石成金。
举例来看,包括常见的图片处理、音视频转码、AI大数据分析、HPC超算平台,包括在数据生命周期流转中,经常会用到的数据备份归档的技术,QingStor U10000都有一整套完善的对接机制,能对接这些算力和计算生态。
U10000还升级了数据安全机制,包括元数据和存储数据的分层设计、多重访问安全机制、智能预警、运维监控平台,保障客户的数据稳如泰山。
U10000产品功能的更新是一方面,另一方面是在场景方面的全新思考。青云科技产品技术解决方案总监张忠华表示,U10000是以业务场景为驱动,将SDS平台作为算力为核心的设计思想进行全面升级的,在 互联网 体检、智能驾驶、医疗影像、智能工厂IoT和多元化超算等场景有着广泛应用。
例如来某智能驾驶科技公司聚焦在于自动驾驶背后的高精度地图,其数据的采集和处理、分析对于存储性能和扩展性、安全性提出了更高的要求,目前青云提供的存储集群及资源算力,基本上解决了其高精度地图从采集、生产、训练整个生命周期的存储和算力的需求。
“站在应用场景的角度,客户越来越倾向于一个整体的方案,而不是组装的方案。青云的基因是算力,从云而来,向云而去。青云对软件定义存储的思考不是孤立的,将核心聚焦在如何满足算力对存储的需求上面,让存储更好地赋能算力。”张忠华说。
结语
从最早推出的对象存储,到后来的块存储、文件存储,最后演变成今天整个青云存储产品线下的两款核心产品:QingStor U10000和QingStor NeonSAN,我们看到青云在存储方面的持续迭代创新。
展望未来,随着数据存储的重要性日渐凸显,青云存储在赋能数字化方面的作用也将发挥越来越重要的作用。