非结构化数据无损互通,青云科技让数据存储更安全、应用更高效

砍柴网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

存储发展的大背景离不开一个话题——“数字中国正在来临”。存储形态变革的背后,是数字场景的变化以及算力的变化。在数据呈现指数级增长的今天,存储的未来趋势是什么?

数字场景及算力的变化 推动了存储的变革

过去三十年,企业从最早期阶段的传统OA应用、数据库,到后来的 互联网 时代、移动互联网时代,再到近几年的5G、AI、IoT,甚至元宇宙的出现,场景不断在变化,新应用更是层出不穷。这些不断产生的新的数据形态,直接导致了针对这些数据的分析需求也在不断变化。在这个过程中,存储作为整个数据管理的核心,自然推动了整个存储产业或者存储形态的演进。另一方面,从算力来看,最初计算能力的承载,大部分是使用物理机,后来使用虚拟化、云计算,现在则越来越多地转向容器平台、云原生。一台物理机上有几十个虚拟机,如果以容器的形式承载计算,一台物理机则可以有上百个或者几百个容器Pod单元。随着整个计算单元的密度变得越来越高,计算的敏捷性也将越来越强。

但在各企业的实际应用场景里,数据的表现形式显然更为复杂。据笔者了解,中国的自动驾驶 汽车 ,其出货量已经达到 3000 多万辆,一辆自动驾驶汽车满负荷测试的情况下,每天可以产生的数据量能达到数TB 甚至数十TB。而且,典型的自动驾驶、物联网、AR、5G场景背后所产生的数据类型主要以非结构化数据为主,包括图片、音频、视频,以及一些日志类的数据。

这些因素,极大推动了存储的变革。

流动的数据才是有价值的数据

随着海量数据的持续增加,如果只是简单地把这些海量数据存起来,并不能发挥这些数据的价值,也就是说静止的数据并没有多少价值可言。必须让数据流动起来,让数据完整地或者相对完整地经历生命周期的不同阶段,在不同阶段为数字化业务产生不同的价值,才能充分挖掘整个数据的价值。

流动的数据才是有价值的数据!如何让数据更好地流动起来?

在数据流动的完整链条里,从最初的数据采集、处理、归档、再利用、销毁,都会涉及到存储与大数据技术、存储与 AI 计算技术的结合,这能让数据更高效地被捕获、被索引、被分析和被加工,从而实现数据层面的点石成金。

以某智能驾驶 科技 公司为例,其业务主要围绕高精度地图原始数据的采集,其数据形式主要是图片和视频,既需要对这些数据做标注,又要进行长期的地图数据留存。其中的一个典型应用场景是路基数据,采集量巨大,一辆车一天就有1TB的数据存储量,再经过加工及与数据分析平台、数据存储平台交互,与此同时,地图采集也需要遵守相关监管单位的涉密要求,对数据安全性的要求也极高。这些都对现有的数据存储技术带来了新的挑战。

未来,我们需要什么样的存储?

青云科技自研的存储QingStor U10000,专为支持 IoT、AI、生命科学等新兴应用开发、现代数据分析和未来数据而生。青云科技存储产品总监冯相东表示:“这是一款真正实现了数据无损互通的非结构化数据存储软件。”

未来存储:流动的并实现了各种数据形式无损互通的存储

QingStor U10000 是青云在近 10 年存储技术积累基础上的一次全面的产品升级,实现了软件栈全自主设计与自主研发。U10000 继承了原来青云对象存储、文件存储的所有能力,并且在多个维度上实现了产品力的增强和迭代。

U10000 主要面向海量非结构化数据的场景,主要包括各种影像数据、音视频数据、数据湖、大数据、物联网等,同时提供对象存储、文件存储、大数据接口,不同协议之间实现数据无损访问互通。此外,单存储桶支持 100+ 亿个对象,并保持性能稳定。

据了解,U10000 主要由接入层、存储服务层、运维平台三大模块构成:

接入层:提供 SMB、NFS、对象存储 S3、HDFS 大数据接口,并且兼容标准的 POSIX 语义,以文件、对象、大数据三种接口的形态承载多样业务的使用。

存储服务层:作为核心的存储引擎,提供丰富的高级功能特性、多维度资源管理功能以及核心机制,比如 EC 纠删码、多副本数据安全。

统一运维管理平台:提供用户友好的可视化管理平台,实现对存储集群的多维度配置、操作、预警和监控。

U10000四大优势 让存储数据更安全且数据应用更高效

据冯相东介绍:U10000 具有四大核心优势,可让企业存储数据更安全、数据应用更高效。

一、多协议无损互通,数据访问和流通更高效:U10000 在技术层面提供了统一的索引架构,并且基于统一的索引架构提供多种层次的能力,提供多协议存储接口。每一个协议存储或者写入的数据,都可以通过其他协议读取,让数据分析更高效。

二、支撑海量数据存储,提供卓越性能:U10000 的元数据和数据存储服务都采用全分布式的架构,可以横向扩展大规模数据存储集群,同时保证性能和容量的线性增长,提供卓越的 I/O 性能。通过灵活的 EC 配比(即 EC 纠删码),保证整个集群物理磁盘的可用空间率达到 90% 以上。

三、算力无缝对接,数据点石成金:U10000 具备丰富的数据处理能力,能够提供一系列完善的API、SDK,可以轻松地对接大数据平台、数据处理的框架和服务,实现数据和算力的高效结合,最终让数据实现点石成金。

四、多维安全,数据稳定:U10000 通过数据强一致性的处理、多副本策略,保证数据安全。通过多租户访问隔离、WORM、日志归档等多重访问安全机制和智能预警机制,提升用户使用安全性,同时提供可视化便捷的运维平台,方便人员管理。

正是基于对非结构化数据的流动性存储需求,上述智能驾驶科技公司选择了与青云合作,通过其提供的 U10000 存储集群及资源算力,满足自身高精度地图从采集、生产、训练整个生命周期的存储和算力的需求。

可以说,U10000 产品的研发及应用,为行业在解决非结构化数据的存储及流动性数据的应用方面,提供了很好的解决思路。

随意打赏

提交建议
微信扫一扫,分享给好友吧。