专业、自研的青云存储QingStor U10000：将海量非结构化数据“点石成金”

数据是自动驾驶实现的基础要素。通常而言，一辆路测车每天产生1PB(1PB=1024TB)左右数据。这1PB的数据，需要通过四个环节的处理后才能被自动驾驶所用：

先是通过S3和NFS协议实现数据的上传和导入，接着通过HDFS分布式存储系统完成预处理，随后通过NFS协议完成AI训练，最后通过NFS、SMB协议完成仿真测试。

这一典型案例也反映出数字时代下存储的发展趋势：以图片、音频、视频为代表的非结构化数据的骤增，使得全球数据量呈指数级增长；自动驾驶、元宇宙等场景的出现，对算力提出了更高要求，间接推动着存储形态、功能的演进。

“海量数据的持续增加，使得越来越多人意识到简单存起来的静止数据没有什么价值可言。让数据流动起来，在不同生命阶段为数字化业务服务，才能充分挖掘出数据的价值。”青云 科技 存储产品总监冯相东表示。

如何“点石成金”？

的确，尽管“数据是21世纪的石油”早已成为共识，但海量非结构化数据的存储，如果仅仅是囤积而不能“燃烧”为企业生产经营所用，那么于企业而言，只会增加存储和管理成本。

只有将其高效的存储、处理、分析，为业务经营、企业管理提供科学化决策，海量非结构化数据于企业而言，才能产生“点石成金”的效果。在青云科技产品技术解决方案总监张忠华看来，数据的“点石成金”是一次蜕变，自然并不容易实现：

如何对接多元算力？“清华大学天津电子信息研究院的算力平台有很多种，包括科学计算平台、标准云计算平台、高性能计算，还有AI算力、GPU算力。那么存储系统如何和多元化的算力对接？”张忠华举例道。

如何打通多种存储协议？除上述所描述的自动驾驶场景，苏州华兴源创所处的制造业同样面临这一困扰：包括ERP、MES、OA、CRM等在内的涉及生产、管理的业务系统上百套，数据来源各式各样，有需要离线处理的，有需要实时分析的，那么如何实现基于不同协议数据的统一汇总，实现数据驱动？

如何保证存储系统的性能以及安全？海量的非结构化数据要求存储系统的扩展性；新兴的自动驾驶、AI等场景要求存储系统的时延、I/O吞吐性能；中美贸易战以及信创等外部环境同时又要求存储系统自主可控。这均是数字时代下，企业需要思考的问题。

存得稳、算得快、管得好

“从专业技术角度来看，存储架构是没有银弹的。没有哪一种架构既能满足极致的性能要求，也能满足海量数据吞吐、计算、并发利用的需求。”面对海量非结构化数据的“汹涌而来”，冯相东认为面向数据库、云盘等传统结构化数据场景的存储架构并不适用，“青云希望通过专业的存储分工更好地服务专业的场景。”

因此，面向海量非结构化数据的应用场景，青云推出了统一存储平台QingStor U10000，其不仅继承了青云原来面向对象存储、文件存储的所有能力，同时在多个维度上实现了产品力的迭代和增强。

具体而言，QingStor U10000提供海量数据存储能力，并保证性能。QingStor U10000最小部署规模3节点，可横向扩展至数千节点；即便在数千节点的大规模集群下，QingStor U10000提供的EC配比仍能保证物理得盘率达90%以上；面向AI训练等海量小文件应用场景，QingStor U10000能做到单桶、单目录支持百亿级且性能无衰减。

QingStor U10000支持多协议无损互通。通过统一索引架构以及对POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多种协议的支持，QingStor U10000对数据的存储和读取，无需再经过格式转化；多协议互通使得一份数据可重复利用于不同场景无需多次复制，实现数据分析的高效且不再冗余。

QingStor U10000实现多元算力无缝对接。得益于青云多年在云服务领域的积累，QingStor U10000提供一系列完善的API、SDK，可以轻松地对接各类大数据平台、数据处理框架和服务，实现数据和不同算力的高效结合。

QingStor U10000从多个维度保证数据安全。通过元数据和存储数据分层、多重访问安全机制、智能预警机制以及运维监控平台，QingStor U10000实现了数据从副本到访问、预警，再到运维全流程的安全保障。

可以看到，QingStor U10000涉及海量非结构化数据的存储、计算分析以及管理运维等维度，这也是冯相东希望QingStor U10000能实现的目标：“帮助客户把数据存得稳、算得快、管得好。”

专业、自研，持续助力数字中国建设

继承了QingStor对象存储和QingStor文件存储的能力，并在算力对接、协议互通、性能以及安全等方面提升的QingStor U10000，无疑是一款专业面向海量非结构化数据场景的统一存储平台。

事实上，QingStor U10000的特性不止专业，同时还包括自研。谈及为何走上自研之路，冯相东表示一方面是青云对技术的追求。“最初青云评估整个云平台业务时，通过技术评测之后发现市面上没有一款开源存储方案能满足通用大规模云计算平台对存储需求，处于对技术的严谨，青云存储从一开始就选择了自研道路。”

另一方面是青云的企业责任感。“青云作为一家中国云计算公司，希望通过自身的努力，消除企业对数据安全的顾虑，以真正自研的中国存储服务于数字中国。”

近十年的自研之路，也使得青云存储在发展过程中规避了很多风险。如基于开源框架开发的 商业 存储系统，经过十几年的发展，架构复杂且冗余，这使得工程师在面对复杂存储问题时难以处理。

同时，开源框架若基于传统机械硬盘开发，其“古老”的特性已不适用于全闪介质，无法全面发挥新介质的性能。

此外，中美贸易战、乌苏战争等政治因素更使得厂商意识到，如果开源项目社区没有掌握在自己手中，也会存在一定风险。

而这些问题，在QingStor U10000以及青云整个存储业务中均不存在。面向信创，青云存储也与鲲鹏、飞腾、海光等目前主流的国产硬件平台，以及麒麟软件、统信、openEuler等国产操作系统，实现完整的生态化兼容。

继续聚焦青云整个存储业务。QingStor U10000的发布，使得青云存储布局更加简洁明朗：QingStor NeonSAN面向结构化数据，提供极致性能；QingStor U10000面向海量非结构化数据，释放数据潜力。

在“QingStor NeonSAN+ QingStor U10000”的双轮驱动下，青云存储也将更好地参与到新基建、“东数西算”、“十四五”数字 经济 发展规划等政策中去，持续助力数字中国建设。