华芯超算技术负责人分享分布式存储技术核心
分布式存储技术龙头企业华芯超算技术负责人刘一在接受记者专访时针对分布式存储技术的核心问题进行了分享。
在谈到分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。
数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。
分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。
从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:
LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。
随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。 华芯超算一直聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。
刘总在谈到华芯超算在分布式存储技术上的战略布局时介绍到,自2018年成立以来,华芯超算以分布式存储及计算技术为先锋,不断探索IPFS技术架构深层应用,围绕软件定义、智能化、安全可靠构建了完全自主可控的分布式存储及计算的解决方案,可为用户提供创新和高效的存储、计算及数据资产管理方案。华芯超算以设计、研发、推广和销售分布式产品为主营业务,自主设计研发华芯E20、 CHIA华芯X10、 CHIA华芯X20等产品,并推出配套的托管服务方案。
华芯超算聚焦细分市场,围绕分布式计算及分布式存储架构产品的设计研发生产+全程托管服务为一体的核心策略,不断深化“自主可控、高效计算、智能存储、EB级存储”的产品发展规划。积极响应用户需求,为用户提供数据计算、运营、数据采集分析、业务运行优化等增值服务。