智汇华云 | 安超分布式文件系统在动画制作中的应用

IT基础设施对于现代动画影视制作的重要性不言而喻，特别是模型制作、渲染、合成及后期制作等关键业务，这些业务都涉及大量的数据操作，数据存储效率将直接影响整个制作流程的效率，因此在动画制作公司IT基础设施规划都会围绕存储系统来构建。

本期智汇华云，特别邀请到华云数据产品 营销 经理张开亮为大家带来“安超分布式文件系统在动画制作中的应用”。

应用场景简介

当前常见的动画制作存储方案中，基本都按照业务来配置存储系统，不同业务的存储需求存储较大差异，当前方案中经常使用的传统存储，其功能和性能特征都有一定的局限性，无法在方案使用单一存储系统即同时满足所有业务的存储需求。另一方面，针对业务选择存储系统也有利于面向业务进行特别优化。如果不同的业务之间需要数据共享，则通过数据拷贝和迁移实现。因此，当前动画公司的IT基础设施中，多套存储设备并存，各司其职的现象比较常见，这种方案也一定程度上满足了当时动画制作的需求。但是，随着动画制作技术的不断发展，动画产业的工业化程度越来越高，这种主流存储方案逐渐暴露出了问题。

问题与挑战

大规模并发访问的性能要求

集群渲染时大量渲染节点并发地从存储系统读取海量细小的材质文件，并写入渲染结果，对存储系统造成持续性的大访问压力，渲染规模较大时，存储系统极易成为整个渲染集群的性能瓶颈，导致渲染时间大幅增加。

服务延续性与稳定性要求

集群渲染对存储系统的访问特征表现高并发、大压力、长时间持续的特性，一次渲染作业通常以大压力的方式连续运行数天、甚至数月。存储服务不稳定或者中断，会造成整个渲染作业的中断，严重影响渲染进度。

系统扩展能力

当存储系统成为系统瓶颈时，增加渲染节点也无法提升整体渲染能力，因此，存储系统应该具有与渲染节点同步扩展的能力，才能提升渲染集群整体性能。

应用架构

面向动画制作的存储需求，基于安超分布式文件系统的应用：

高性能表现

采用高可扩展的体系架构，系统内有多个数据存储节点，大量客户端的并发访问请求会被均衡的分散到多个存储节点上，系统的聚合性能可随节点数目增长。同时，对元数据操作进行了专门优化，可应对海量材质小文件的并发访问。提供客户端多级缓存机制，使用渲染节点的本地磁盘缓存材质文件，减少服务器端访问压力，大幅提升系统聚合性能。

服务延续性保证

数据副本跨存储节点分布，任意单个节点失效不会导致数据不可访问；故障发生时，即自动启动数据恢复操作，无需人工干预，减少了停机风险。同时，升级、扩容和维护均可在线进行，进一步保证数据服务的延续性。

高可扩展能力

系统聚合性能可随节点数目线性增长，当存储系统成为渲染集群的性能瓶颈时，只需增加一定数量存储节点，即可实现在线系统扩展，动态满足渲染作业的存储需求。

产品亮点

客户端磁盘缓存

客户端多级缓存机制，可使用渲染节点本地磁盘缓存大量材质文件

降低数据访问延迟，提升单机渲染速度

有效减少存储服务端访问压力，提升系统聚合性能

面向海量小材质文件优化

元数据服务器采用全内存实现方式，目录例举和文件检索均不涉及磁盘操作

支持多元数据服务器机制，可动态提升元数据聚合处理能力

动态扩展能力

可根据渲染集群规模动态在线增加存储节点，满足系统存储性能要求

系统扩展在线进行，无需中断渲染作业