瓴羊Dataphin调度性能突破「千万级」，数据处理更快更稳

企业数字化运营需求催生了海量的数据任务，以阿里巴巴为例，这十年间随着集团业务复杂度和数据体量的不断攀升，任务量呈现出阶梯式增长，每日任务调度量突破了2000万。由此可见，在大数据时代，一款能够保障千万级实例平稳高效调度的数据建设工具，必将成为数字化企业不可或缺的中坚力量。

一、支持超大规模系统吞吐量和超复杂依赖关系

瓴羊Dataphin于近期发布V3.11版本，不仅上线了数据分析平台、隐私计算平台两大能力模块，同时重新设计了任务执行框架，使用k8s替换原有的Mesos作为资源调度底座，拥有全局资源视角，可充分利用机器资源，极大提高集群任务执行吞吐率，加快客户数据产出。另外，任务调度资源池和在线服务共享k8s基础设施，去除对Mesos和Zookeeper的依赖，降低Dataphin的部署、运维成本。

升级后的Dataphin V3.11版本，可以在24小时内完成3800万的实例调度，较之前的V3.9版本，取得了显著的优化成果，整体提升25.4倍，可支持超复杂依赖关系，比如在宽度100万，深度20，以及宽度20，深度一百万的2类调度测试场景中，全链路调度耗时有明显减少，即席查询性能提升也十分明显。

二、引入混沌工程，运行千万级任务不重复不漏跑

分布式架构下各组件之间相互调用和相互依赖，系统在失真环境下异常事件发生的概率大幅攀升，通过常规的测试手段很难发现这些问题，处理不好就会导致业务受损。

通过引入混沌工程，围绕Dataphin分布式调度系统生产环境的任务运行稳态，使用技术手段模拟多样化的真实异常注入(宕机重启、DB异常、高负载、网络延迟、时钟不同步等)，找出系统薄弱点，针对性的对系统进行加固防范，验证调度系统在各种异常场景，外围依赖服务不可用情况下，Dataphin核心功能如周期任务转实例、任务起调、任务下发、任务执行、消息消费仍然可以保持稳定的运行状态。

如果有一家日调度3万的企业，为了新增业务想要追补近3年数据，之前需要额外的22.8个工作日，而拥有了Dataphin V3.11版本，哪怕数据任务超过限额，只需对调度系统进行扩容，即可承载千万级别的调度任务规模，帮助企业在24小时内完成近3年数据追补。

三、Dataphin，阿里巴巴最佳实践输出

未来3-5年内，在数字化道路上快速挺进的企业，都将面临任务量飞速增长的局面，届时将对企业的数据处理能力提出更高的要求。

Dataphin（智能数据建设与治理）是瓴羊开发云核心产品之一，源自阿里巴巴内部大数据建设最佳实践的 商业 化输出。从2017到2023，历经6年时间服务了千行百业的客户。

我们深知，企业需要一套完善的数据技术与工具，实现数据采集、存储、计算、建设和管理，利用数据思维对当下的业务运营与管理场景问题精细洞察，学会利用数据资产改善能效，以此循环往复，推动数据资产的持续沉淀，助力企业打造标准统一、准确可信、便捷可消费的数据体系。

面对不确定的未来，Dataphin团队确信只有通过不断夯实数据建设基础能力，才能在应对错综复杂的数字化业务时更加游刃有余。我们期望与企业们一起乘风破浪，仰望星空、脚踏实地，持续在数字化转型的实践道路上并肩前行。