星环科技TDS 为数据全生命周期管理提供一站式数据开发与治理平台

2021 年 3 月 24 日，主题为《数据的世界，世界的数据》的星环 科技 2021 春季新品发布会在星环上海总部举行。会上，星环科技一站式数据开发与治理平台 Transwarp Data Studio（以下简称 TDS )正式发布 2.2 版本，旨在通过数据的全生命周期管理能力，加速企业数字化建设进程。

星环科技在多年助力企业数字化转型的实践中发现，企业数字化建设发展过程中有两个重要的方向，一个是底层数据类型、数据接入与计算方式要逐步多样化，另一个则是数据应用能够逐渐繁荣，从而实现数据和应用之间的正向反馈和相互促进迭代。这个过程中，根据对星环科技的行业客户的大量观察，虽然各个企业有不同的数字化发展的策略，但是总体上有遵循着阶段化循序演进的规律，可以概括为数据统一化、数据资产化、数据业务化和数据生态化四个阶段，而发展到每个阶段企业都需要不同的数据管理能力来完成阶段性建设目标。

在数据统一化阶段，企业需要通过数据加载、同步、实时的数据接入、SQL 开发以及任务调度管理等能力来构建数据仓库或者数据湖；在数据资产化阶段，企业需要构建血缘、标准、质量管理，以及数据资产目录、模型管理等数据治理平台，并能提供数据地图的能力；在数据业务化阶段，企业需要提供一套数据智能与分析的解决方案；在数据生态化阶段，企业需要构建数据交易共享平台，其中包括数据共享交换、对数据安全的保护、隐私计算还有联邦学习等能力。如果能结合以上四个阶段，构建企业大数据能力并建设所有系统，企业就完成了数据价值演进的全过程。

随着企业的数据类型和数据应用的增加，大量的数据会积累起来，因此数据资产化的工作就非常有挑战性。未来更好的将数据升级为资产，企业一般需要开展数据开发和数据治理工作，这是一个组织管理加技术落地的工作，需要在一体化的数据治理方法论的指导下来落实每个有效的数据的质量提升、标准落地和业务级价值梳理。为了更好的帮助我们的企业用户能够更好的落地数据治理工作，新发布的 TDS 2.2 能够实质性的帮助用户提升效率。TDS是一个集开发与治理为一体的一站式工具平台，不仅在产品上实现了较为完整的覆盖，更是将星环数据治理咨询团队的行业经验和方法论沉淀在工具中，此外还结合机器学习技术来辅助专业人员可以更快的将各种治理工作自动化，因此TDS可以大幅度提升企业数据开发和治理的效率，加速企业数字化转型进程。

TDS 提供了完整的数据开发、数据治理、数据资产管理、数据标签与服务、数据共享与交易等一系列数据全生命周期的处理工具，与 TDS 1.x 相比，新版本新增了两个子产品，一个是数据质量管理工具 Governor，用于管理数据从获取到消亡每个阶段里可能引发的数据质量问题；另一个是数据商城 Transwarp Foresight，它整合了 TDS 的数据服务开发工具 Midgard 和标签开发工具 StarViewer，为业务人员提供数据资产的检索、下载、共享的能力，结合着数据血缘帮助数据使用者、开发者和管理者做整体协同，构建其数据运营能力。

除以上提到的四个工具之外，TDS 的子产品还包括：面向数据库 SQL 程序开发者的桌面集成开发环境 Waterdrop、网页版的团队协作的 SQL 开发环境 SQLBook、可视化的 ETL 开发工具Transporter、数据计算任务的调度平台 Workflow、数据可视化工具 Pilot 、数据 API 的开发与管理工具 Midgard以及数据资产管理工具软件 Catalog。

值得关注的是，TDS 不仅能够支持基于星环平台的大数据开发与治理，同时也可以管理各种关系数据库和主流大数据平台，用于企业级的数据治理和数据资产平台的建设。

今天，星环科技一站式数据开发与治理平台 TDS，迎来了全新的 2.2 版本。经过多个版本的不断迭代，TDS 以功能更全面、性能更出色的姿态与大家见面，在 TDS 的助力之下，企业数据平台的建设效率将会大幅度提升，业务用户与数据资产的打通也将更加彻底，最终实现数据与业务的结合。新版本的 TDS 具备以下四个核心能力：

核心能力一：数据联邦

TDS 通过数据联邦技术实现了数据的统一管理和服务，实现了三个统一：

第一、统一的数据门户，数据商城Transwarp Foresight  整合各平台数据产品做对外的数据共享与交换；

第二、统一的数据 API 服务能力，数据服务开发工具Midgard 产品能够通过直连数据库的方式，将数据库的表或字段数据直接发布为服务API，并提供高并发的查询能力；

第三、统一的技术元数据，数据资产目录Catalog 通过数据库直连获取技术元数据，通过补充异构数据库数据血缘，展现完整的数据地图和血缘分析。

与此同时，基于 Inceptor 的联邦计算能力，TDS 可实现统一的 SQL 计算和统一的数据治理。Inceptor SQL 引擎能够实现跨异构数据平台的 SQL 计算，支持多种关系型数据库、异构大数据平台以及 MPP 数据库 。TDS  SQL 开发工具 SQL Book 可以充分利用 Inceptor 的联邦计算能力，承担企业统一数据开发入口的角色：开发者提交的 SQL 任务能够通过Inceptor 的联邦计算能力来统一处理，无需维护多个异构数据平台的开发环境和开发入口。

核心能力二：智能化数据治理能力

随着当今 ToB 市场数据治理需求的高速增长，数据治理解决方案作为人力密集型项目的痛点也逐渐被放大。通过智能化手段来缓解甚至解决该痛点的趋势也随之到来。星环 TDS 能够提供结合专家规则与机器学习的智能化数据治理能力。TDS 首先自动识别数据资产，然后对识别到的数据资产进行自动分类，最后自动监控数据资产动态，实现了对数据资产的智能编目；同时专业咨询团队构建的行业知识库，通过智能算法自动提炼知识，形成行业智能模型，能够向用户智能的推荐数据质量规则、数据标准贯标，有效解决人力瓶颈；最后还支持智能发现敏感数据，保护数据资产的合规性。

核心能力三：优秀的团队协作能力

企业的大数据开发普遍缺少软件工程的整体管控流程，随着业务复杂性提高、开发团队越来越多、代码与模型版本混乱，导致后期维护成本越来越高，而星环 TDS 能够帮助企业构建大数据智能化开发平台，提供全程图形化操作、知识规则库、开发协同、安全管控以及版本管理能力，实现大数据全流程开发、测试、上下线的线上化，并完成全平台的数据订阅与跨平台数据推送等数据中台服务，构建数据应用的完整 DevOps 体系。

核心能力四：分布式架构的设计，最大可支持 PB 级别的数据平台建设工作

TDS 的调度工具 Workflow 利用分布式调度引擎，最大可支持百万级别任务调度的生产需求；TDS 的数据集成工具 Transporter 用 ELT 代替传统的 ETL，充分利用了星环底层大数据平台的计算能力，能够避免传统 ETL 工具本身的计算瓶颈；数据服务开发工具 Midgard 通过 Hyperbase 提供的高并发 API，以及云操作系统 TCOS Ingress 提供的高性能 API 网关，都可以达到单节点 2 万 QPS 的优秀性能表现；数据资产目录 Catalog 基于分布式图数据库，支持百亿级数据操作的存储与分析。同时精确到字段级别的血缘分析能力，能够实时感知和追踪平台内的数据变化。

目前，星环科技一站式数据开发与治理平台 Transwarp Data studio （TDS），通过数据的全生命周期管理、数据联邦、智能化数据治理等能力，已经为多个大型企业客户数字化转型提供落地方案，降低了企业大数据开发的技术门槛，并提升了企业数据开发效率。未来，星环将继续通过大数据核心技术为企业赋能，助力企业加速数字化转型。