国盛证券实时数据融合平台上线，DataOps理念激发数据创新活力

随着数字 金融 应用落地加速,其业务形态、用户体验、数据安全等方面需求更加复杂多元,金融业对前后台业务效率要求提升,加速构建创新型数据基础设施建设成为金融机构支撑核心系统、提升金融产品与服务创新的重要战略。国盛证券将践行该战略作为其数字化转型中的重要抓手,也成为行业典范。

国盛证券有限责任公司(以下简称:国盛证券)是一家业务牌照齐全的综合性券商,其197余家分支机构遍及29个省(市)、自治区。其经营范围涵盖证券经纪、证券自营、证券承销与保荐等,为客户提供资本市场全产业链产品及便捷的一站式综合金融服务。

近日,DataPipeline协助国盛证券构建的实时数据融合平台上线。该平台秉持DataOps理念,可实现实时数据的采集、融合与同步,夯实了数据管理中的“最初一公里”。 平台在异构数据实时同步的准确性、系统的稳定性、易用性等方面效果突出,为证券行业数据创新管理提供了新的借鉴。

数据融合平台升级,DataOps理念激发新活力

国盛证券充分认识到,高效的管理体系、统一的数据标准、良好的数据质量是数据价值实现的基础,也是业内较早一批构建数据中台的券商。 其数据管理体系力求打破“烟囱式”、“项目制”系统之间的集成和协作壁垒,沉淀共享服务,降低前台业务的试错成本,赋予业务快速创新能力,最终提升企业的组织效能。随着 互联网金融 大背景影响加强、数字化新生态的不断深入,精准 营销 、智能客服、智能投研等业务对实时数据融合的种类及时效性等方面提出更高要求。因此,国盛证券希望在原有的数据采集平台基础上,将其多元异构、高性能、高稳定性、企业级管理能力方面进行升级,建立以客户为中心的数据智能从而创造更大的价值。

国盛证券希望通过对数据链路持续构建,像交付应用一样快速、灵活地交付数据,最终达到降低TCO,提高ROI,实现数字化和智能化转型的长期战略目标。这与DataOps的理念不谋而合。因此,国盛证券将此次升级后的平台定位为:具备核心自动化数据链路能力的数据融合平台,基于DataOps理念的创新型数据基础设施。 升级后的平台将具备“数据全、传输快、强协同、更敏捷、极稳定、易维护”的特性。

实时数据融合平台架构

DataPipeline助力国盛证券打造的实时数据融合平台打通了客户交易、客户基本信息、用户行为数据、外部数据等若干系统,适配了其包括Oracle、MySQL、MS SQL Server、HBase、Hive、Kafka在内的多种数据库管理技术。该平台可以助力用户管理异构数据节点实时同步与批量数据处理任务的定义。平台组件全面实现了高可用,用户可以根据对可用性的要求,灵活进行组件节点的部署,避免单点故障。

同时,实时数据融合平台的可管理性较之前有明显提升。根据客户分层管理的需求,平台将系统内资源抽象为节点、链路、任务、资源,每一层都可以进行独立的管理和授权,在组织内部形成很强的协同性。用户可以在链路上定义字段类型映射、限速、告警等策略,并应用到任务层面,从而实现层级化的精细管理。与此同时,平台配备容器、应用、线程、业务四级监控体系,平台内部的所有重要事件、告警信息都能够推送到用户定义的邮箱、文件路径或Webhook中,从而与企业既有的运维监控体系无缝集成。

携手迈进,金融机构实时数据管理实践典范

创新型数据基础设施对重构业务流程与行业生态、推动创新证券行业服务模式发挥的积极作用毋庸置疑。

随着本次实时数据融合平台的上线,数百个数据任务为快速响应客户服务、优化产品带来实时敏捷的数据支撑,从而对模式创新、组织能力变革及 商业 价值提升带来推动力。

国盛证券表示:

“金融与 科技 的结合发展正从低频率、浅层次的简单叠加向着高频率、全方位的方向融合发展。DataPipeline实时数据融合平台基于DataOps理念,具备灵活、开放的技术架构,可有效应对‘需求紧急繁杂、数据来源异构、服务方式多样’等的数据管理难点,提升快速准确响应数据需求能力,成为数据敏捷服务的关键一环。同时,平台中同步任务的管理和完善的运维机制,可大大提升数据管理效率、高效释放数据价值。这为助力业务端提升客户体验满意度带来非常大的帮助。”

当前,以数据融合平台为代表的的创新型数据基础设施已成为金融行业的必然选择。国盛证券与DataPipeline的合作已见成效,希望为更多金融机构数据创新业务提供实践经验。