DataPipeline亮相“2021科技助力湾区数字金融发展峰会”，解锁“实时数据管理”密码

3月10日,由广东省粤港澳合作促进会 金融 专业委员会主办、DataPipeline协办的“2021年 科技 助力湾区数字金融发展峰会”在广州举行,来自银行、证券、保险、金融科技等领域的行业专家齐聚。大会紧抓“数字化转型和信创”契机,旨在通过交流,探索创新模式,推进大湾区金融与数字技术深度融合发展。

△DataPipeline合伙人&CPO陈雷主题演讲

主论坛中,DataPipeline合伙人&CPO陈雷应邀以《企业实时数据管理问题与实践》为题发表主旨演讲,全面展示了DataPipeline实时数据管理在金融领域的布局以及深刻观点,获得广泛关注。

数据时效性变化催生新业态,实时数据平台建设是破局关键

随着大数据、物联网、人工智能、 区块链 等技术的出现和深入应用,传统技术被颠覆、新产品涌现,新一代技术的爆发式增长已改变各个行业的 商业 模式并重构产业生态。

这是一个数据多元、海量、高速产生的时代。在金融数据管理领域,数据时效性要求越来越高,在业务方面具体体现在“提升集中度高且多样性的风险管理能力”、“注意力 经济 形势下提高 互联网 业务竞争力”、“从经营模式到提升业务运营管理能力的转变”等,以上究其核心都是对数据更快、更准、更全的需求。传统数据集市、数据仓库、大数据平台等产品T+1的数据处理分析及应用,已无法满足面向未来的业务发展诉求,实时数据管理体系建设任重道远。其中,实时数据平台建设成为破局第一步也是关键。

△DataPipeline:实时数据管理体系建设路线图

陈雷谈到:“金融企业在信息系统规划中,实时的数据管理体系路线规划必要性不言而喻,一般分为前期、中期和远期三大阶段。但是,今天大部分金融机构还基本处在较前期的阶段,或刚刚构建起实时数据管理平台,还未真正融合企业级的实时数据处理。更不用谈真正把实时数据用到生产经营过程中去,比如通过实时数据优化前后台精细分工、打通信息系统主线与数字孪生。返回到路线图第一个阶段,我们怎么把第一步迈好即‘建好一个实时数据管理平台,速赢项目、支持实时经营决策’是当下我们大部分金融用户的首要课题。”

DataPipeline三大核心要素,为实时数据管理落地注入强劲动力

当下,各金融机都在积极拥抱实时数据管理平台建设工作,但从整体看仍不尽人意,这集中体现在自研难、效率低、成本高。抛除因引入管理机制带来的流程变革等问题,单实际建设中以下技术难题就尤为凸显:各类数据管理技术差异越来越大,全面、准确的实时数据获取困难;难以快速响应实时数据需求,把握机会快速建立竞争优势;实时数据链路受数据源影响巨大,稳定性与容错性问题重重。

同时,国外相关产品技术体系较封闭,国内产品在技术先进性和架构前瞻性上又普遍不足。在此背景下,DataPipeline企业级实时数据融合平台,如何打通企业内外部各类系统,为客户服务、风险管控等各个业务运营平台提供实时数据,在众产品中脱颖而出?

△DataPipeline企业级实时数据融合平台架构

在陈雷看来,可以概括为以下产品三大关键要素,为实时数据管理落地注入强劲动力。

●  基于日志的实时增量数据获取技术保证实时数据全面、准确

DataPipeline实时数据融合平台支持数十种主流数据库作为数据节点,打破企业域内各类异构数据技术构成的樊篱,让存储在不同类型数据节点中的数据随需可得;采用基于日志的增量数据获取技术(Log-basedchange datacapture),为主数据管理、数据仓库、大数据平台提供实时、准确的数据变化,从而使得用户可以根据最新数据进行运营管理与决策制定。

●  配置式链路定义,无代码任务构建提升实时数据敏捷性

使用分层管理、按需服务的配置型平台来提升 IT 敏捷开发效率。一方面保证数据节点的安全性、稳定性、业务连续性,一方面为数据应用提供更多的自主性,使用户可以将数据获取的范围、数据任务的生命周期、系统资源投入的多寡等权限更多的交给实际使用数据的业务部门及应用开发人员,从而在业务需求变化时从容应对,加速达成数字化转型目标。

●  分布式引擎、组件级高可用保障实时链路稳定高容错

融合引擎采用分布式架构,容器化部署。可以保证系统业务连续性要求。在分布式集群的基础上,采用系统资源组的形式隔离不同任务的运行环境,保障重要任务的稳定有序运行。

通过多年在各个行业的数据融合领域经验积累,DataPipeline将各类专业数据融合技术以专业化产品的方式提供给用户,大大降低了企业搭建基础平台的研发成本与运维成本,做到“易建,好用,性优”,让用户能够将时间精力与优质资源投入到数据价值释放与商业价值实现中去。

立足行业拥抱生态,在实践中诠释价值

近年来,DataPipeline 数据融合产品不断深耕技术与应用场景。凭借优质的产品质量及服务能力,DataPipeline已覆盖金融、零售、能源、制造、地产、交通、医疗、互联网等重点领域,服务了中国人寿、民生银行、山东城商行联盟、财通证券、中国石油、吉利集团、星巴克、顺丰等在各自行业信息化水平领先的客户,产品被应用在客户服务、生产调度、运营管理、业务分析等重要场景中。DataPipeline 企业级数据融合平台在系统稳定性、可管理性、扩展性、灵活性方面经过了反复验证,在系统性能指标、架构设计的专业性与技术先进性上均得到了客户的认可。为了给客户提供更加优质全面的服务,DataPipeline已与数十家产业上下游合作伙伴建立了战略合作关系。

广东省粤港澳合作促进会金融专业委员会常务副主任周永群致辞中指出,金融作为国家重要核心竞争力以及国家安全的重要组成部分,在信息技术应用创新体系中的地位举足轻重。DataPipeline产品完全自主研发,公司将以「成为中国的世界级数据中间件厂商」为愿景,践行2021政府工作报告中的“提升科技创新能力,十年磨一剑”精神,以先进的技术体系、完善的生态系统为支撑,为数字金融等领域的用户在实时数据管理方面创造更大价值。