拆数据中台,“可能有灾难性影响” | 虎嗅直播回顾
近期,以“数据中台的拆与建”为主题,虎嗅智库502圆桌研讨会在线上举办。
来自顺丰 科技 、周大生、StartDT(奇点云)等企业的大数据顶尖专家齐聚,共同探讨数据中台的落地实践与挑战。
甲方乙方观点碰撞,他们谈到:
数据中台是一个“服务”,本质上是为业务提供数据的应用和能力。它不是一次性项目,而会伴随着业务的发展而不断迭代。
多主体、多云、多引擎及数据安全合规成为当下数字化的关键挑战,企业需要“统一”的解法,开始探索数据技术栈升级。
数据中台作为数据的核心系统,拆可能带来“灾难性影响”。
下文整理自本场直播,经编辑及嘉宾授权。
· 嘉宾:林国强 顺丰科技大数据总监;宋旷 周大生CRM技术负责人;何夕 StartDT合伙人、资深战略咨询专家
· 主持:胡剑南虎嗅智库运营负责人
1.目标仍是降本增效
胡剑南:今年,大家观察到客户对数据中台的关注点是什么?
林国强:总的来说客户还是关注价值。譬如,对企业来说,能不能降本增效;对政府来说,能不能产业赋能。
宋旷:从我们(周大生)团队来说,比较关注数据中台的技术及业务上的落地。例如通过数据中台,如何承载企业整体业务,数据又如何应用到不同的业务线,它需要的技术支持及落地方案是怎样的。更具体一些,从多源数据、汇总数据层明细到数据资产(譬如资产目录),以及数据服务的授权等等,都是我们非常关注的要点。
胡剑南:因此咱们对于数据中台的关注,还是从业务出发,与业务密不可分的。那请何总谈谈服务商视角的观察,最近有哪些新发现?
何夕:奇点云提供数据中台产品(数据云)和服务是第7年。今年我们发现,甲方客户在数据意识和数据的治理及应用上都越来越成熟,团队越来越完备,数字化建设的程度越来越深。
以奇点云的咨询项目为例,往年比较多的是“新建数据中台”,去年开始出现“如何基于数据中台开展数据治理”,今年更多的需求就是“全域的数据资产管控”。
同时,客户对产品和服务的需求在升级,不仅看重产品功能,也更加要求产品本身的可靠性、可用性,不仅要满足单点的分析需求,还开始覆盖其他域,譬如从用户域延伸到了供应链、生产制造域,场景变深、变复杂了。
2.结缘中台:从看数据到“数据服务”
胡剑南:企业在建设数据中台之初,最早的出发点或最想解决的痛点是什么?
林国强:顺丰一开始建设数据中台,就是要解决数据驱动业务的问题。最基本的比如说,老板问我们一个财务指标,那这个财务指标你用财务的、地区的还是总部的?大家的指标口径是否一致?大家的数据来源是否一致?数据质量是否一致?这是过去真实发生在我们集团的问题。在顺丰,数据中台最开始就是为了解决指标不一致的问题,这是最本质的。
宋旷:数据中台对于周大生来说,它其实是一个“服务”,而不是一个具象的系统或一个产品。
我们持续通过自研团队和外部资源引入,来达成数据服务业务的整体目标,满足业务的发展需求。在这过程中,比较突出的痛点就是会有“重复造轮子”的现象。
周大生有近5000家的线下珠宝门店,它包括总部的业务线、加盟及直营等等,也包括一些子品牌、收购的品牌。线上渠道则包含电商、APP、小程序等等。我们可以发现,很多业务线、很多子品牌,很多互相独立的数据系统,必然会存在重复建设的情况。在这过程中,还有很多重复沟通的成本。
从整个集团来看,我们认为有一些低效和资源浪费是可以被避免的,所以整合是我们在迭代数据中台过程中比较重点的一个事。
何夕:近两年新建数据中台的客户,比较直接的有几类表现:一类客户发现数据量暴增,为什么不拿来分析?例如,制造业客户伴随着生产自动化,IoT的数据也在增长,过去人产生的数据量和机器按秒采集的数据量完全不是一个量级,这些数据经过分析,对设备管理非常有用,就需要数据中台(平台)来做分析。
另一类客户原来已经有了传统数仓+BI,但同样伴随数据量增长、场景日益复杂,传统的MPP数据库无以为继,就需要升级技术栈,来满足企业对数据基建更灵活、更开放、更可扩展的要求。还有些企业不仅要数据对业务产生价值,还开始考虑怎样降低自己的存算成本、提高处理效率。
产品选型的时候,客户不一定都指向“数据中台”这个名字,也可能采用数据仓库、数据平台等来招标。
3.中台建设“几多愁”
胡剑南:数据中台建设其实并非轻而易举的事。在落地过程中,企业往往会遇到哪些困难和挑战?又应该怎样去克服?
宋旷:有2个比较突出的挑战:
其一,珠宝行业的商品存在特殊之处,不同于工业标准化产品,珠宝工艺让商品参数千差万别,没有统一成本,价值还会上涨或下跌。因此,我们很难建立统一的数据标准,也比较难去制定一些数据策略,例如传统电商的订货、补货和销售的策略就行不通了,因此我们也在探索和建立匹配自身业务的数据标准和策略。
其二,就像前面谈到的,我们有多品牌、多门店、多渠道、多系统、多架构,对整体的数据管理带来一定难度。譬如,直营和加盟的角色,加盟中店长、店员、加盟商、省代的权限如何管理;又如,对于不同的业务线、不同的系统,我们如何打通数据,建立整体的技术架构,并做集团统一的管理,同时能快速响应各业务线多元的数据需求,为他们提供各种数据服务,例如会员标签等等。
胡剑南:从服务商的视角,何总怎么看周大生现阶段面临的挑战?
何夕:如宋总所说,周大生对于数字化的探索和实践已经很深了,因此遇到了非常典型的、我们称为“多”的挑战。以下这6个“多”,用数越深的客户应该会越有感触:多主体,多场景,多应用,多源异构,多云,多引擎。
其中,前3个“多”与业务关联更紧密,后3个“多”是对底层技术的要求。
举个例子,过去集团更多的是让子品牌、子公司自由增长,因为增量足够多。但现在发现增量有限,要开始运营存量时,就需要回看“集团性增长”。譬如用户成为了A品牌的消费者,接下来有没有机会到B品牌做一些交叉购买,这个多主体的问题就交给集团的数据云平台来解决了,借助全域全渠道的OneID实现用户生命周期的精细化运营。OneID这个概念从2019年就开始得到大家认知,而真正落地到项目中,企业不得不实现OneID来实现精细化运营,是在去年下半年到今年。
底层技术的“多”困境,宋总也有提到。譬如多引擎,过去企业可能只需要用离线引擎,现在需要离线、实时同时调用;以前离线、实时分开用,但今天需要把离线的处理结果变成实时的输入,还会有图引擎、向量引擎。不仅是引擎调度的问题,在混合调度的同时你需要同时保证作业按时完成、资源成本最优。
多主体,多场景,多应用,多源异构,多云,多引擎,对于这6个“多”,它对数据云平台(数据中台的平台层)有了很多统一的要求,例如底下能统一地对接各个引擎、统一地管理各个云资源,能帮助上层应用处理好多源异构数据;上层,有一套统一的指标体系、标签体系,方便复用和资产管理。当然在这些统一中,还会有数据安全(例如权限管理、合规)的要求,时间关系不再赘述了。
林国强:顺丰在大数据建设上同样也经历了“统一”的过程。首先,混合云(多云)在未来是趋势,无论是业务、行业还是地域的分布,都很难在一朵云上去完成。那支持混合云,就是对底层架构的一个必然要求;第二点,过去离线、实时、AI(的任务)都是分开的,现在要做批流一体,还要数智合一;另外,顺丰是一家国际公司,在全球各地的数据需要在确保符合当地法律法规的前提下,做好统一的管理和合规的分析,这是我们对数据中台的要求,也是建设中会持续应对的挑战。
4.数据也需要“SLA”
胡剑南:刚才大家其实已经提到对数据中台的进阶需求,包括满足多云、多引擎,目前是否还有看到其他新的要求?
林国强:未来我们会比较关注数据的SLA(Service Level Agreement,服务级别协议)。大家知道产品有SLA,比如节点挂了、工具挂了,你要多长时间响应,需要多长时间解决。但未来不止如此,我们和业界的厂商需要去解决“数据的SLA”。
举个例子,每天早上8点,公司高管要看数据、看报表,那你不能说我数据没准备好,或因为节点挂了、工具挂了、机房停电了等等各种原因,数据出不来了。数据团队和数据中台(平台)需要有机制,来保证整个数据链路是顺畅的。
何夕:作为服务商,我们和林总也有同样的感触,因为数据系统已经深入到核心业务。在今年,奇点云从产品到服务都做了比较大的升级,我们称之为“企业级”。它可以拆分为可靠性、可用性、可服务性三组指标来评估,同时产品本身具备可观测性,对作业和平台有监控、管理、预警的机制,服务上也能提供7*24小时的响应。
除此之外,还有2个需求是我们认为服务商应该去做的,才能支持客户持续构建好他们的数据能力,以避免类似于“今天建了一张报表,结果第二天就不用了,之后也不新增、不修改”等各种情况:
其一,提升产品的简单易用性,封装底层例如多云、多引擎、多源异构数据的复杂性,以统一的方式向上提供服务,让作业和应用在开发过程中,不需要考虑底层这些技术难题如何解决;
其二,提供咨询、代运营、陪跑、培训等服务,帮助客户在数字化的各个环节克服“想不清楚”、“不知道怎么规划”、“招不到人”的问题,帮助客户培养他们自己的团队。其实客户不仅需要我们解决产品本身怎么搭建的问题,还有很多工作要从组织、业务入手,才能来确保数据链路的持续跑通、持续运营。
5.“拆中台可能有灾难性影响”
胡剑南:回到我们这次直播最初的主题——数据中台的拆与建,几位嘉宾怎么看阿里拆中台?企业又是否会选择拆或建中台?
何夕:几乎每年都在聊“阿里中台拆还是建”,我们从产品(大数据平台)层面来看,阿里其实并没有拆数据中台,因为它已经是核心系统,支撑了整体的数据能力,快速地满足数据采集、清洗、转换和对接上层应用的需求,包括OneID以及提供个性化推荐、自动化生成banner等等。这是拆不了的。
而从组织和数据服务上来说,当数据中台建设到一定阶段,各部门、业务线会有越来越多的个性化需求,就不能再用一个大一统的团队来对接,因为你对个性化需求的响应速度会越来越慢,思维可能越来越固化。所以组织上可以考虑结合“拆”,通过解耦底层和应用的分工,来满足各条线自己具体的数据业务需求。而这种拆也基于底层产品对上层应用有足够强大的支撑力和标准服务。
林国强:顺丰好不容易把数据中台(数据基础设施)建起来,花了大约三四年的时间,如果拆,可能带来灾难性的影响。
为什么这么说?比如今天集团高层要看“净利”,集团有这么多个BU,每个BU有个数据烟囱,你需要每个BU各自算。算完以后,总部要做汇总,而且各BU有自己的计算逻辑,他们的计算口径和总部的是否一致,五花八门的指标和口径一定没法高效地拿到准确的结果。
从驱动业务的维度来说,例如今天某个中转场,要配多少车辆、配送员,运量是多少,要配多少资源。如果拆了中台,就无法根据全局的数据去预估,准确性就极为受限,也就可能导致超量投入、资源浪费,回到几年前的状态了。
再谈谈“拆”到底是可以“拆”什么。顺丰采用“大中台+小前台”的方式,和阿里演进方向类似的是,我们在数据(基建)的部分保持整体的统一性、集中性,对于数据业务的服务,可以选择“拆”,来满足业务的高速迭代需要。
如果有新兴的业务,它所处的行业和竞争要求它快速响应,就没法要求它逐一满足数据中台的各种数据标准,逐一完成各种审批和管理要求,再去开展自己的创新型数据业务。而当新业务发展到一定程度,整个数据策略、体量都趋于稳定,这时候我们会要求它进入到集团的整个体系里来,做集团统一的数据资产管理。
宋旷:周大生一直在建设数据中台(数据基建的体系),没有考虑过拆。
数据中台谈“拆”或“建”,其实是它不断演进的过程。因为数据中台不是一次性项目,而会随着企业的发展而迭代。
比如我们做了一组报表,但不是做完这个报表需求就大功告成了,因为随着业务的发展,可能对应的又有另一个需求。同时,数据资产治理和数据质量管理都需要持续地跟进和校正。此外,按照业务职能,数据系统中可能需要拆出子服务,又或者新建一些子模块,来满足新变化和新需求。