从零建立赋能业务的数据中心「逻辑框架」
转岗到业务公司新的数据团队,需要从零开始建立数据中心,时常让人无从下手。本文作者结合自身转岗经历,根据实践中的逻辑思路在文中详实举例,帮助数据分析师新人进一步学习数据库的应用,推荐迷茫中的数据分析师阅读学习~
数据中心整体的思路是基于现有的业务系统,接入数据后,将模型部署在前端,用于支持业务分析场景。
1. 项目目标
此次项目希望能与你分享 一个可以赋能业务的数据中心是如何从零开始构思设计 的,不过这并不是技术开发中数据仓库,而是 定位在用于数据分析工作的数据库 。
借此机会,也供刚接触SQL的朋友,有一个更贴近业务现实的实战案例。
2. 业务场景
为简化业务逻辑,此次案例是基于电商企业,涉及的业务部门有用户运营部门、及产品部门。
我经常说数据分析师的价值在于解决业务问题,那么此次的数据中心项目是在解决什么样的解决问题,以及是如何解决的?我们来按「以终为始」的思考逻辑来梳理一番。
一、从业务层面思考,需要解决哪些业务问题
数据分析师的价值在于赋能业务,所以「数据中心」建设的起点要从终点出发:业务需求。
1. 用户运营部门
随着电商市场的饱和,现在电商进入存量运营时期,要求品牌对存量用户进行精细化管理,并实现业务增长。因此用户运营部门的需求是用户价值的分层模型,可以帮助业务把精力集中在最高收益的人群。与用户运营部门沟通,明确 建立 RFM模型 对人群进行分层,并形成不同人群的营销策略。
2. 产品部门
产品部门的职能大体能分为两个方面:一个是需要前瞻市场的产品开发,另一个是“确保子弹供及”的库存管理。与产品部门沟通后,明确需求是要做 「新品分析」,根据新品的表现情况,调整生产及库存计划 。简单点说就是表现好的新品,就多生产/进货,反之则清仓处理。
二、从数据层面思考,需要解决哪样的数据问题
到这一步,已经明确了业务需求,接下来要建立能支撑业务发展的数据中心。
按数据处理流程,可以把数据中心分为:落地层、建模层、及数据层
1. 落地层
离业务最近,是业务看得见摸得着的数据应用,比如在线BI系统,业务可以直接登录看到需要的 报表 ;还可以是数据分析报告,业务从报告中获得直接的 洞察分析及建议 ;还可以是专项的数据分析项目,把通过分析形成的 策略方案 在业务场景下执行,直接实现增长。也就是说,在这一层,需要考虑 数据分析价值落地的具体形式。
2. 建模层
建模层和数据层都是业务部门不可感知的。 建模层是支撑价值落地的数据模型 ,比如在线BI系统中的报表,背后复杂的表间关系,需要 业务逻辑和表格模型支撑 ;数据分析报告背后的洞察分析,需要如 帕累托分析、关联算法等数据模型支撑。
3. 数据层
到这一层,就需要 关注最小颗粒度的数据 ,也就是 数据库层面的表格与字段 ,它们是建模层具体操作的要素。通俗地说,需要从不同数据源中接入业务数据,并通过同步更新、数据清洗等过程确保数据的完整性及准确性。
三、如何把业务需求转为数据问题
了解完数据赋能的三个层次,回过头来看看如何把业务需求转为数据问题。
1. 用户运营
(1)落地层
业务部门都有KPI指标,在运营工作中,需要定期回顾运营成效及执行下一阶段的运营策略。对业务来说,运营策略的落地需要借助触达工具:发短信。因此, 「RFM模型」的落地 不能只是给出算法模型报告,而是 要以报表的形式,对存量用户进行分群的同时,搭配策略分析工具,并提供用户信息下载
根据业务场景,确定可以通过 PowerBI在线报表 的形式,为用户运营部门提供在线人群分层报表,并交叉零售行业常用的 「人货场模型」及「指标拆解」作为策略分析工具。
(2)建模层
明确了落地的形式后,需要对背后的 「RFM模型」和「人货场模型」及「指标拆解」进行数据层面的定义。
- 对于「RFM模型」来说,需要明确分层逻辑,具体包括行为周期、R/F/M的阈值计算。
- 对于「人货场模型」来说,在RFM模型已解决「人」层面的分析,需要进一步补充:「货」通过「产品结构分析」解决,「场」通过「活动周期分析」解决。
- 对于「指标拆解」来说,因为最终是交付给用户运营部门,所以需要尽量从用户的角度来拆解销售额,比如销售额 = 新客销售 + 老客销售,这样就符合业务关注的新客指标及老客指标。
(3)数据层
明确了需要开发的数据模型,需要对更细颗粒度的数据库表格及字段进行设计。
- 模型围绕着用户订单数据进行,所以至少需要订单表,包括下单时间、购买商品、购买金额、商品件数等字段。
- 另外,落地层提到用户运营侧的落地需要结合触达工具,所以还需要用户表,提供会员昵称、手机号、地址等字段。
2. 产品部门
(1)落地层
对于企业来说,产品策略背后的影响因素多且复杂,比如市场培育、公司战略等。也就是说,对于数据部门来说,做的新品分析或许更多只是辅助工作,供产品部门参考新品表现。此外,与产品部门沟通业务流程时,他们还提及日常还会用数据部门提供的表格做二次分析。
根据此业务场景,确定可以通过 Metabase平台 的形式做在线报表,业务部门能在平台上下载数据的同时,也可以在线做透视分析。
此场景其实为了介绍Metabase平台设计的,该工具在解决业务们自助取数,及简单BI报表方面很实用。可以先通过官网了解:www.metabase.com。后面会有具体的教程出来。
(2)建模层
明确了以报表形式提供新品分析后,需要考虑新品分析背后的表格模型,可以结合 「存销分析」 来实现,即分析新品的销售与库存之前的相关指标,体现新品表现。
(3)数据层
销售及库存相关的指标分析,需要用到订单表、库存表,除了用户运营提及的订单字段外,还需要货品批次号、数量等库存字段。
至此,我们完成了从业务需求出发,到落地层、建模层及数据层的倒推, 形成了数据赋能业务的整体框架:
(后续会丰富此框架)
四、从执行层面思考,把框架落地
接下来,需要逆着第二步的思考逻辑,形成执行计划。
1. 数据层
- 建立数据库模型:从业务模型、概念模型到物理模型。
- 新建数据库,并从数据源(业务系统)接入存量数据。
- 通过存储过程同步增量数据,实现数据动态更新。
- SQL SERVER代理完成定时任务:执行ETL、定期备份。
2. 建模层
- RFM模型在用户运营中的落地。
- 如何进行新品分析。
3. 落地层
- RFM模型在PowerBI的部署落地
- Metabase的安装及应用案例:存销分析
接下来会按照上述计划,逐步实现数据中心的落地。
本文由 @饼干哥哥 原创发布于人人都是产品经理。未经作者许可,禁止转载。
题图来自Unsplash,基于CC0协议。