科技猎数据产品经理的入门手册：如何评估数据产品的上线效果？
一个好的产品通过产品评估才能衡量其产品效果及业务价值，那么对于数据产品来说，我们怎么对齐评估呢？本文作者同大家分享一套 适用于数据产品的评估体系，解答如何评估数据餐品的产品效果。
对于数据产品经理来说，最头疼的问题就是：当我的产品上线之后，我该如何评估我的产品效果？
对于策略产品来说，我可以很轻松的基于实验组或者对照组，来获取策略的上线效果。
对于C端&B端产品来说，我可以通过用户（或商户）的规模、增长、活跃、留存等方面来衡量产品对业务的价值。
BUT，如果你做的是数据产品，或者从更大的范围来看，从事面向内部用户的后台产品，你该怎么来衡量产品的价值呢？
这个问题曾经困惑了我很久，在这些年的过程中，逐步摸索出一套 适用于数据产品的评估体系 ，欢迎大家一起来讨论。
一、评估上线效果的重要性
上线效果重不重要？这是一个毋庸置疑的问题。
对于一个团队来说，上线效果评估是检验产品价值的重要方法。而这个问题，却是数据产品们经常逃避，或者说不愿意面对的问题。
我分析主要的原因是： 评估不清楚 。
我上线了一款实时监控产品，不是我不想评估，而是我评估不清楚，这里的“清楚”，一方面是指我无法用合理的量化的指标来衡量产品的效果，另一方面是指即使我评估了，我也找不到我这款产品与业务价值的关联。
在评估不清楚的大背景下，我们可以看到一个有趣的现象：
一般数据产品的产品文档或者上线效果评估中，经常会用如下句式来评估产品：
- 赋能…（上线后数据赋能某某业务）
- 助力…（上线后助力精准化运营的展开）
- 提升…（大幅提升分析效率）
你看，是不是非常熟悉类似这样的句式？
如果我用上面类似的句式，这种宏观的车轱辘话来评估数据产品的上线效果，会有什么样的影响呢？
经过这些年的风吹雨打，我理解会有如下两个影响：
1.上线即结束
你的产品上线即为结束，你会立刻投入下个产品的进程之中，产品很难有一个系统化的迭代节奏，因为你没有清楚的可评估的迭代价值。
2.答辩很吃亏
是的，产品经理，无论公司大小，都会面临成长晋升的问题。
而对于一个数据产品，如果你在产品线晋升，面对策略产品各种亮眼的数据效果，面对C&B端产品各种的业务价值贡献，你会举步维艰；
如果你在BI线晋升，面对一个个帮助业务决策的分析实例，你毫无胜算。
所以说，数据产品的上线效果评估是一件非常重要的事情，不夸张的说，事关产品生死，个人前途。
二、一般的效果评估方法
既然数据产品的效果评估这么重要，那作为一名数据PM，我该怎么来评估我的产品呢？一般通用的思路会有如下的两种方式：
1. 从访问量的角度
看数据产品上线后的PV&UV等，和使用行为相关的数据。
乍一看，这毫无问题；但是我们可以仔细想一想如下两个问题：
1）我上线两款数据产品，一款是给10w运营看每天可以产生10w的UV，另一款只给老板看每天仅产生5个UV，请问这两款产品谁的上线效果好？谁的价值大？
2）实时监控产品的要求是每小时看一次，天级监控产品的要求是每天看一次，谁的价值更大？
你看，数据产品，由于目标用户的局限性与产品本身的定位差异，会导致访问量存在天然差异，这个差异会让数据产品没有一个通用的访问参考系来衡量。
2. 从提效的角度
假设数据产品上线后，产品分析数据的效率是excel分析效率的2倍，但是内部用户不用这个数据产品，这个时候上线效果是好还是差？
数据产品及其依赖于用户的使用，提效是建立在用户使用的基础上，很难从提效这一个单一维度来衡量数据产品的效果。
那么，我该如何评估数据产品的上线效果呢？
三、一套数据产品的效果评估体系
首先，我理解数据产品的上线效果，不是对上线结果的静态评估，而是对上线后整个产品运营过程的动态评估。
什么叫上线结果的静态评估？
类似访问量等，即为上线后的一个自然结果。
什么叫上线后整个产品运营过程的动态评估？
是指上线后，产品经理围绕产品上线进行一系列运营过程，并对其过程进行评估。
我们可以把数据产品的上线运营过程拆解成如下模式：
1. 知不知道？
知不知道本质是解决产品的触达问题。
一个完整的产品触达流程分为如下节点：目标用户规模->触达用户规模->真实的打开产品的用户规模。
- 目标用户规模：代表产品服务的用户范围
- 触达用户规模：指产品通过社交群组、邮件周知到的用户范围
- 真实的打开产品的用户规模：指用户开通权限打开产品的使用规模
这三个节点可以构成两个核心衡量指标：
产品触达率=触达用户数/目标用户数
产品打开率=打开用户数/触达用户数
基于如上，你就可以在“知不知道”这个层面衡量出产品的上线效果，具体如下：
2. 会不会用？
会不会用本质是解决产品的培训问题。
培训不是单纯的指召开一场培训会议，而是一系列的运营方法，大致会有如下几种方法：
1.案例营销（极其推荐）
经过验证，这是最有效的一种运营方法，你可以多了解业务方或者分析师们正在解决的问题，然后尝试用你的产品形成一个case，用分享的方式告诉他，这是最有效的一种培训方式
2.线上使用手册（推荐）
可以是文字形式，有条件也可以是视频形式，注意要进行数据产品的埋点，来统计用户查看使用手册的频次
3.培训会议（不推荐，因人而异）
召开一场培训会议，进行产品宣讲，一般情况下，这种方式的培训效果并不理想。当然，这里的效果取决于你培训时个人的演讲能力。
有了运营方法还不够，我们要在使用后及时监测这些方法的使用效果，一般可以通过主观评价和客观数据来衡量。
可以参考如下方式来评估“会不会用”：
3. 好不好用？
好不好用是指用户是否有持续使用的动力？我们可以拆解为如下三个部分来看：
1.动机层面
指用户使用这个产品的动机是什么？这是好不好用的本质原因。如果数据产品没有解决用户使用的动机，大概率用户是不会长期来使用的，动机可以分为如下两点：
1）用户诉求的解决程度
也就是你的产品是否达成预期产品的目标，以下为举例：
2）分析效率
你的产品是否提升了用户的分析效率，以下为举例：
2.使用行为层面
观测用户使用产品的活跃度和使用频次，注意，这里更关注的是产品本身的趋势变化，而不是和其他产品的横向对比，以下为举例：
3.主观评价层面
可以通过截图，收集一些用户反馈，来证实产品的价值。
有条件，可以做一些线上的调查问卷，在产品上线两周后发至用户；然后基于问卷反馈来简单的计算产品的NPS。
综上，我们通过【知不知道-会不会用-好不好用】这个完整的产品上线过程，就可以衡量出一个数据产品的上线效果，总结如下：
最后，想提很重要的一点：数据产品的效果评估在当下行业内没有一个共识的基准，比上线效果评估本身更重要的是纵向和leader、横向和技术团队共识上线效果的评估方法。
只有各方在一个共识语言内，你的上线效果评估才有机会得到认可并广泛使用。
作者：罗大大，大数据产品专家
本文由 @罗大大 原创发布于人人都是产品经理，未经许可，禁止转载。
题图来自 Unsplash，基于CC0协议
