从这里开始,做一名数据驱动的产品经理(附大量真实案例)
生菜阅读:
生菜老师关于数据驱动的分享,干货满满!
内容来源:2018年6月9日,在“菜园子·产品经理社区”主办的“产品经理线下交流会(成都站)”活动上,彭圣才老师作为嘉宾演讲。笔记侠作为合作方,经讲者审阅授权发布。讲者 | 生菜老师 整理 | 笔记达人小酷 封图设计 | 泉十七 责编 | 嘉琪
第 2272 篇深度好文:9532 字 | 12 分钟阅读
精华笔记·独特思维
本文新鲜度:★★★★★+ 口感: 芒果捞
笔记君邀您,先思考:
- 什么是数据驱动?
- 数据驱动怎么做?有哪些核心指标?
- ABtest在适用于哪些情况?
一、互联网思维的最大区别
在过去几十年里,很多传统行业从业者,由于历史原因,他们的商业模式并不是按照真正的商业模式运转而存在。
可能背靠某一个政府的关系,在某个行业认识很多人,他就可能创建一个公司,然后做的生意快速成长起来。
所以,过去的很多年里,我们很多传统行业的实际情况是,它不是100%商业方向的,所以也不需要完全走商业运转模式,它的业务一样可以成长得很好。
但是互联网行业是一个完全遵从商业运转模式的,在某些行业可能会有不按照商业模式运转的问题,但整体上来讲这个行业里大多数是平等支持,基本上还是一个完全靠市场化的充分竞争,来完成的商业闭环。
所以在这种情况下,数据驱动在这个行业里会达到很高的一个高度。
在我们心目当中,每一个产品经理都应该具备数据能力,如果你是一个看不懂数据的人,那你可能不太适合做产品经理。
一定要懂技术,一定要学理工科才能做产品经理?
我在很多公司见过很多出色的产品经理,他们可能是学心理学或学中文的。他可能不懂技术,但至少会看数据,懂数据,能从数据当中发现这个产品的问题。
所以我觉得这不冲突不矛盾,也不意味着学中文的人就不能看懂数据,其实看数据没有那么难。
以下为广告区域,轻轻点击,即可为菜园子贡献1元收入哦~ 只要点击就可以!
二、业务先行
一个数据驱动的产品经理,也可能一开始就是跟数据没有直接关系的,我们叫做业务先行。
① 产品服务于公司核心业务
你可能会诧异,作为一个数据驱动的产品经理,怎么可能一开始跟数据没有直接关联呢?
因为商业的逻辑其实没有发生本质的变化,你是卖茶叶蛋的,他是搞互联网的,你俩的商业模式是一样的,都是要去给最终的那个买单的企业或者是个人提供一个你能够交付的产品或者服务。
这个成本是你付出时就马上收回,保持这样就能够把这个生意做成。所以商业的逻辑没有发生过变化。
当我们想要真正做到数据驱动的话,一开始先要定义清楚公司的核心业务是什么。
创始人有时候自己都没想清楚,没想明白要做什么生意,要赚谁的钱,就把公司开启了,可能还招了很多人。
中国过去的首富王健林,他说互联网没有什么特殊的。他曾成立了一个网络科技公司,这个公司运转了三年,除了花掉了100亿,没有产生任何实际的市场价值。
原因就在于,他没有想清楚要做什么业务,他可能会觉得有钱就去搞互联网。
然而互联网只是手段,你最终做什么生意,赚谁的钱,你这个生意交付的东西是什么呢?
产品一定是服务于公司的核心业务,数据也一样不例外。
市场上认为产品经理是一个产品的CEO,应该对这个产品端到端负责,产品经理是公司最核心最重要的一个岗位。
其实不一定是这样,尤其是在今天中国的互联网行业,绝大多数中国的互联网行业公司的业务,往往不是产品驱动,也不是技术驱动,往往是他自己的一个业务系统、过去的资源或是运营系统,是有一个特定的行业本身。
真正的产品驱动、技术驱动的公司其实很少很少。
所以,产品经理要有这个责任感,即我们对这个产品的结果负责,但我们不要高估产品,不要高估产品经理的能量,要把自己在这个公司里面的定位想明白。
如果这个公司不是一个产品驱动型的公司,那我作为产品经理,应该服务于这个公司当前的核心业务,把那件事做好,我是一个支持者的角色,要把我的专业度做好。
② 不同的产品形态,不同的业务阶段,有不同的核心指标
产品一定是服务于公司的核心业务,而实际上每一个公司有它不一样的业务,不同的产品形态、不同的业务阶段,追求不同的核心指标。
比如腾讯开会的时候,腾讯QQ多少用户、微信多少用户,课程的用户多少,它的指标不一样,说明对于这个公司关注的点就是不一样。
实际上,不同的公司有不同的产品和追求的核心指标。
不是所有公司说我要把产品日活做到很高,也不是所有的公司在任何一个阶段都说我要把我的营业额做得很高,因为不同投资阶段会有不同需求。
我在15年时加入了一家公司,他们请我去时说,他们公司在今年一定要做商业化,所以整个公司的目标就变成了营收,对一切服务于营收指标的这个人就能够达到更高的优先级,就能够拿到很多的资源。
当我们讲数据驱动的时候,就是让数据来帮助我们做决定,今天这个公司做什么不做什么,花多少力量做这件事情,这件事情本身一定是业务先行。
你先搞清楚你这个公司做的是什么,所以我一直跟所有的产品经理讲,大家可能平时更多的聚焦是在日常写个PRD,画个原型,排排期,然后在上线以后去看一下反馈,看一下数据等等。
其实我希望在座的每一位产品经理,去上班时,都应该很清楚地知道:
- 我所在的公司,今天做的是什么事?
- 这个公司靠什么方式在运转?
- 作为一个公司能够成长,是靠投资人愿意出资买我未来的故事,那这个故事什么时候能画出来?
一定要把这个业务放在最重要的位置上。
三、数据先行
整个公司应该在每一个时间节点上知道这个公司的核心目标,这个目标一定是可量化的,这才叫数据先行。
- 先做数据,后做产品——微软的数据先行
当团队决定要做一件事情,产品还没做,但是已经把数据的事先做好了。
我13年在微软时,有过一个内容项目:用搜索引擎的手段把互联网上的各种社交数据都取回来,然后给互联网上所有的大V打一个分。
那时,微博很流行,它就会主要依赖于微博的数据说,谁是微博第一网红,比如它会告诉你是“李开复”,或者告诉你说是“杨幂”。
把这套机制拿出去给这个追星族,让他知道自己追的这个爱豆,今天人气是涨还是跌了。
这个项目后来被孵化后,因为不符合微软的整个战略目标,最终没有大规模地推向市场。
但我在做这件事情时,很神奇地发现,产品其实还没有做,但他们已经把这个产品要看哪些数据全部整理得清清楚楚,甚至发现如果这个数据需要后台做,就投入研发资源。总之,产品没有做,数据就先做着。
在这样一家公司里,它的数据驱动的文化是深入骨髓的,所有东西没有数据驱动就不要做。
当你这个产品上线的第一天,产品经理已经可以在后台能看到一个非常完整的数据了。
这个案例可能有点极端,大多数情况下,互联网公司不是不想做这件事情,而是等不了。
它说,我有具体的业务要先做,你让我把那么多的资源拿来做一个数据项目,可能还没发现价值公司就死了,所以它狠不下心来做这件事情。
四、定义产品核心指标
假设我们把这个数据的一些基础设施搭建好了以后,接下来应该要定义一个产品的核心指标。
什么叫产品核心指标?跟业务指标有什么区别?
每一个公司基于它的战略,基于它历史的阶段,它可能在不同的时间点,会看中某一些指标,比如看营收,看利润率等,但这些都不是真正的产品核心指标。
产品核心指标一定是和业务指标强关联的,但不能划等号。
如果你让我每天看这个业务指标,我就会天天去看,可是我看完了什么也没看到。你会发现今天是涨,明天接着又涨,昨天却是大跌,我能干什么?
有太多的变量影响,以至于我们无法有一个一以贯之的主导我整个产品研发周期的主心骨,其实是因为没有设定稳定的产品核心指标,很容易迷茫。
所以,一定不能够简单地谈业务指标。作为产品人,要找到一个产品的核心指标。
找到产品的特征指标
找到产品的特征,与竞品相比,你的产品的特征,或者说能够在市场上取得用户认可、能够在在市场获得成功,值得着力打造的价值点。
- 蜻蜓FM
蜻蜓FM一开始是做音频,一个很重要的价值点是用户到我这里来找的内容我这都有。这就是产品的核心指标。
这个指标和业务指标没有直接的关系,但它是一个具体在一个阶段内,你要做的产品的主心骨。
你为了实现这个指标,需要做很多事情,要买版权,要去引入主播,给主播打赏,引导主播产生内容或者优秀的内容等等,有好多投资途径。
不同的路径只服务于一个核心指标,就是提高用户在我这里内容的收获。
找到产品核心的一个特征指标,定义这个特征指标其实是真正体现一个产品经理水平的一件事情,需要不断地迭代、探索。
- 微软小冰
请大家先思考一下:
作为产品经理,怎样定义聊天机器人的产品特征?怎样的特征指标能表示这个聊天机器人做得好?
负责小冰的产品经理定义出来的指标非常科学合理,它的核心指标——跟用户产生的连续对话轮次。
微软小冰
他不追求用户与小冰的对话数量,也不追求有多少人对话,追求的是作为一个聊天机器人,用户跟我聊了几轮就离开我。
比如,一个机器人,你向它提出的两三个问题,它的回答都好傻,你会觉得它好笨,就会很快结束对话;如果它回答得不错,那你会说:“唉,这个机器人怎么这么聪明,我带上吧。”
你一定会聊到某一个时间,才觉得这个机器人也就那样吧,然后才终止。
对于微软小冰来说,这个产品特征主要就找到一个指标:平均每个用户和它对话的轮次是多少。
这就是微软小冰这个产品追求的核心指标,围绕这个核心指标再不断地去提升。
微软小冰背后其实有一个庞大的微软亚洲研究院,研究院的那些同事,他们整天只研究算法。
当我们有一个明确的目标——“提高对话轮次”,就可以收集到很多的数据,按照这个目标去做相应深度的学习,用一些AI的手段来提高这个指标。
事实证明,今天的微软小冰在业界已经遥遥领先。我到北京之前这个指标是24,平均每个用户能跟它聊24个来回,这是一个非常了不起的机器人。
五、第一方与第三方
很多公司的领导或者研发团队都会说:
我们自己的数据一定要掌握在自己的手上,我们一定要打造一个自己的数据分析的后台,要打造一个我们自己领先的一个BI决策体系……
但另外一派的态度说:
那都不重要,有好多现成的东西我们先用起来,比如说友盟、诸葛IO(是一款基于用户洞察的精细化运营管理工具)。
这种情况下,产品经理其实往往会面临一个选择:
到底是自己公司花时间去打造一个自由的BI的决策实施系统,还是说直接和第三方合作?
你会面临这样一个权衡,各有长处,各有利弊。这个逻辑其实相对来说比较简单:
第一方做成公司自己的研发团队,要注重第一手数据的采集和积累。
比如你有一个产品上线,不管你日活多少、有多少人用、产生多少营收、有多少订单,所有的这些数据,应该以第一方的方式先把它抓回来。
抓回来有没有用,不知道;能不能分析,不知道;能否有助于持续的决策,先不着急,先把它存下来,沉淀下来。
所以,数据的采集和积累是第一方要做的事情。因为第一方团队只需做这件事,哪怕你今天还无法马上产生价值,至少要采集到,因为数据总是需要积累的。
大家用到很多BI,都知道是需要有数据的。
如果你没有数据,就像第一遍看书看不出东西,要等一等。让这个数据跑一段时间,才能看得出来一些更准确的信息。数据本身是需要积累的,而数据的积累如果第一方不做,没有别人会帮你做。
因此,第一方要去做数据的采集和积累,把这数据存下来就可以了。
第三方实现快速分析/可视化/决策
一开始,第一方没有必要投入很多的力量,因为第一方还有更多的事情要做。这时,需要第三方的介入。
第三方去做帮助你真正跟业务有关系的,能够快速帮助分析、数据可视化的数据报表。
老板,每天要看报表怎么办?我使用第三方的方式给你生成一个报表,每天都可以看,然后帮助老板做决策。
所以,第三方的工具,它要帮你能够快速地去分析这些东西,把这东西可视化出来,让你能够看见所有的人。
然后,随着公司的发展壮大,到某一天时,你积累了好多数据,然后觉得第三方的东西已经满足不了你的业务需求了,你再去做那个第一方后续的这些东西,这是一个正常发展,也是一个比较理性的公司。
更多精彩内容请添加生菜老师微信:13381536828 邀请您加入产品经理社群
六、大平台VS小应用
一般来说,应该同时是第一方和第三方并存的一个情况。在这个时候,又会遇到一种情况,随着公司发展得越来越大,部门越来越多,慢慢地就会突然有一天说,我要做一个大的平台。
星巴克:是等战略规划,还是员工先行?
星巴克里一个专门负责数字化的朋友,现在有点纠结。
为什么呢?
他说:
星巴克作为一个全球的跨国公司,它在整个全球战略上有一个统一的关于数据仓库的打造(或者说是整个数据的支持),有一套公司的完整的战略规划。可是等那个战略规划落成,这个业务就来不及了。
因此他很纠结,不知道要不要打造一个大而全的数据平台,能够服务于各个业务部门,让所有部门都能够执行起来。
大公司都有公司级的企业战略,都会有一个部门专门负责把所有东西统一到公司的战略上去,于是就导致效率很慢。
所以我在这里给大家分析一下:大平台和小应用。
阿里巴巴在互联网上肯定是比星巴克要强大得多的帝国。可即使是今天的阿里巴巴,它也有一个专门的数据后台和数据总台,它的每一个业务都有自己的数据支持团队。
所以即使阿里巴巴这样的公司,它都不会有一个大而全的数据平台,能服务于每一个项目的业务线。它一定是让每一个具体的业务线根据自己的业务发展状况,具有自己的自主决策能力。
但是做到一定程度以后,突然有一天,另外一个部门对数据总台说,发现有的是手机淘宝的,有的是支付宝的,有的是口碑的,需要协调一下到一个平台。
后来阿里巴巴成了一个集团,这个集团除了淘宝,还有蚂蚁金服,信用体系,那它就会做一个更大的平台。
因此,一方面我们一定要相信数据,但一定要破除那个大而全的东西,没有必要在没有具体业务场景的前提下,脱离具体的业务场景,去打造一个非常宏观的大而全的平台。
这个事情其实不仅限于数据,所有的大公司几乎都有这样的通病。
比如中型公司、小公司,就不要去做大而全的平台。
七、ABtest(AB测试)
今天大多数情况下,对真正做产品经理的同学其实是比较不利的,为什么?
因为你的决策者或者你的领导,他往往不是数据驱动,而是直接拍脑袋做决策。
编者注:AB测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同(相似)的访客群组随机的访问这些版本,收集各群组的用户体验数据和业务数据,最后分析评估出最好版本正式采用。
唉呀!这个不好看!这个不大气啊!这个好像不大行吧!
这不是一种科学的决策方式。
我们群里有一位顾青老师,他每次分享会先听问题,看一家公司的领导问什么问题。
如果那些领导问的都是数据的问题,说明这领导懂行,他至少知道要用这样专业科学的方式来决策。
ABtest,做之前一定要先给自己定好规矩:真正上线以后,衡量标准是什么?
这好比两个人上台比赛,赛前一定要把规则讲清楚,你不能说规则我还没想好,你们先打,打完了我看你们谁打得好我就选谁。
如果你事先没有定一个非常清晰而明确的衡量标准,等产品上线完了以后,你会看到A是这样,B是那样,就选择B吧,那还不如不要搞这个ABtest。
你一定把这个标准先定在前面:
比如是看点击率、页面的转化还是看这个商品的最终成交量,一定要先把规则定好。
这叫先定规矩,后比赛。
ABtest的核心竞争力在于快速、大量、小测试。
花两个月的时间跑ABtest,还不如不做。如果能够做到每一天同时在线有20个ABtest在跑,那就非常有用。
今天,不管是谷歌、Facebook,还是微软,他们的产品同时在线上跑test的有40、50个以上。
大家可能很难想象这个数,因为这些公司已经是高度数据驱动的公司,它完全不是靠人来做决策,完全是要让机器、让数据来做决策。他们做了非常好的基础设施,能够支撑它跑好多在线的AB测试。
我过去在微软工作时,用AI数据库去提高利用广告的单位价值。
广告单位价值不是简单地统计的数据,它会让你的点击跟广告费上都有关系,然后每一次我们做了这个算法要上线,它会先拿出这个搜索的5%的样让你把这个算法应用上去。
它有一个非常简单的后台,在上面选一下5%以上某算法,然后你就不用管了,一天以后你看到这个文章的单位网络价值和上一个广告的单位广告价值比较。
如果有明显的提升,OK,恭喜你做成功一个实验,并且这个实验可以推广。
当然,我们不要神化ABtest,它只是战术层面的一个有力的武器,只能在战术层面帮助,在战略层面不能提供帮助。
像我刚刚提到的王健林,他花了一百个亿,如果他说我搞ABtest,我搞5000人,现在你们都去做好多团队,你去搞新零售,去搞万达广场里面的停车,每个人做一个东西让我来测那个东西成不成立。
真正的战略性决策一定不是靠这种方式来帮你测出来,ABtest只能说我的战略目标很清晰,但是我在很多细节的微调上面去提升它的效率,这个时候ABtest是很好的。
案例分析:
接下来是我们菜园子的公众号里推过的一个案例,这些案例都来自我刚刚讲的这个目前国内专业做ABtest的公司。
1.摩拜单车
原始版本的地图(左),实验版本的地图(右)
这两个清晰的程度,地标的标识是不一样的地图,哪一个对于提升摩拜单车核心业务的效果更好?
现场大部分人认为右边的更好,因为看上去更清楚一些。这两个地图一个是高德地图,一个是腾讯地图。他们自己生产的时候,也说右边这个是成功案例。
但是我可以告诉大家我的理解,右边的比左边确实好,但只好一点点。因为在单车这个场景下地图其实没有那么重要,右边这个只是优秀。但是他们最后果断决定选右边这个。
为什么呢?因为右边的是腾讯。
对!就这么简单!
2.分享图标的案例
分享图标三个点(左),方框+箭头(右)
马上世界杯要来了,今天早上大家在讨论NBA总决赛。大家可以想一想,哪一个分享按钮的转化率更高?
现场大部分人认为右边的更好,更接近”分享“这个含义的表达。
但是很不幸,我告诉大家ABtest跑下来是左边那个。 数据告诉我们左边的好,而且是长期反复测试得出来的数据,就是左边更好。
3.服装公司123的话术
分享按钮框上的话术
123是一个杭州的服装公司,它的模式是订阅你喜欢的衣服。
你成为他的会员以后,你可以在123的APP里面任意选择你喜欢的衣服,他会把衣服寄给你,如果你喜欢你就可以留下,如果你不喜欢直接还给他,然后下个月还可以继续选。
左边那个按钮写的是立即邀请,右边那个按钮写的是现在就去邀请好姐妹。这两个案例大家觉得哪个转化率高?
现场大部分人认为右边的更好,右边这个现在就去邀请你的好姐妹,比冷冰冰的立即邀请感觉要好一点。
我想大家心里面都有答案,而且我相信大多数人答案可能差不多,但是我告诉大家,实际上一开始跑ABtest的答案不一定和心里想的一样。
这三个例子告诉了大家什么?
它告诉我们,有时你的判断是对的,有时你的判断是不对的,有时候可能是为了老板而改变。
但是数据永远不会说谎,数据没有意识,数据也许包含一些我们以为不可能的东西。
Facebook的教训
大概在五、六年前,当时Facebook内部主导了一次非常大规模的一个改版。他们内部有一个副总裁带了一个50人左右的团队,做了半年左右,将整个Facebook的信息流完全改版了。
(编者注:2014年Facebook、康奈尔大学和加州大学旧金山分校的研究人员以689003名母语为英语的用户为研究对象,通过改变算法,让用户信息流上显示的帖子大部分为正面或负面,以试图证明人的情感可以在没有面对面接触的情况下受到影响。)
Facebook毕竟是一家数据驱动的公司,所以尽管他们的改版非常的高大上、非常酷炫,但他们没有直接替换旧版,他们就跑了一个20%的ABtest,效果非常不理想,所有的指标全面下跌。
这个项目花了很多的金钱和精力,他们实在不舍得就这么放弃,又做了一些调整,又重新跑了一下。数据依然是全面下跌。
Facebook内部经过反复论证,最终他们觉得这个事情不能上线。
这是一个很有意思的教训,很多时候我们从主观上会有情怀,还会有审美,要求设计高大上。
但是我告诉大家,数据往往是这样,如果你只看数据的话,绝大多数数据好的产品方案它看起来挺low的,但是如果你要数据好你就要选择这个方案,因为你得让公司来投资。
大家今天去看那个亚马逊的网站,觉得它这么丑,怎么不改好看点。它不是不想改,它是改不动,只要一改,开始跑ABtset的话肯定上不了线,就这么简单。
如果它是一家数据驱动的公司,它内部一定会有这样的力量阻止它发生这样的事情,它就会有一个数据的力量在阻止它说永远保持一个很low的网站,但业务也能够进展下去。
我自己在这件事上体会是:
很多时候我们都希望我们的产品调性多高,然后有很多好的设计师帮我们设计非常好的、非常漂亮的方案,但是数据驱动这件事情不是只参与经营管理,设计也应该尊重数据驱动的原则,所以哪怕你设计得非常高大上,我们要用数据来跟他示好。
所以我们最理想的状态是:你设计好了一个高大上的方案,同时数据又好。
八、数据驱动之迷思
其实我自己最近的两三年,一直在反躬自省。我曾经供职的公司是一个高度数据驱动,完全互联网化、完全要靠数据来说话的公司, 但是我离开的时候,其实很不舒服,为什么呢?
我老觉得数据驱动这件事情哪个地方错了。我自己也是一个码农出身,我曾经深信数据的力量,但是为什么我们讨论很多的实验、数据,最后发现并没有真正帮助公司在业务上取得进展呢?
我反思数据驱动这件事情有什么坑是我们要避免。不能够简单地说,所有的数据驱动就好了,数据来说话都是对的,我有几点总结:
第一,当我们讲小步试错的时候,试错,要试出错在哪里。
当我们说要以很小的成本来做一个实验的时候,往往就给了我们一个借口:反正就是小成本实验,我们先试试看行不行。
结果做得很粗糙,就去跑实验,你号称自己做了实验,两条数据回来,告诉你这个实验想法错了,pass掉,其实你就叉掉那个可能性了。
时间久了就会发现,整个公司到后来陷入了一个怪圈,好多人想了好多年,做了好多实验,但都不能胜出。
一个公司干了半年没有进展,什么都没有,这肯定也不会接受,你的问题出在哪里呢?
当你说你要去试错的时候,小成本固然是对的。今天还提到了敏捷,敏捷一直告诉大家要小步试错,不断迭代,但是小步试错不意味着你给自己一个理由把这个东西做的差,做的很糙。
如果你这样做的话,你这个实验等于没做。你必须是想得很清楚,全力以赴把这个做得好,这样的试错最后必须要指出来错在哪里?
其实往往不是想法本身,是你在执行环节当中的很多细节,你都没有100%地投入。
你都没有从内心100%地去重视它,你想的只是做一个实验,我要让实验告诉我它是好的,我再去找个平台给做好它。
数据驱动的意思是要在公司允许的范围内尽可能小成本试错,但是不要把这个事情当做我们的借口,这个事情其实很难,因为人是懒惰的。
要提醒自己:
试错,一定要试出那个错在哪里。
第二,公司的使命和价值观应该凌驾于数据之上。
有一个数据驱动的极端例子。有的公司用比较低俗的内容去骗取点击率。大家可以想一想,即使用这种方式把用户骗进来,用户会一直喜欢你的产品吗?其实不会。
但这个时候如果看数据,你看我们公司的数据就是很好,我们推荐位的点击率就是很高啊。
我的观点是,一定要有一些凌驾于数据之上的,比如你自己企业坚守的一些价值观和使命。
我曾经有段时间非常崇拜数据驱动这件事情,让我几乎已经抛弃了使命和价值观,我觉得所有的使命、价值观都是一些成功的公司已经做大了以后拿出来忽悠我们,只要看数据就好,不犯法就好,对使命、价值观没有什么感觉。
但是后来我慢慢会发现,其实一个公司要走得长远,要走上一个更高的台阶,还是需要有一些使命、愿景和价值观的。我在这篇文章里面详细论述了为什么应当要有核心价值观: 企业 需要价值观吗?