3年产品，教你如何用好AB Test

本文作者分享了自己从事产品经理三年以来做AB Test的相关经验。在自我总结的同时，期待可以提高自己。

入行三年，回顾自己做过的四五十个AB Test，有成功也有失败，有疑惑也有感叹。刚开始接触AB Test理论的时候，心想这真的是产品的一剂灵丹妙药啊，就像互联网有一句话，“当产品想不清楚的时候，就做AB吧！”，但它真的有这么灵吗？它真的能拯救你的产品于水火吗？让我们一起揭开AB Test的靓丽面纱。

一、当我们说起AB Test，我们在说什么

AB Test实际上是一种假设性验证，是一种很科学的方法论。通过设置只有一个变量的实验，在两组特征均分的用户群中放置一段时间，最终分析由这个变量带来的数据浮动。

与其互相撕逼，不如让数据说话。

举个例子：审美是一件非常复杂的事情，2017年，团队的设计师们曾经用AB Test的逻辑不断测试，寻找到了点击率更优的Banner样式，把审美这件事进行量化。一方面，这次的AB确实让我们在能想到的几种设计样式中找寻到了最优解，减少设计师和运营平时的相互扯皮，提升团队效率；但另一方面，也给大家带来了新的思考，市场会变，审美会变，现在的最优解在未来真的适用吗？

我们现在AB到的所有方案，包含了所有可能的形式吗？会有更好的形式吗？仿佛小熊摘玉米，可能你能看到的，就是某个空间某个时间内的最大的玉米，而后面更大的玉米，隐藏在你的下一次判断中。真的要不断依赖AB去寻找这个最大的玉米吗？

实际上，AB Test解决是的决策的准确性和成本之间的平衡问题。决策的准确性是指你能否有看到周围更大的玉米的能力。这决定着，投入产出比的天花板。判断的成本是指这个相互PK寻找更大的玉米的过程是有成本的，无论是产品设计、开发、数据分析、沟通成本，还有最重要的时间成本，都会让整个战线拉的非常长。如果产品每次都可以以较为准确的眼光迅速发现周围比较大的玉米，那么实际上是不需要AB Test提供这个PK的过程的。而判断的准确性。仍然是决定这场战争的核心。

二、AB Test的常见误区

1. 想不清楚就做AB？你只是把困境后移了

刚刚接触AB的时候，大家会觉得这是一剂救命稻草。因为是拍照类的APP，拍照效果就是我们的核心，有时候作出两种效果的方向，但产品和效果设计师暂时想不清楚，哪一种效果用户会更喜欢呢？于是把一堆自拍效果同时上线AB。

我做过最多的一次AB，是有56个实验组，把各种效果参数拆开排列组合，完全以数据结论为导向来设置实验。最后上线之后，数据有好有坏，用户反馈也一大堆，然后再根据数据和用户反馈去拆解，为什么实验组A好，为什么实验组B不好；为什么年龄大一点大用户会吐槽效果1，年龄小一点大用户会吐槽效果2。

这就是想不清楚实验目的的AB最终会带来的困境。所以说，还是要基于产品核心能力和市场，有最起码的判断和假设。再去用AB去验证这个假设。

2. 指标找错，一切全费

每个产品都有自己的北极星指标。所谓北极星指标，就是一旦这个指标变动，产品的战略目标指标也会产生强因果关系的变动。在寻找北极星指标的过程中，我们探索过很多次，最终把核心业务的保存数定为北极星指标，在实行了一年的周期之后，还是发现这个指标找错了。因为后面我们发现当保存数疯涨的时候，战略目标DAU或者收入并没有因此而增长。这意味着，之前所有AB Test的结论都站不住脚，换句话说，做了一年的“无效AB”，浪费了无法去估计的资源成本。所以可见，指标的寻找是多么重要。

3. AB的结果是好的，一全量并没有什么卵用？

我们之前做过的很多AB Test都有这个问题，做了很多比较正向且可信的测试，但全量之后，仿佛一粒沙子融入了大海，大盘并没有什么波动。分析起来，本质上是一种增长乏力的表现。这种乏力分为两种情况：

• 每次AB带来的变动很小，最终反应在结果上数据的波动非常小，即使正向，因为其能带来的改变天花板非常低。
• 做撬动市场的新功能，但最终没能打成战略目标的提升。

这时候，市场在提醒你，也许应该换一种思路来做产品。

4. 一定要做的改变，需要做AB吗？

业界，我见过上新一个功能，就必须做AB Test的产品。如果数据不好，这个功能整个都不上线。其实我个人是不太建议这样的方法。对于那些战略新功能，做好前期的市场调研、需求挖掘更重要。甚至有了功能之后不上线，利用可行性测试让目标用户试用，不断优化并最终上线。

一定要做的改变也不限于想要撬动市场的新功能，还可能是接下来的战略目标部署等。想清楚之后，如果这些是一定要做的，那么不要让AB阻挡你改变的脚步。

三、如何真正用好AB Test

1. 忘记它，以不做AB Test为己任

任据App Sumo评估，只有25％的AB测试产生了有意义的结果。而一次完整的AB测试周期可能就需要几周的时间。有人经常问我：AB能来带增长吗？答案是，并不能。它只是产品的一种辅助工具，并且要谨慎试用。一个依赖AB Test的产品，并不真正理解它的用户，它的产品和它的方向。有的时候，AB一时的数据虽然是负向的，但如果产品能判断这一步的修改对未来战略目标的意义，数据也就变得不那么重要了。

每次我们产品内部在讨论需求的时候，有人在提AB，我都会询问（1）AB的目的是什么？（2）你觉得哪个方案会更好？（3）你是否做过市场分析和用户调研？这三个问题能够有效帮产品梳理需求的意义。如果仅仅以“我拿不准哪个方案会更好”来进行AB，那么最终你的团队会陷入无限AB无限浪费资源的死循环。所以警惕你的团队始终在用AB的思路前进，要让每个产品都培养“以不做AB Test”为己任的意识。

2. 寻找属于你的业务的AB Test规律

不同类型的AB Test是有不同的策略的。针对我们做过的所有AB Test，我做了这个一个梳理：首先按照有没有创造新价值，可以把AB分为增长类和核心类。

• 增长类的AB分为两类，首先是视觉类的：一般是改一个icon的颜色、改一个UI的排布样式。另一类是路径类：减少或者改变用户的路径。这一类的增长天花板比较低，不需要给它过高的预期，但往往投入产出比很高。如果项目组有余力，可以简单快速AB。
• 核心类的AB也分为两类。一类是对已经上线的新功能进行修改/优化。这一类的AB经常会影响到老用户的使用体验，特别是对于产品的核心功能，一定要慎重修改。比如微信的聊天主界面，从一开始上线到现在，也不会做过多的修改。另一类是完全拓展的新的功能，提供了新的价值。这种建议多结合市场进行判断，大胆上线。

这只是针对我们自己做过的实验进行的总结，并不保证适用于所有的行业。也许你的行业也有类似的规律可循，不妨试试吧！

最后，我想谈谈“产品感”这件事情。对于产品经理来说，产品感仍然是我们最核心的能力和价值。AB是一种很理性的增长思路，它往往显得没有那么有“人情味”，你无法决定它的答案，但你可以决定如何使用它。一旦开始使用它，预示着团队以数据目标为导向的决心，但千万不要被AB的结论带着走，忘记了产品的初心。

 

作者：小梅梅，美图公司产品经理

本文由 @小梅梅 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自 Unsplash ，基于 CC0 协议