没做AB测试，我们损失了100万美刀

编者按：本文来自微信公众号“UXRen”（ID:cnUXRen），作者：Noah，翻译：郭亮，校审：佚名，36氪经授权发布。

因为没有实施A/B测试，我们损失惨重也获益良多。

我们已经深刻的意识到，我们应该分享我们在投身商业和技术时所学到的东西。这里面既有成功经验，也有失败的教训。

我们已经描述了成功案例，比如如何提升响应时间、如何加快APP迭代速度以及如何提升APP的可用性等；今天我想分享一些失败的案例。

我要分享的故事是关于我们对Basecamp.com做了哪些改变从而导致我们损失了百万美元，以及我们如何找到解决方案，在这个过程中学到了哪些东西。

一、发生了什么？

故事发生在2014年2月，我们正式成立了Basecamp公司。这是一个重要的转折点——我们要进行一系列改变，主要包括品牌重塑、部分产品下架、清仓和拆分等。

作为这个过程中的一部分，我们决定重新设计basecamp.com网站（我们的销售网站），以传达出这个网站不仅仅是Basecamp的商品聚集地，也代表Basecamp的公司形象。

改版后的网站在内容和视觉效果上都有全新的改变，但这次改版不仅仅局限在落地页上，最大的改变在主页上。

Before “Becoming Basecamp”（改版前）

After “Becoming Basecamp”（改版后）

最大的改变是在首页去掉了用户注册区，对于这个决定，我们并没有进行深入全面的考虑；也没有针对注册步骤对用户的影响做足够的调研测试。

在过去的几年间，我们一直在权衡快速注册（一开始能够引入大量的新用户）和完整注册（只能引入少量用户，但是这些用户都能够成为购买者）所带来的价值的差别。但是我一直明白，我们不希望注册流程太慢。这是我们在 “变成Basecamp网站”的过程中做的众多决定之一。

我们没有对改版网站做A/B测试的原因有很多：我们没有时间准备多个风格迥异的版本，我们需要在改版后维持和之前一致的视觉效果，以及我们觉得我们的改版设计很不错。 

变成营销型网站之后，很快我们就发现转化率有所降低；访问网站并进行注册的用户占比相比改版之前减小。这与我们预期的效果差异很大，主要是因为：

我们的网站已经有了很大的流量。我们通过对37signals.com的访问者重定向，引流至basecamp.com网站；我们从其他不知名网站也购买了一些科技媒体报道曝光和用户流量，所以，对于改版初期注册量的降低完全出乎我们的意料。新版本basecamp上线之后几个月，注册量趋于稳定，这比较符合我们的预期。

在变成营销型网站后的头两个月，注册量相比年初有所下降。但我们认为这并不是一个严重的现象：因为我们最大的注册量集中在一月份，之后注册量逐渐下降，在秋季又逐渐回升。由于网站是由部分小企业的季节性业务驱动的（其中很多业务在年初展开），所以新用户的注册量变化有较强的季节属性。

但经过一段时间的发展后我们最终发现，2014年夏天申请人数的下降幅度确实比往年同期下降的多。申请人数在秋天没有季节性回升，很明显还有别的原因。在我们的2014年业绩总结中，我提到： 

自从2月份新版的营销网站上线之后，2014年的转换率显著下跌（一月转化率= 1.06％，二月转化率=0.89％;部分是由于流量增长，但有效的申请人数也下降了大约10％），之后也没有太大改善。转化率下降并不奇怪，因为我们增加了很多注册内容，并将注册表移动至一个单独的页面。

到2015年上半年，数据仍然没有任何提升。对此我们不时的进行讨论但却没有采取任何改善行动。最后，在7月，我们在网站首页重新上线了注册表并进行A / B测试，结果收到了立竿见影的成效：首页有注册表的注册率相比首页没有注册表提升了16％。根据A / B测试来调整设计，其效果是清晰可见的。

我们很高兴能够看到这样的结果：基于现有业务规模，这样的改进能带来价值数百万美元的收入。注册量下降的那段时期虽然没有威胁到公司的生计（2014年是我们收入最高的一年），但那段时期确实影响了收益。

二、我们错在了哪里？我们学到了什么？

一个明显的教训是：根据Basecamp当时的特殊情况，让用户能够越简单快捷地访问网站，越能为我们转换更多的付费用户；所以在营销型的新版Basecamp的主页我们会尽快上线注册区域；但是这些仅仅是一些表层教训而已。

在这个过程中我们得到的更深的教训，我认为需要深刻反思的主要有两点： 

2.1 不知道缺少A/B测试的后果

我们没有针对改版做A/B测试，这意味着很长一段时间后我们才知道改版的效果和影响。若早在2014年2月进行新旧版本的A/B测试，那就有可能在几周内就发现新版本数据表现差的问题。在A/B测试中，需要保证两个版本的测试环境一致——同样的测试时期，同样的流量来源等。这样可以让你直观的看到新版本的修改（设计、注册流程步骤）和注册率之间的关联。

因为我们没有对新版的设计进行A/B测试，我们仅对新旧网站做纵向比较，受季节性和其他变量影响（例如，当您重命名公司、停止部分产品），我们很难确定哪些因素影响了最终的注册率，所以我们需要花费更多的时间定位问题。

决定不做测试是很容易的——你很忙没有时间；你认为新版肯定更好，你不想面对对比测试带来的问题。但是将来，我们很容易就能证明进行全面的A/B测试的价值——因为我们已经经历了不做测试带来的教训。

我们不想再去经历同样的错误，但是我们需要考虑我们还会在哪里遇到同样的错误。这些我们没有进行测试的部分是否会对商业本身或者用户顺畅访问Basecamp产生重要影响？我们的设想是否可以量化？ 

2.2 缺乏有效的沟通

因为我们是一家小公司，类似于“注册表放在哪里”的决定一般由小组讨论即可确定，而不会经过更广泛的讨论。在这种情况下，不充分的讨论就决定从首页去掉注册表是有风险的，如果回溯到2014年，我们可能会做出不同的决定。

在知道问题的原委后我们也未能迅速采取有效行动：从我们知道问题原因到采取行动中间经历了六个多月。

我们是一个以项目为导向的公司：我们往往把重心放在有特定时限的事情上并积极对待。重新设计至今，我们已经共同完成了很多不同的项目。我们上线了The Distance，为Basecamp增加了许多新功能，参与了很多项目的幕后工作，并一直为下一个版本的Basecamp做准备工作。我们也从一个网站设计师向Android设计师转变，而且我们探讨了有关广告、赞助等营销的新思路。

所有这一切导致我们没有花很多的时间去思考我们的营销网站的改版，这也反映在测试和更新的进度上。在2014年之前我们只进行了1/3的的A / B测试，也获取了相当少的反馈信息。这也就解释了为什么我们的进度如此缓慢：这是因为营销网站没有正在进行的项目，所以我们没有花太多时间去思考讨论网站。

作为一个数据分析员，我本应做更多——我知道我们在重新设计时应该进行A / B测试，我知道我们应该在测试前就找回注册表。但是在这两种情况下，我既没有找机会去做测试，也没有努力地影响设计结果。现在回想起来我希望自己当时能更努力地去推进这些事情。

这些无疑都是惨痛且昂贵的经验教训。很幸运，我们的业务面比较广泛，不会因为一些错误就轻易地引发生存危机。相信经历过这些经验教训我们会成为一个更好的公司，希望将来我们不会再犯同样或类似的错误。