决策|六大环节，教你如何从0到1搭建一场A/B测试

随着“增长黑客”概念的盛行，A/B 测试作为“数据驱动增长”的最佳实践受到了国内外众多公司的青睐。许多童鞋想要了解A/B测试却不知该从何处下手，本文作者基于A/B测试的六大环节，与大家分享小白入门A/B测试指南。推荐对此感兴趣的童鞋阅读分享～

文章插图
随着“增长黑客”概念的盛行，A/B 测试作为“数据驱动增长”的最佳实践受到了国内外众多公司的青睐。
A/B 测试的目的在于通过科学的试验设计、高效精准的流量分割算法来获取具有代表性的试验结论，并将该结论推广运用至全部流量。目前，A/B 测试已广泛运用于产品交互设计、推荐算法、运营策略制定等方方面面，在最优方案的判断与决策过程中为公司提供有力的数据支持。
因为市面上对于 A/B 测试搭建的信息都比较碎片化，没有成体系化的梳理，且缺少标准化、规范化的 A/B 测试工具，所以，我们结合数百场 A/B 测试的服务及交付经验，总结、沉淀出了建立假设、确定评价指标、设计试验、运行试验并获取数据、结果分析、最终决策六大环节，帮助企业顺利落地 A/B 测试，为客户带来价值。

文章插图
一、建立假设A/B 测试最核心的原理是假设检验。先假设，然后根据数据检验试验组和对照组的结果，辅助决策。一般情况下，假设成对出现，如果我们认为试验组和对照组的结果没有显著差异，那么可以称为零假设（H0）；相反，则称为备择假设（H1）。
在试验前，我们需要先明确想要实现的结果。比如，我们希望通过优化注册流程，提高用户的注册转化率。针对这个场景，零假设就是优化后流程（试验组）和优化前流程（对照组）的用户注册转化率无显著差异，备择假设则是两组结果有显著差异。
另外，在建立假设的过程中，需要注意两点：第一，A/B 测试本身属于因果推断，所以要先确定原因和结果；第二，假设必须是可衡量
的，需要有相应的评价指标来检验假设是否成立。
二、确定评价指标注册流程优化的试验目的是为了提高注册转化率，那么注册转化率就可以作为检验假设是否成立的评价指标。同时，评价指标也需要分层级，确定唯一核心指标，辅助多个观察指标，才能从尽可能多的角度来评估试验结果。
评价指标主要分为三类：核心指标、驱动指标和护栏指标。
1. 核心指标核心数据指标通常情况下只有一个，或者是极少数指标的合集，很多时候是一家公司或组织的核心 KPI，可以驱动业务核心价值，比如注册转化率（衡量注册流程优化试验效果）、活动按钮点击率（评估某项推广活动试验的 CTR 效果）、人均使用时长（评估某项推荐算法对用户粘性的改进效果）等。
在确定核心指标时，需要满足两个关键原则：第一，简单的，易理解的，可以在公司/团队范围内被广泛接受；第二，相对稳定的，无需频繁为了一个新功能更新核心指标。
核心指标除了用来衡量试验的效果，还可以用来计算试验所需的样本量（将在后文中详细介绍），由此可见，核心指标直接关系着试验的成败，需要重点关注。
2. 驱动指标驱动指标一般比核心指标更短期，变化更快也更灵敏，帮助我们更加快速、全面地观测业务变化。我们可以通过两个案例做进一步了解：
在某项商品推广活动试验中，核心指标是下单转化率，运营同学可以使用客单价、人均下单次数、退货率等作为驱动指标。观察发现，虽然下单率有所提升，但退货率或客单价指标下降，此时便需要做针对性调整。