A/B测试增长实战平台|流量|消费者|佣金|整整容

2021年9月4日 – 9月5日，人人都是产品经理举办的【2021产品经理大会?广州站】完美落幕。字节跳动火山引擎资深数据营销产品解决方案@胡雪为我们带来了精彩的分享，她分享的主题是《A/B测试增长实战》。

文章插图
A/B测试也被称为对照实验，起源于医学研究领域，本质为分离式组间实验。那么，在互联网行业是如何应用实现快速增长的呢？
在产品迭代过程中，我们有很多的想法和方案，但是没有办法确定哪一个更好，所以把方案做成A和B，并且将用户进行均分，在用户特征相同的情况下，分别进行A和B的方案，根据用户真实数据进行评估，选出最优方案。

文章插图
【 A/B测试增长实战】这就是互联网的A/B实验。
用一个具体案例进行分析。
这是一个团购APP的产品货架，也是流量最大的页面入口，我们想要优化标题文案，将“优惠团购”改成“限时特惠”，看看是否能够提升点击量。
于是，我们就进行了A/B实验，最后得出的结论是改动文案整体上没有太大效果。但是对于单价较高的娱乐产品来说，点击量提高了；但对于单价较低的餐饮产品来说，点击量没有变化。
产品团队也从中得到启发，单纯的文字游戏已经不能刺激到消费者了。于是我们做了一个新测试，突出折扣力度。
原始的版本只是凸显了原价和优惠价，现版本把折扣力度摆出来，明明白白告诉消费者打了多少折实际优惠。通过A/B测试，发现原来这样的改动更能刺激用户，整体点击率上升3%，客单价高的娱乐类提升更为明显为4.5%，甚至连之前没有打动的餐饮类客户也提升了1.6%，总结发现相比文案，用户对数字/价格更敏感。

文章插图
所以，复盘这个例子可以得知，我们需要通过A/B实验，用自己的产品和真实用户检验自己的策略，这样才能得到增长实践中最有用的信息。
而字节跳动在发展的过程中积累了很多产品和运营的增长方法论，也希望通过火山引擎这样一个平台输出给大家。
火山引擎是字节跳动旗下的企业级技术服务平台，将字节跳动快速发展过程中积累的增长方法、技术工具和能力开放给外部企业，提供云、AI、大数据技术等系列产品和服务，帮助企业在数字化升级中实现持续增长。

文章插图
字节内部是如何增长的呢？
首先我们自己每发布一款新的APP，其名字都要打N个包去各大应用市场跑A/B测试，把产品的决策权交给用户。张一鸣同学有句话说的就是：“哪怕你有百分之九十九点九的把握确定，那就是最好的名字，那测一下又有什么关系呢？”
抖音和头条的名字也是通过A/B测试来的，但抖音并不是当时下载激活的第一名，但是产品团队觉得抖音这个名字更贴合产品定位和调性，就用了抖音这个名字。
上面这个故事几乎每天发生在字节跳动，如今，A/B测试平台已经服务了超过五百条内部业务线，实际累计超过80万个实验，日增实验1500+，能够同时支撑超过一万个核心产品以及其他产品线的实验同时运行。
小到对外投放的一条推送文案，大到技术底座的升级，推荐算法的优化，功能的迭代，我们都是会先通过A/B测试跑出一个正向的效果，才会推广到全量用户。
增长黑客的创始人Sean Ellis说过：“如果你不做实验的话，我们可能就不会有增长。”
意思就是，我们每发版一个APP，会有很多部门推出的功能同时上线，如果不做实验，就不知道业务指标的波动是受了哪个功能影响。