样本|聊聊A/B实验那些事儿( 三 )

文章插图
例如：很多产品有一个现象：看到更多错误的用户通常更少流失！

文章插图
所以，可以尝试显示更多的错误以启迪可以减少用户流失吗？当然是不可以，这种相关性是由一个共同愿意造成的：使用度。重度用户会看到更多错误，同时流失率更低。
如果发现某个新功能可以减少用户流失，需要分析是新功能在起作用，还是因为高活跃用户流失率低，同时更可能使用更多功能？
这种实验就要拆分活跃度进行实验。AB实验是需要控制变量的，但控制的东西过多了，实验变得束手束脚，具体控制哪些变量是非常值得思考的，有时候最终控制你真正想要测量的东西，那样功亏一篑。
有些时候实验结果给不了清晰的答案，但仍然要做出决策。对于这种情况，我们需要明确需要考虑的因素，尤其是这些因素如何影响实验显著和统计显著的边界设定。这些考虑会为为了决策提供基础，而非局限于当前的单一决策。
本文由@李誓杰原创发布于人人都是产品经理，未经许可，禁止转载。
【样本|聊聊A/B实验那些事儿】题图来自 Unsplash，基于CC0协议