拼多多|互联网产品如何设计低成本高收益的对照实验？

编辑导语：一个精确的测量，胜过一千个专家的意见，事实胜于雄辩。产品经理在设计产品时，往往一个巧妙的低成本设计立马就能使产品达到出乎意料的高收益的效果，本文分享了一些案例，供大家参考。

文章插图
遥想2012那年，必应的产品经理提出了一个想法：将标题下方的第一行文字移到标题同一行。可惜，这个需求一听就离离原上谱，不出所料，需求被延期了半年。

文章插图
好在该需求实现起来并不复杂，一个工程师决定试一试。不同的是，他通过设置对照实验（随机一部分用户显示新UI，随机一部分用户显示老UI），实现了这个需求。
无心插柳柳成荫，实验开启没几个小时，「营收过高」的监控开始报警。
你猜怎么着，不是埋点重复上报，不是搜索服务挂掉，是营收真真切切地涨了12%！这意味着在当年的美国，营收增长超过了1亿美金。
这个传奇的案例就是《关键迭代：可信赖的线上对照试验》一书的开篇。接着作者Ron Kohavi（在线实验的「教父」）庖丁解牛般地展开了关于对照实验的一切。这本书被誉为 A/B 测试「圣经」，强烈建议互联网相关从业人员精读。

文章插图
说回这个例子，看起来「无关痛痒」的改动，竟成了必应历史上最成功的 idea 之一。这项陈列实验带来的结果，不仅提升了公司现有收益，还有可能影响了公司的战略。
其中最令人拍案叫绝的部分是——得出这样高价值的结论并没有耗费太多的资源。
那么，有没有类似的低成本而高价值（具备较高的指导意义）的实验？
有，但并不靠运气，而是靠「设计」。
本文从《关键迭代》、策略产品经理相关书籍和直播分享中摘录了一些案例，分享给大家。这些设计上的神来之笔，的确让人回味无穷。但请别忘记，是设计者对业务本质付出了99%的艰苦思考，才换来了这1%的天才灵感。
一、画门法这是一个虚构的线上销售小部件的电子商务公司。一天，市场营销部门希望通过发送优惠券的促销邮件来提升销量。此前，公司没有发过优惠券，适应这个新功能，改造成本较大。
在方案胶着之际，有员工对方案背后的假设提出了质疑，他表示 Dr.Footcare 公司在添加优惠券后，营收反而大幅流失了。于是公司产生了合理担心：在结账界面增加优惠券输入框会降低营收。即便没有优惠券，仅仅看到这个框也会拖慢用户付款速度，并导致用户开始搜索优惠券甚至放弃结账。
于是，现在面临的问题似乎从「怎么新增优惠券功能」变成了「在付款界面增加优惠券输入框会降低营收吗」。
为了评估这一问题，他们没有改造整个付款流程和新增任何数据存储，而是——在墙上画了一个门——来看看有多少人会试图打开它。如下图的实验组1和实验组2，他们仅仅在这个页面增加了个入口，实际上用户输入任何数字都是无效的。

文章插图
这种方法的好处显而易见：

开发成本低，可快速上线
较好地还原了真实情况：假如全量上线，会有相当一部分用户对这个框产生困惑；那么这个小流量实验也可以还原这种困惑

结果是啥呢？对比对照组，实验组1和实验组2的营收都下降了。实验组2因为增加了弹窗（更明显的打断），导致损失更大。