拼多多|互联网产品如何设计低成本高收益的对照实验？( 三 )

三、工具变量法问：将看视频的新用户转化为视频作者，可以带来什么收益？
常规的办法，是直接利用现有数据进行分析。也就是观察性的因果研究，同时也叫准实验设计。如用构造虚拟现实结合双重差分法的方式，构造可比较的对照组和实验组人群，来对比两者的数据表现。
但这类准实验的设计往往需要很多假设，其中任何一个假设有错误（如用户活跃周期性是规律的，但实际不规律），就会影响到结论的准确性。同时，在结论推广层面，也有较大的解释成本。
这时候，我们可以设计个实验来简化这个问题。
通过引入一个工具变量——给实验组的新用户发 push 来改变用户发视频的意愿。实验组的用户会随机收到这么一条 push：“这是你来快手的第一天，发个作品记录一下！”
这时候，实验组势必会有一部分用户被这个「额外的力」，转化为了视频作者。我们通过测量两组在关键指标上的差异，就可以回答篇头的问题。不过，笔者认为，考虑到该工具变量会对用户产生一定打扰，所以还需关注护栏指标如 push 的关闭情况。

文章插图
这是快手的经济学家杨淼钰博士在 DataFunTalk 直播中分享的案例。直播干货满满，文末有链接，强烈建议精读。
工具变量法的目标是找到一种工具，使我们能够近似实现对照。在生活中也有一些常见的工具变量，比如在探究基因对性格的影响时，可以用双胞胎进行测量，把环境因素变成了不变量。此时双胞胎本身，就是一个工具变量。
四、其他好用的实验设计方法交错性实验：在人工测评某几个模型的效果时，如何让结果不受人的主观影响？可以使用交错性实验——交错式排列待评估的内容，仿照双盲实验。
重复实验：在同一拨用户上，实验一段时间，撤回一段时间。为探究直升机监视与入室盗窃数量的关系，我们发现有直升机监视时，入室盗窃数量减少，取消监视则增加。
断点回归设计：这也是一种准实验设计，如果想看颁发奖学金对获奖人的影响，可以拿奖学金的获奖阈值（如80分）上下的学生模拟随机分配。我们的假设是：分数刚好高于80的实验组学生，与分数刚好低于80的对照组学生，在学习素质上很相似。统一「学习素质」这个重要变量之后，就可以进一步探究了。
断点回归在社会学层面的用处很多，青山资本在《Z世代定义与特征丨青山资本2021年中消费报告》一文中，也是运用了断点回归的思路来划分「Z时代」的。

文章插图
世代的起止是由极重大事件产生的切割，使得某个年份前后的人群产生割裂式的思维和生活习惯差异。这恰恰与在计量经济学中研究社会问题时应用断点回归的原因不谋而合。
引用：

Ron Kohavi《关键迭代：可信赖的线上对照试验》机械工业出版社2、青十五《十五读书 | 策略产品经理必读的一本A/B测试“圣经” B08》
DataFunTalk《快手归因分析》
青山资本《Z世代定义与特征丨青山资本2021年中消费报告》
韩瞳《策略产品经理实践》机械工业出版社

本文由 @白鹿衔书不衔花原创发布于人人都是产品经理，未经作者许可，禁止转载。
题图来自Unsplash，基于 CC0 协议