自动化|Martech 营销自动化从 AB 测试开始( 四 )

Martech 营销自动化就是为了解决这类实验场景，依托多臂老虎机（MAB）强化学习手段，通过概率分布的思想找到最可能成为最优解的实验版本，快速加大分配流量，并实时计算实验收益，达到收益最大化。
应用举例
某公司准备进行一次营销活动，通过营销自动化 AB 测试工具进行一次实验，选出最佳素材，流程如下：

文章插图
2. 在营销自动化平台开启 AB 测试，按照目标人群标签过滤出 9000 人流量；配置实验 1、实验 2、实验 3，分别对应素材 1、素材 2、素材 3，初始流量比例各占 1/3；开启互斥实验；定义实验指标为用户点击率，记录每个用户看到素材后的点击行为；
3. 实时获取数据，每隔 30 s 统计一次实验效果；
4. 采用基于贝叶斯推断的汤普森采样，使用 Beta 分布对用户点击率的概率分布进行绘制，它有两个正值参数，α 和 β，决定了概率分布的形状，两个参数默认值都为 1。
Beta 分布的均值是：
Beta 分布的方差是：
使用 Python matlab 模拟不同 α 和 β 情况下 Beta 分布（如下图），可以得到两个重要信息：
1）α / (α + β) 越大，概率密度分布的中心位置越靠近 1，依据此概率分布产生的随机数更大概率靠近 1，反之越靠近 0；
2）α + β 越大，分布越窄，集中度越高，这样产生的随机数更接近中心位置，从方差公式上能看出来。

文章插图
依据以上特性，结合本次实验指标，定义 α 为素材被用户点击次数，β 为素材未被用户点击素材次数。举例来说，当某个用户看到素材 1 时，如果他点击了素材，则 α += 1，否则，β + = 1。
经过 30 s，进行实验效果统计时，发现素材 1 的 α = 170，β = 82，素材 2 的 α = 82，β =170，素材 3 的 α = 30，β = 20，则 3 个素材点击率的概率分布图如下：

文章插图

文章插图

文章插图
通过分布图可以看到素材 1 的点击率平均值 0.674，素材 2 的点击率平均值 0.325，素材 3 的点击率平均值 0.6。可以看到在抽样流量下素材 1 的效果明显好于素材 2，但素材 3 由于命中的流量比较少，概率分布图的方差很大，此时如果直接选择素材 1 则有可能失去一次对更好素材的探索机会。
这时汤普森采样会从各素材的 Beta 分布中随机获取一个值，并选出随机值最大的素材进行流量分配。比如素材 1 随机得到 0.71，素材 2 随机得到 0.286，素材 3 随机得到 0.73，此时下一个用户就会命中素材 3，并根据用户点击数据的真实反馈，重绘素材 3 的 Beta 分布。选择汤普森采样的好处就是平衡了 EE ( Exploration& Exploitation) 的问题，总体上点击率越高，获得的流量越大，同时兼顾了探索新素材的可能；
5. 具有一定初始流量后，各素材绘制的 Beta 分布图逐渐产生差异，使用汤普森采样，平均值靠近 1 的素材会更容易获得新流量，而命中次数比较少的素材，因为集中度低，也有一定概率获得流量。随着真实流量的增加，最终收敛到某个最优素材；
6. 蒙特卡洛模拟是在已知各素材 Beta 分布的基础上，多次从各素材随机抽取，然后经验地计算出每一个素材的点击率，此方法可以模拟海量流量，最大趋近于全量发布方案效果。当真实流量放大到一定程度，与模拟收益相符最优素材胜出，实验收敛并结束。