分流|五分钟讲清楚 A/B 测试系统算法

文章图片

文章图片

\">
A/B 测试是互联网行业比较热门的功能，通常是用于测试功能、页面样式、文案等的多版本优劣，并根据数据择优采纳。 A/B 测试是一个相对比较复杂的系统，今天我来跟大家分享一下 A/B 测试系统的运作方式，方便有需要的朋友作为参考。

什么是 A/B测试A/B 测试的本质是分离式组间实验，也叫分组对照实验。详细地来说， A/B 测试实际上是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）可行方案，将用户流量分成几组，在保证每组流量在控制特征不同而其他特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学地帮助产品进行决策。简单理解地话，就是高中课本也提到过的控制变量对照实验。

A/B 测试通常由以下几个模块组成：

分组模块（分流模块）
实验管理模块
业务接入模块
行为记录分析模块

分组模块分组模块，也叫分流模块，就是将流量分成多组。好的 A/B 分组方案可以让流量分配得更均匀随机，同时需要具备根据用户、地域、时间、版本、系统、渠道、事件等各种维度来对请求进行分组的能力，并且保证分组的均匀性和一致性。
一般来说，通用分流服务的用户唯一 ID 会根据不同终端采用不同的用户标识，目前通用做法为 Web 端 ( 含 PC 以及 APP 端内的 H5 ) 采用 Cookieid ， APP 端采用设备 ID ( 设备 ID 不同公司有各自生成算法，一般来说 iOS 会用 IDFA ，安卓采用 Mac 地址 +AndroidID+IMEi ) ，小程序端采用 openID 作为唯一标识符。
如果需要做到多端联动，则需要通过用户的注册 ID 等其他信息进行 ID Mapping ，建立平台真正的统一用户标识。

如果要设计分组模块，那么需要注意两个一致性：
①必须确保样本一致性：确保分配到不同实验方案的用户样本特征是一致的，在统计上控制单一变量原则，即所谓“随机均匀”；
②确保分流一致性：在分配到不同版本时应确保随机均匀分布，并且确保分流一致性（即同一客户多次进入同一个试验，访问的实验版本相同）。
实验管理模块实验管理模块，主要就是指支持产品经理或运营等人员管理用户分组、变量、实验版本等的模块。
业务接入模块接入模块的主要目的是方便在产品迭代优化的各个阶段整合 A/B 测试能力，对优化点做各种 A/B 测试。一般通过提供一个 A/B 测试 SDK 或者 A/B 测试 Restful 接口的形式供业务方使用。目前市面上对于业务接入模块有三种解决方案：
可行方案 1：通过定制的 A/B Test SDK 来处理 A/B 测试业务
该方案需要开发 A/B Test SDK ，并将 SDK 整合到前端， A/B Test SDK 会根据用户标识将用户划分到某个组，然后带着分组标识和服务端进行交互，进而完成 A/B 测试相关服务。
具体 A/B 测试服务与业务接口的交互实现方式可以是如下两种之一：
? A/B 测试服务下发两个不同的接口给 A/B 测试 SDK ，当用户请求时，根据用户的分组，分别调用不同的接口。
? A/B 测试服务下发同一个接口给 A/B 测试 SDK ，但是不同的分组对应的参数不同，当用户请求时，根据用户所在的分组，选择不同的参数来访问该接口 (该接口会根据不同的参数获取不同的数据) 。