为什么产品运营那么依赖ABTest,而风控不需要?

【 为什么产品运营那么依赖ABTest,而风控不需要?】编辑导读:ABTest是互联网行业的常用手段,通过高频测试找最优,ABTest就是协助我们衡量需求收益的好朋友。相比于产品运营高频使用ABTest,风控比较少用到ABTest,这是为什么呢?本文作者对此进行了分析,与你分享。
为什么产品运营那么依赖ABTest,而风控不需要?
文章插图
大家都知道流量时代,互联网产品、运营都在干嘛呢,高频测试找最优。即使我们不知道背后的统计学原理,我们也对ABTest耳熟能详。
在产品做一个功能或需求时,听到最多的疑问就是:你这个功能/需求能带来的收益是什么?收益能有多大?那我们怎么去衡量一个需求带来的实际收益?这个时候,ABTest就是协助我们衡量需求收益的好朋友。
那风控模型策略上线做不做ABTest呢?大家可以想一想。
我曾经有过一次面试经历,对方问我,之前有没有做过ABTest,我说有。然后要我举个例子,我想了想,意识到不对劲,瞎解释了一通。
因为风控策略其实并没有真正意义的ABTest。
一、ABTest

  • 运营同学想测试:banner高度是否影响点击率?
  • 设计同学想测试:不同分享按钮的颜色能不能提升点击率?
  • 大数据同学想测试:不同推荐算法的点击率啊?
ABTest将不同的用户分成不同的组,同时测试不同的方案,通过用户反馈的真实数据来找出哪一个方案更好。解决的是多种方案需要拍脑袋确认哪一种更好的问题。
对一个产品设计,往往已经能难直观判断是否真的是一种优化了,这个改变,可能来自文案、按钮的颜色、界面的布局或者功能的迭代,也可能是推荐算法。
为什么产品运营那么依赖ABTest,而风控不需要?
文章插图
你说你知道哪个更优?
只能是骡子是马,拉出来比一比。
根据这些思想,ABTest有几个关键,一个是分流,流量要分配的公平,一个是检验,要验证结论具备统计学意义。
为什么产品运营那么依赖ABTest,而风控不需要?
文章插图
ABTest的统计学知识就不写了,随便一搜都有,而我也不会。
值得注意,ABTest是验证想法方案的策略,而不是战略。
它不能解决所有问题,因为它并不适合所有情况。
更改登陆页面可能是一个很好的ABTest候选者,更改网站或表单上的按钮位置可能也是一个很好的ABTest。一个完整的网站重新设计可能是也可能不是一个好的ABTest,这取决于如何进行实验。
通常,增量更改非常适合ABTest。注意,缺陷也隐藏在其中,增量测试显然容易陷入局部最优。
最常用到ABTest的就是增长部门,那什么时候应该引入ABTest呢?应该是在找到了一条相对比较可靠的增长路径之后,通过ABTest来优化这条路径。
二、产品 & 运营有人总结产品和运营的关系,产品是把东西做出来,运营是把东西卖出去。有点意思。
不管是产品还是运营,可以统称为增长,它们都是为增长服务的。而上面刚说,增长非常适合ABTest。
比如电商行业中典型的增长问题,提升页面转化率,包括提升列表页到商详页的转化率,商详页到订单确认页的转化率,订单确认页到交易成功页的转化率。
这整个流程中太多ABTest的用武之地了,从icon,到文案,到页面结构,到推荐结果,等等。可以说产品体验5要素的很多内容都需要经过测试。
再比如,电商平台为618、双11促活,想知道是用满减券好,还是折扣券好。这两种券,可能在不同品类的商品、不同客群上效果都不一样。
实际上,很多用于测试的选项你是真的不知道哪个好。