产品求职常考的AB实验,你知道原理吗?

AB实验,相信大家都经常听到。做产品,做数据,都离不开AB实验
但你真的了解AB实验吗,你做的AB实验真的靠谱吗?
2分钟,给你讲清楚AB实验的基本逻辑和前提条件  
我们做AB实验的目的,是为了验证某个方法的效果
举个简单例子,有两个组,A组用了A方法,B组不用。最后发现A组的效果好于B组,那我们就认为A方法有效
这是一个经典的归因逻辑,因为两个组除了方法外,没有任何差异,那我们就有理由认为两组的差异,完全来自方法本身
这个逻辑看起来很简单,但它的成立,有四个前提条件,分别是随机、大样本、双盲、对照,这些概念是什么意思?
  1. 随机:如果你用的A组是男性,B组是女性,那么即便A组和B组有差别,你也没法分辨,这个差别是来自方法的不同,还是来自性别的不同。因此我们最好是随机选择样本,让两个组在其他各种条件上,都被均匀的抹平
  2. 大样本:如果A组和B组各只有2个人,那么即便你发现A组效果好,你也不敢确认这是不是一次偶然。只有大样本能抹平偶然性带来的差异
  3. 双盲:假如AB两组是两个班级,你觉得A组用了新教学方法,效果一定好,同学们自己也这么认为,那么最终即便新教学方法没有啥效果,A组也会因为心理作用胜出
  4. 对照:有对比,才能看出区别,假如A组用了A方法,B组用了B方法,那两者相比,只能判断AB两个方法哪个更好,如果想知道A方法本身是否有效,还是得看用了A方法的,和没有用任何方法的组对比
好了,再总结一下,科学的实验要遵循随机、大样本、双盲、对照的条件
有了这个原则,我们就能很快判断某个实验是不是靠谱。

给你留个思考题,某公司长期基于用户ID尾号分组做实验,比如尾号为1的在一组,尾号为2的在另一组等等,不同的实验都会从组1234里随机挑,这样是否靠谱?
私信我,送你「产品求职常见面试题和参考答案」
#产品求职##产品经理##2023校招#
全部评论
想要面试题
点赞 回复 分享
发布于 2022-07-10 13:42
求面试题
点赞 回复 分享
发布于 2022-08-10 09:40

相关推荐

已老实求offer😫:有点像徐坤(没有冒犯的意思哈)
点赞 评论 收藏
分享
10-05 23:02
东北大学 Java
我说句实话啊:那时候看三个月培训班视频,随便做个项目背点八股,都能说3 40w是侮辱价
点赞 评论 收藏
分享
评论
5
6
分享
牛客网
牛客企业服务