AB测试类问题
1.简述
AB测试是为了评估模型/项目的效果，在APP/PC端同时设计多个版本，在同一时间维度下，分别让组成成分相同（相似）的访客群组随机访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好的版本正式采用。AB测试整个过程分为三个部分：实验分组（hash分组）、进行试验、分析结果（中心极限定理、假设检验）
中心极限定理：当数据量足够大时，可以认为样本均值近似服从正态分布。
假设检验：提出原假设与备择假设——选择检验统计量——选择显著性水平——计算p值或检验统计量值——做出决策
2.AB测试的
优点：能够更加科学的解释项目效果，避免人为因素的干扰
缺点：数据采集积累，降低了策略的迭代效率；不同策略的维护和开发，增加了开发工作量。
3.实验效果不显著怎么办
原因：线上策略不佳，无明显差异；实验的灵敏度不够高
针对第二类原因的方法：
1.增加样本量：根据显著性检验的方法，样本量足够大，总是可以得到显著的结果
2.减少样本均值的方差：减少离群值的影响，缩减方差（CUPED）的方法
3.更换指标：更换一个方差更小的指标
投递京东等公司10个岗位 >
查看10道真题和解析