AB-Test 实验-数分面试常用问题
AB-Test 实验-数分面试常用问题
- AB-Test基本流程：
- 确定核心指标-原假设和备择假设-样本量样本周期-流量分割-测试-效果分析（假设检验）
- AB-Test 原理：假设检验，对其中一个样本做出改动，观察所做改动对核心指标是否有影响，原假设是不会有显著影响，如果p值足够小则可以推翻原假设，选择备择假设，证明这个改动会对关注的核心指标有影响，AB-Test本质是对照试验。
- 第一类错误和第二类错误
- 第一类错误：原假设本身是对的，但是实验显示原假设是错的，拒绝原假设。‘弃真’。
- 第二类错误：第二类错误是指原假设本身是错的，但是实验结果显示是对的。‘取伪’。
- P值：显著性水平，原假设是正确的却仍被拒绝的概率。P值越小，表示结果越显著。
- 什么场景应用AB-Test？
- 产品迭代和策略优化。
- 产品迭代：界面优化、功能增加、流程增加
- 策略优化：无论是运营策略还是算法策略，都可以用AB-Test验证策略是否达到预期目标。
- AB-Test样本量选择
- 大数定律：实验条件不变，随机实验多次之后，随机事件发生频率约等于概率。
- 中心极限定理：N个独立同分布随机变量，样本量很大时，样本均值近似服从标准正态分布
- 其他有具体公式：分为比率类指标和绝对值类指标。标准差越大，组间差异越小，所需要的样本量越大。
- 流量分割
- 辛普森悖论：在某个条件下的两组数据，分组研究时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结果。
- 原因：分组后其中主要群组的影响权重更大，样本相对较小的群组单个看，虽然可能在数据指标上表现更高，但总体影响较小，话语权更小。
两种分割方式-分流与分层
- 分流是指我们直接将整体用户切割为几块，用户只能在一个实验中。但是这种情况很不现实，因为如果我要同时上线多个实验，流量不够切怎么办？那为了达到最小样本量，我们就得延长实验周期。
- 另一种方式，分层。就是将同一批用户，不停的随机后，处于不同的桶。也就是说，一个用户会处于多个实验中，只要实验之间不相互影响，我们就能够无限次的切割用户。这样在保证了每个实验都能用全流量切割的同时，也保证了实验数据是置信的。
- 置信区间和置信水平
查看26道真题和解析
