3-5 AB实验详解：从假设检验到AB实验

【写在前面】

AB实验是数据分析师在日常工作中经常遇到的问题，广告排序，页面迭代，这些都需要在AB实验中不断优化。

许多公司都有自己的AB实验平台，数据分析师利用可视化的平台进行简单的配置与监测即可观察手中正在进行的实验效果。但对于实习生来说，并不一定都有机会在实习过程中接触到AB实验项目。一方面是因为企业在AB实验平台上往往设置了权限，开通给实习生的审批流程复杂；另一方面在于考虑到实习的不稳定性，老板并不一定愿意主动提供完整的AB实验参与机会。没有AB实验的实习经验，并不意味着在面试中就不需要准备AB实验的问题。针对许多我们做过的其他项目，面试官在最后都能加上一句：“你有用AB实验来预测试效果吗？”

我在实习中也没有接触到正经的AB实验，但在面试准备中，提前考虑到了这个因素，我的回答思路往往是：

“不好意思，在这个项目中我们没有使用AB实验，主要是出于人力、资金等的限制，但是我自己构思了一份AB实验流程……（此处省略），如果有机会让我遵循这个流程实施，我认为会有更能量化\更稳定的效果。”

对于和我一样没有AB实验项目的同学，这算是一个稳中求胜的回答了。对面试官来说，可能只是随口的提问，但是意外发现候选人有较强的学习能力以及驱动力，是一个加分点。

【基础知识】

AB实验的基础是假设检验。假设检验的原理以及具体的计算步骤会在第5章第一节中详细介绍，这里就只简单的说明一下。在统计学中，命题无法证真，只能证伪，假设检验中往往会有两个命题：H0是我们所质疑，想要推翻的命题；H1是我们想要验证的命题。

在计算统计中，我们需要用到P值来判断H0和H1的真伪，暂时简单的将P值理解为对命题H0的支持程度，P值越小就代表H0正确的概率越小。例如，制定显著性水平α=0.05，当P<α时，代表H0成立的概率<0.05，这是一个受到统计学支持的假命题。

【面试相关】

那在面试中，面试官会以什么形式来提问AB实验呢？

一般来说有两种形式：一是直接设计简单的实验流程；二是针对以往项目中提问AB实验的某些原理和注意点。

举一个例子，某面试官问到“你想要如何证明搜索结果页新排序算法有更高的转化率？”

那我们的回答可以遵循“提出假设-确定实验对象-确定实验条件-指定监测指标-开启实验-计算结果”的流程即可。

第一步，根据实验的目的提出假设，在这里可以提出两个命题。H0是旧排序算法的转化率高；H1是新排序算法的转化率高。H0是我们希望被推翻的命题，而H1是我们希望被证实的命题。

第二步，确定实验对象，因为排序算法最终应用在搜索结果页，所以实验对象就是进入到搜索结果页的人群，A组的用户会看见旧的排序算法，B组的用户会看见新的排序算法。

第三步，确定实验条件，这里主要是指在实验前需要大致确定显著性水平，并计算相应的最小样本量。

第四步，指定实验指标，我们以转化率作为目标指标。

第五步，借助AB平台实施实验，沟通业务、产品、开发，上线实验并持续观察几天到半月甚至更长时间。

第六步：计算实验结果并输出结论，默认显著性水平α=0.05，结合假设检验公式计算p值。若p<0.05则推翻了H0假设，证明在0.05的显著性水平下，新算法的转化率更高。