AB test相关面试题目及答案分享

6.分析一个case，case背景是陌陌换了匹配算法，要做abtest（字节跳动）

参考答案

关键指标：匹配后互动成功率

相关指标：DAU、用户在线时长，次均聊天时长、用户付费率、各类功能的使用情况

负向指标：用户流失率

7.算法部门上线了新的推荐算法，在ab-test中败给了老算法，让你找出其中的原因，需要说出具体思路和框架（拼多多）

参考答案

电商平台的商品推荐中，商品历经曝光、点击、加购物车、下单这一系列漏斗。应该分别比较两个算法推荐商品在各环节的转化率，并针对不同环节寻找原因。如果较老算法而言，新算法推的商品从曝光至点击的转化率很低，则应该从推荐推送客群的画像思考，说明推荐算法推送的商品并不适合推送的客群，以此为依据重新调整算法逻辑。

8.简要介绍AB测，并给出样本量计算公式。（拼多多、携程）

参考答案

AB实验经常运用在活动策略是否有效的问题上，进行实验的步骤是：实验的流程：确定目标和假设->确定指标->确定实验单位->计算样本量->实施测试->分析实验结果

其中样本量的计算是比较重要的内容，A/B 测试所需的时间 = 总样本量 / 每天可以得到的样本量。从公式就能看出来，样本量越小，意味着实验所进行的时间越短。在实际业务场景中，时间往往是最宝贵的资源，毕竟，快速迭代贵在一个“快”字。另外，我们做 A/B 测试的目的，就是为了验证某种改变是否可以提升产品、业务，当然也可能出现某种改变会对产品、业务造成损害的情况，所以这就有一定的试错成本。那么，实验范围越小，样本量越小，试错成本就会越低。实践和理论上对样本量的需求，其实是一对矛盾。所以，我们就要在统计理论和实际业务场景这两者中间做一个平衡：在 A/B 测试中，既要保证样本量足够大，又要把实验控制在尽可能短的时间内。样本量的计算公式如下：

9.拼多多最近在测试两个不同的推荐算法，其中A比B好，从哪几个方面可以分析好的原因。（拼多多）

参考答案

关键指标提升：A组用户下单转化率明显高于B组

相关指标正向：A组用户人均订单量增加、GMV提升、用户活跃时间更长、物品的收藏率和分享率更高、用户拉新拉活数量更多

负向指标减少：A组用户退款率下降、用户差评率降低

10.ABtest, 为了提高点击率，对界面进行了小幅度修改，有两个组 一组1000个人，有100个人点击，另一组1000个人，120人点击，怎么判断好不好（拼多多）

参考答案

在比例类别指标的假设检验中，可以使用卡方检验方法。首先进行假设，设H0为两组实验的点击率无明显差异，H1为第二组点击率要高于第一组。在该实验中，A组1000人中有100人点击，则点击率为10%，置信区间为[8.3%, 12%]；B组1000人中有120人点击，则点击率为12%，置信区间为[10.1%, 14.2%]，在95%的置信度下，进行计算得到p-value=0.15>0.05，不能拒绝原假设H0，因此认为两组点击率无明显差异。

答案解析

卡方检验：卡方检验是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，如果卡方值越大，二者偏差程度越大；反之，二者偏差越小；若两个值完全相等时，卡方值就为0，表明理论值完全符合。

11.有没有接触过ABtest/经验，请说说对他的理解（滴滴、快手、字节跳动）

参考答案

AB实验经常运用在活动策略是否有效的问题上，它的理论基础是假设检验，也就是选择一种合适的检验方法，去验证在 A/B 测试中我们提出的假设是否正确。现在，你只要知道“假设检验”中，最重要也最核心的是“检验”就可以了，因为选取哪种检验方法，取决于指标的统计属性。A/B 测试是促进业务持续增长的最实用、最有效的方式。

12.选择AB实验的样本的时候，应该注意什么（滴滴）

参考答案

选择AB实验的样本的时候，我们最要考虑的是样本量的选择，影响样本量选择通常有4个因素：显著性水平（α）、标准差（1 – β）、统计功效（μA-μB）、均值差异（σ）

● 显著性水平：显著性水平越低，对AB实验结果的要求也就越高，越需要更大的样本量来确保精度

● 统计功效：统计功效意味着避免犯二类错误的概率，统计功效越大，需要的样本量也越大

● 均值差异：如果真实值和测试值的均值差别巨大，也不太需要多少样本，就能达到统计显著

● 标准差：标准差越小，代表两组差异的趋势越稳定。越容易观测到显著的统计结果

将这四个值带入样本计算量公式就能得到需要的样本量，通常有网站专门计算AB实验的样本量，所以只要搞清楚上面四个值，就能计算出你需要的样本量

答案解析

这道题主要是对AB实验样本量选择的考量，因为在选择样本的时候最关键也是最重要的一步就是对样本量的选择，对于有经验的人来说可以按照经验判断样本量级，但是对于更多人来说还是需要有更多辅助的判断。通常来说样本量太少，实验结果不大可信，但是样本量太多，也不是更好，一个最直接的原因就是样本量越大，影响的用户越多，就有可能影响到用户对产品的体验。

13.如何设计ABtest确定此功能上线收益（正负收益平衡点）（快手）

参考答案

1. A方案和B方案，哪个方案的结果更好？

首先的话，需要做需要运用假设检验，分为两种不同的检验方式，对于留存率、渗透率等漏斗类，采用卡方检验。对于人均时长类等均值类指标，采用t检验。

2. 通过假设检验后，如果结论置信，我们就能够得到A方案和B方案哪个指标更好（有显著性差异）， 对于不置信的结论，尽管A方案和B方案 的指标可能略有差异，但可能是数据正常波动产生。哪个 ROI 更高？

一般有活动相比无活动，留存、人均时长等各项指标均会显著。

对于ROI 的计算，成本方面，每个实验组成本可以直接计算，对于收益方面，就要和对照组相比较，假定以总日活跃天（即 DAU 按日累计求和）作为收益指标，需要假设不做运营活动，DAU 会是多少，可以通过对照组计算，即：

● 实验组假设不做活动日活跃天 = 对照组日活跃天 * （实验组流量 / 对照组流量）

● 实验组收益 = 实验组日活跃天 - 实验组假设不做活动日活跃天

这样就可以量化出每个方案的ROI。

答案解析

这道题主要是考察ABtest上线后，从哪些维度来确认哪个方案更好，或者说新的方案是否比旧的方案更加适合上线

14.根据上面说的改进点做AB测试，从什么角度来分析？（小红书）

参考答案

以下是ABtest常用的不同的分析指标，可以从这些指标来分析ABtest（以电商为例）

● 点击率

● 留存率

● 复购率

● 转化率

● 跳出率

● 平均保留率

● 平均使用时长（应用，手机网站、网页或游戏场景上的时间）

● 客户满意率

● 平均用户收入

● 平均订单金额

通过对比以上指标在ABtest中的效果，就可以分析不同方案的优缺点

答案解析

这题考虑的是ABtest的分析的角度，分析的角度可以通过不同的指标来分析，不同的指标体现了不同角度的意义

15.怎么验证你的改进办法有没有效（字节跳动）

参考答案

常见的方法就是去关注一下指定的指标，因为大多数ABtest在确认做之前都会指定一些关键性指标，比如，点击率、留存率、复购率和转化率等等，所以在上线后就可以直接关注这些指标是否有提高，如果有就说明办法有效，如果没有提高就需要看看办法哪里出了问题。其次也能够通过计算ROI来比对不同的方案。

对于ROI 的计算，成本方面，每个实验组成本可以直接计算，对于收益方面，就要和对照组相比较，假定以总日活跃天（即 DAU 按日累计求和）作为收益指标，需要假设不做运营活动，DAU 会是多少，可以通过对照组计算，即：

● 实验组假设不做活动日活跃天 = 对照组日活跃天 * （实验组流量 / 对照组流量）

● 实验组收益 = 实验组日活跃天 - 实验组假设不做活动日活跃天

这样就可以量化出每个方案的ROI。

答案解析

这题主要还是考察ABtest上线后的效果，最简单的是一些指标可以看出是否有效果，也能看一个投资回报率ROI来看是否有效果

16.A/B test场景问题，第一类错误，第二类错误具体是什么，你觉得哪个更严重等延伸开的问题（阿里）

参考答案

第一类错误：原假设正确但是拒绝原假设，弃真错误。第二类错误：原假设错误但是接受原假设，取伪错误。第一类错误更严重，由于报告了本来不存在的现象，则因此现象而衍生出的后续研究、应用的危害将是不可估量的。