首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
数据攻略有六哥
北京航空航天大学 数据分析师
关注
已关注
取消关注
AB实验中评估指标傻傻分不清 | AB系列(六)
@数据攻略有六哥:
DA/DS/BI 必考AB实验知识点
哈喽大家好,我是六哥~最近在面试中我发现一个共性问题:虽然关于AB实验的基础原理、步骤大家了然于胸但只要问到一些稍微深的东西,例如:AB实验中评估指标的相关细节很多人的回答多少还是差那么点意思之前已分享过『AB实验』系列专题(见主页往期分享):数据分析岗 | AB实验框架+高频考点(一)【数据分析岗】| AB实验之方案设计(二)数据分析岗 | AB实验之实验分流(三)AB高频考点!大白话讲懂『多重检验』常被忽略的『AA测试』| AB系列(五)概率论系列考点 — 统计功效 | 最小样本量本篇,咱就来唠一唠AB实验中常见指标分类有哪些?咋用?内含注意事项tips,可收藏慢看[yeah]------正文手动分割线------本文结构速览:一、搞清概念二、计算差异三、选择原则四、注意事项&case自查💡一、搞清概念AB实验中的常见指标,按照业务方式分类:目标指标:又被称为北极星指标,即一般是公司业务核心KPI驱动指标:又被称为间接指标,与目标指标之间在逻辑上有因果关系,但比它更快更灵敏护栏指标:顾名思义,作为“保护型”指标,是每个测试都需要观察的指标,一般有两种类型:保证目标指标不会违背重要的限制:一般为衡量用户不好体验的指标,如加载率、崩溃率等等,一般而言不能对其有显著负向影响才可以评估实验结果的可信赖度和内部有效性:常见的如SRM,如若出现问题实验中其他指标评估结果基本不可信如果按照统计类型分类:计数求和型:即样本的指标之和,比如有uv、pv、总时长复合计算型:均值类、比例类、比率类均值类:即样本的均值,如uv价值、人均时长比例类:即每个样本服从二项分布,如用户点击率、用户购买转化率比率类:即两类指标的比值,如pv点击率、ROI等等二、计算差异在抛公式前,需要有个大致概念:一般情况下,不同指标的差异主要体现在假设检验时方差的计算方式上。这是因为不同指标的计算方法往往考虑了不同的信息,从而导致了方差的计算方式也会有所不同。因此,正确估计指标的方差是获得可靠的实验结果的前提。在实际业务中,常用的是参数检验中关于均值类、比例类 这类统计量的组间差异检验。另外,多说一嘴:有关计数求和型指标,只有当实验对照组样本一致的情况下,这类绝对值指标的对比才更具意义,否则还是需要转换成以上指标才可以对比。讲具体每个指标的差异前,抛出一张脑图,供大家概览:▌均值类:均值类指标是基于正态分布做计算大多数情况下,样本充足,选用Z检验:(因假设实验对照组均值分布无差异,即:u1-u2=0)▌比例类:比例型指标是基于伯努利分布做近似计算:如果实验对照组样本比例相同,即:▌比率类:如上,无论是均值类指标的检验采用正态分布计算方差,还是比例型指标的检验采用二项分布方式计算方差,其实这里有个适用前提假设,即:需要满足样本独立同分布但这里比率型指标是不满足的。AB测试一般在用户层面进行随机化分流,如若指标的分析单元不是用户,例如pv点击率,是点击pv/曝光pv,这里分析单元中的每个曝光Yi可能来源同一个用户,各样本点不满足独立性,所以方差计算需要做下修正,不可以直接套用。关于这类指标,业界常用的方式例如有:delta method进行修正,或者bootstrap方式计算方差的无偏估计。① Delta method:优点:计算简便,需满足一些基本假设,大多数情况下即可利用一阶泰勒展开,在很低的计算成本下获得准确的方差估计,效率更高缺点:仅适用于大样本,且对统计量形式有限制② bootstrap方式:优点:形式简单,容易理解,适合任一统计量,且对样本量没有限制缺点:成本高,耗时长,需要较大算力来支持重抽样次数其中Delta method方式,计算修正后的样本方差:ps.有关此方法的推导感兴趣可私信留言~三、选择指标原则通常情况下,在实际工作中,大多数人会按照过往经验或者业务感觉来选择实验评估指标,虽然很少出现问题,但还是需要清楚底层关键需要满足以下几个原则:易懂性:指标是为了反应某种事物和现象的一种量化方式,所以需要容易理解且可衡量实验效果一致性:需要和AB实验采取策略的目标保持一致,方便衡量干预措施和数据结论有一定因果逻辑灵敏性:AB实验本质是为了利用数据驱动的方式为业务策略探路验证用的评估方法,倘若选取的指标很难检测到差异,可能会错失增长良机,或者没及时发现问题止损而付出更大代价,所以需要选取的实验指标保证灵敏性四、注意事项▌指标个数指标不在多,否则会出现多重检验的问题,置信度会下降。(详见👉:AB高频考点!大白话讲懂『多重检验』)最好先有预期目标,制定评估标准以及预计提升值,而后AB实验更多发挥的是因果验证作用。▌指标识别指标计算时要注意:随机分流的实验单元和分析单元需保持一致,否则不满足假设检验中的前提条件:独立性。如果不满足,则需要对方差计算进行修正,否则检验结论出错概率较大。▌case自查:实验组和对照组uv价值的相对差异,是否可以用传统计算方差方式?答案:不可以,需要进行方差修正。提示:可以将该指标列出,观察分母:对照组的uv价值是常数还是随机变量,可以发现新的统计量需要计算的是实验对照组uv价值比值的方差,即需要用到比率型指标的估计方差方式。以上就是为大家分享的AB实验中关于:评估指标差异的定义、分类、注意事项面试官亲自出的『56道AB实验真题』,求职不迷茫
点赞 4
评论 3
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
07-01 19:03
腾讯_大数据高性能开发(准入职员工)
腾讯内推
真实实习体验纯手码莫抄袭1.首先就是上下班不打卡 很人性化!但实习生的刷卡过闸时间上级都是看得到的噢 最好不要太晚到 我一般是10点到10:30之间到工位。 2. 食堂真的很好吃,肉眼可见地圆了。每天中午十几个档口简直选择困难症地狱。 3. 同事们都非常nice,因为是全组唯一一个实习生/女生,大家都非常照顾我!而且mt还会各种请吃的喝的~ 4. 加班情况还是有的,不过8点之前我们部门几乎很少撤退的,之前运动完9点多回来加班发现还没人走大家真的非常努力。 5.逐渐深入项目之后会遇到一些棘手的情况!mentor比较喜欢主动提问的实习生,不会的想不出来解决办法最好不要绕来绕去浪费时间。可以多看看m...
腾讯公司福利 864人发布
点赞
评论
收藏
分享
07-03 15:43
中国人民大学 Java
记一次Qwen技术面试凉经
最近进行了一次Qwen团队技术面,挂了,没有下一轮,整理材料如下,希望对大家有帮助。请简述Qwen大模型的整体架构设计及其核心创新点。Qwen模型在支持128K超长上下文时,如何解决显存和计算复杂度的问题?Qwen采用了哪些高效注意力机制?请详细说明FlashAttention及其变体的原理和优势。如何理解Qwen模型中的SwiGLU激活函数,它相比传统激活函数有哪些优势?请解释Qwen模型训练中混合精度训练的实现及其带来的性能提升。Qwen模型在推理阶段如何实现低延迟和高吞吐?有哪些优化手段?请描述Qwen模型的参数分布和稀疏化策略,如何在保证性能的同时减少计算资源消耗?大模型在生成文本时经...
查看21道真题和解析
点赞
评论
收藏
分享
05-15 19:57
西安建筑科技大学 Java
ssob上遇到的逆天
我搜了下,春风好像是fjb?这人是脑子有问题吗?上来就恶心人
那一天的Java_J...:
他本来公司就是做这个的,不就是正常的游戏客户端和服务器开发,软硬件联动,有啥恶心不恶心的,提前告诉你就是怕你接受不了,接受不了就没必要再往后走流程浪费时间,虽然这公司是一坨。
点赞
评论
收藏
分享
07-05 15:02
已编辑
中国科学技术大学 科研助理
一面
面试70min左右,最后的手撕代码有思路但没写出来
点赞
评论
收藏
分享
07-07 11:07
陕西师范大学 Java
没有人觉得暑假实习很诡异吗?
想到明天要去实习就浑身难受想到明天要去实习就浑身难受想到明天要去实习就浑身难受想到明天要去实习就浑身难受想到明天要去实习就浑身难受想到明天要去实习就浑身难受想到明天要去实习就浑身难受想到明天要去实习就浑身难受
程序员小白条:
暑假:拜拜勒您,社畜启动!
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
1
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
🌟择难路,未有疑,四非学院本运气拉满,春招拿下大厂后端
6.2W
2
...
秋招应该侧重准备哪个部分的内容
1.3W
3
...
恋爱四年没想到过自己会出轨
7870
4
...
其实主包早就找到工作了,但还是每天都刷
7536
5
...
史上最细SQL实战系列:sql笔试例题总结篇(建议收藏)
7143
6
...
双非二本的漫漫游戏开发春招路Ver2.0——失业、感悟、再出发(万字长文)
5715
7
...
离开软件测试才发现外面没有雨
5280
8
...
从天坑文科到大二腾讯的经历
4437
9
...
25届毕业现在在家呆了一个多月,没工作
4286
10
...
作为实习生,我问薪无愧
3987
创作者周榜
更多
正在热议
更多
#
应届生,你找到工作了吗
#
7541次浏览
73人参与
#
神州信息工作体验
#
12783次浏览
62人参与
#
现代汽车前瞻技术研发急速编程挑战赛
#
40909次浏览
292人参与
#
实习生的蛐蛐区
#
9998次浏览
86人参与
#
说说你知道的学历厂
#
4943次浏览
47人参与
#
简历当中有水分算不算造假?
#
8146次浏览
86人参与
#
社会教会你的第一课
#
4371次浏览
76人参与
#
歌尔求职进展汇总
#
55058次浏览
335人参与
#
你认为小厂实习有用吗?
#
2178次浏览
35人参与
#
双非应该如何逆袭?
#
178388次浏览
3103人参与
#
秋招盘点:机械人值得去的企业
#
73170次浏览
671人参与
#
毕业旅行去哪玩儿
#
9397次浏览
130人参与
#
三一集团提前批进度交流
#
23633次浏览
139人参与
#
没有合适的工作,你会先找个干着,还是考公考研
#
117364次浏览
1134人参与
#
非技术岗投递进展
#
145775次浏览
1264人参与
#
数字马力求职进展汇总
#
180091次浏览
1489人参与
#
材料进Fab厂真的劝退吗?
#
44538次浏览
184人参与
#
百度秋招提前批进度
#
106324次浏览
1124人参与
#
春招进度记录
#
345504次浏览
3370人参与
#
上班到公司第一件事做什么?
#
62597次浏览
527人参与
#
2023届毁约公司名单
#
200714次浏览
959人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务