数据分析面试题目汇总
1、假设检验的基本原理(字节跳动、快手)
参考答案
假设检验(hypothesis testing)是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。显著性检验是假设检验中最常用的一种方法,也是一种最基本的统计推断形式,其基本原理是先对总体的特征做出某种假设,然后通过抽样研究的统计推理,对此假设应该被拒绝还是接受做出推断。常用的假设检验方法有Z检验、t检验、卡方检验、F检验等。
其基本思想是利用“小概率事件”原理,即小概率事件在一次试验中基本上不会发生。为了检验一个假设H0是否正确,首先假定该假设H0正确,然后根据样本对假设H0做出接受或拒绝的决策。如果样本观察值导致了“小概率事件”发生,就应拒绝假设H0,否则应接受假设H0。
答案解析
假设检验的基本步骤:
(1)提出检验假设H0,备择假设H1。
H0:样本与总体或样本与样本间的差异是由抽样误差引起的;
H1:样本与总体或样本与样本间存在本质差异;
预先设定的检验水平α(当检验假设为真但被错误地拒绝的概率),通常取α=0.05。
(2)选定统计方法,由样本观察值按相应的公式计算出统计量的大小,如X2值、t值等。根据数据的类型和特点,可分别选用Z检验,T检验,秩和检验和卡方检验等。
(3)根据统计量的大小及其分布确定检验假设成立的可能性P的大小并判断结果。若P>α,结论为按α所取水平不显著,不拒绝H0,即认为差别很可能是由于抽样误差造成的,在统计上不成立;如果P≤α,结论为按所取α水平显著,拒绝H0,接受H1,则认为此差别不大可能仅由抽样误差所致,很可能是实验因素不同造成的,故在统计上成立。
2、假设检验的显著性水平(猿辅导)
参考答案
假设检验是利用“小概率事件”原理做出统计判断的,而“小概率事件”是否发生与一次抽样所得的样本及所选择的显著性水平α有关,由于样本的随机性及选择显著性水平α的不同,因此检验结果与真实情况也可能不吻合,从而假设检验是可能犯错误的。
一般地,假设检验可能犯的错误有如下两类:
(1)弃真:当假设H0正确时,拒绝假设H0。称此为第一类错误,犯此类错误的概率恰好就是“小概率事件”发生的概率α,即P{拒绝H0/H0为真}=α;
(2)取伪:当假设H0不正确,接受H0。称此为第二类错误,记β为犯第二类错误的概率,即P{接受H0/H0不真}=β。
我们通常希望犯这两类错误的概率都很小。但当样本容量n固定时,α、β不能同时都小,α变小时β就变大,而β变小时α就变大。只有当样本容量n增大时,才有可能使两者变小。在实际应用中,一般原则是控制犯第一类错误的概率,即给定α,然后通过增大样本容量n来减小β。这种着重对第一类错误的概率α加以控制的假设检验称为显著性检验,α就是显著性水平。
3、假设检验相关的第一类错误、第二类错误,怎么降低第一类错误,如何同时降低第一类和第二类错误(拼多多)
参考答案
第一类错误α叫弃真错误或显著性水平,即原假设为真时却被我们拒绝的概率;第二类错误β叫采伪错误,即原假设为伪我们没有拒绝的概率。在一定样本量的情况下,减小一类错误必然会增大另一类错误,在实践中我们一般会优先控制第一类错误,因为原假设是非常明确的
答案解析
1-第一类错误也即原假设为真的情况我们接受的概率,对于A/B测试,犯这个错误代表新策略没有收益,我们却认为有收益,然后上线的错误,一般第一类错误不超过5%,第一类错误是明显的,也就是说在原假设为真的情况下接受原假设的概率要超过95%;统计功效=1-第二类错误,也即当AB两组实际有差异时,能被我们检测出来差异的概率
4、如何判断实验组和对照组的某个指标是否有显著差异?(滴滴)
参考答案
在实验开始前就对实验组和对照组进行数据指标监测,若实验前两组指标无明显差异,观测实验后的情况,根据假设检验原理设置所需的显著性水平,在该水平下判断两组的指标是否有显著差异;若实验前两组指标即存在差异,则可以采用DID(双重差分)的方法,查看两组的指标差距在设定显著性水平下实验前后是否有显著差异。
5、显著性水平、置信区间、假设检验(字节跳动)
参考答案
显著性水平:其实就是第一类错误也叫弃真错误,也即原假设为真时被拒绝的概率
置信区间:在区间估计中,由样本统计量所构造的总体参数的估计区间称为置信区间
假设检验:先对总体要估计的值提出一个假设,然后利用样本信息去检验这个假设是否成立
#面经##滴滴##字节跳动##拼多多##猿辅导##快手##数据分析师#