问大家一个数据分析业务问题:
甲公司投放问卷的满意度为70%,乙公司为80%。能否说明乙公司比甲公司广告投放效果更好?
我一开始想的是这类似于AB测试,要满足样本量超过一定阈值才能保证有足够的power,从而保证第二类错误的发生概率很小。但是这里好像又不能用AB测试,因为面对的用户不一定相似。大家有什么好的思路嘛?
甲公司投放问卷的满意度为70%,乙公司为80%。能否说明乙公司比甲公司广告投放效果更好?
我一开始想的是这类似于AB测试,要满足样本量超过一定阈值才能保证有足够的power,从而保证第二类错误的发生概率很小。但是这里好像又不能用AB测试,因为面对的用户不一定相似。大家有什么好的思路嘛?
全部评论
不一定,要看两个参数,样本量和显著性水平。首先是样本量,假设甲公司有100份问卷,乙公司也有100份,那么检验统计量的值为1.63,当显著性水平等于10%时,1.63 < 1.64,认为甲乙公司广告投放效果一致;假设甲有100份,乙有150份,那么检验统计量的值为1.81,认为甲乙公司效果差异显著,即乙比甲好。这是样本量,其次是显著性水平,当甲乙的样本量为100、150时,显著性水平等于10%时,认为甲乙公司差异显著,但5%时,又认为甲乙公司效果一致。这是问卷调查正常情况下要考虑的,如果问卷不正常就更严重。比如问卷发放没有随机性、问卷设计有诱导性、问卷题目数量和选项数量不合理、问卷题目之间逻辑性不强、问卷含有敏感问题、问卷词汇晦涩难懂、问卷题目表达不清等等
如何衡量广告投放效果
我题目好像没说清楚,最后一句可以改为:能否说明乙公司的用户满意度高于甲公司?
懂了,感谢大佬!!!!
除了用A/B test来看,更简单的还可以从问卷的设置角度来说。比如说两个问卷发放的人群可能都不一样,可能甲公司是广泛投放的,乙公司只向长期用过自己产品的客户投放;再比如说 满意度的指标甲乙公司的衡量标准也可能不一样;还有投放的时间、收集问卷的数量等等都会有影响。做A/B test之前,可能要先看看甲乙公司是否满足可比,保证同时性和同质性的基础之上在进行比较。
相关推荐
11-28 17:58
门头沟学院 Java 点赞 评论 收藏
分享
CUG芝士圈:虽然是网上的项目,但最好还是包装一下,然后现在大部分公司都在忙校招,十月底、十一月初会好找一些。最后,boss才沟通100家,别焦虑,我去年暑假找第一段实习的时候沟通了500➕才有面试,校友加油
点赞 评论 收藏
分享