论数据口径严谨性和敏感度的重要性
背景:酷狗整个产品矩阵的增长投放也是我管的。
今天整理增长投放的情况,其中看我团队同学提交的 PPT 时候,我发现,里面提到的 ROI,有点异常过高。
于是我问相关运营和 BI 同学,这个 ROI 怎么算出来的(可以看下方的图)
于是我重新检查了口径,找了一些高收入贡献的用户去查他们的收入贡献流水,发现了严重问题,他们在算入拉活口径的那一天的前一天,其实有回来过,也有贡献收入。
所以这些用户的收入不应该算在投放拉活的贡献里面去。
于是我让 BI 只取 3 天不活跃的拉活用户贡献的收入来看 ROI,结果得出的ROI仅为原来的一半,且低于1;
这就意味着 PPT 提到的 todo,普拉策略要调整,因为普拉是亏钱的啊。
于是我决定改为只拉 3 天不活跃以上的用户,后面再看看成本、量级、ROI 情况,可以的话把普拉逐渐改成这个。
试想一下我要是没有发现,到时 PPT 交上去,产品会上这么汇报,当场被老板质疑会多么尴尬。这事充分反映了数据口径的严谨,和对数据的敏感多么重要,所以平时大家一定要留心数据口径是否足够严谨无可挑剔,以及数据有没有异常表现。
承接上一个分享。
其实深挖下去,还能有更多发现:上面的问题也反映了我司到现在都还没完整的用户模型,没法充分严谨论证拉活用户的 ROI 情况,归因不够严谨。 基础设施太差了,连主端产品的用户模型都没有,连流失用户回来的归因都没法严谨归因,只能靠业务前线做一个没有很好控制变量的实验来论证;
如果从管理学的角度来看,也体现技术、数据的重要性,如何选择这方面的负责人?要么之前有大型项目底层架构的成功经验,要么一直在业务领先的前沿,能带回来最新的做法。字节就是基于这样的逻辑狂挖谷歌、fb 和百度的工程师。
以上也是我如何从一个日常工作的事情中进行总结的示范。大家可以多从日常工作、从其他同事的事情上去学习。