快手 数据开发 一面 70min

人生就是各种体验的叠加而已，无论当下有多难，一定不要内耗，一定要学会让自己开心起来，不要被世俗的条条框框限制住了，人生本就是怎么舒服怎么来，怎么爽就怎么搞！#一人分享一句让你在秋招振作起来的话#

28号下午两点 时长一个小时1:sparksql的具体的执行流程2:sparksql物理计划怎么选择最优的3:sparkrdd是什么的抽象 为什么说spark基于rdd实现了内存计算4:spark和mapreduce的shuffle的区别5:数仓建模理论6:根据我简历上写的项目 构建一个数仓 讲一些有哪些指标什么的7:讲一下你在工作中怎么做数据治理的8:两个sql题 最后一个sql题有长尾的现象 如何解决9:一份100G的数据 需要在1G内存中运行 需要怎么做求求给个二面吧 0offer的选手已经哭死了

项目是经典sgg离线数仓，一个月速成的掌握的并不好，还是处女面，以下问题就当给大家一个教训了 1. 你说搭建数据采集平台和业务数据采集平台，这些平台都是用什么搭建的2. 如果数据本身使用脚本模拟生成的话，整个数据仓库的底层的平台是用什么做的3. 你这个脚本怎么随机生成数据，是随机的吗4. 零点漂移问题5. 前15分钟后15分钟指的是什么6. 数据仓库的分层是怎么做的7. ODS为什么不拉过来做加工8. 怎么理解数据拉过来不做加工9. 周期快照事实表和累计快照事实表区别是什么10. 事实表维度表11. 除了星型模型还有什么模型12. 拉链表介绍13. 为什么说拉链表一般比较小（我之前说错了）14. 拉链表本身也是事实表的一种，如果他比较大，怎么样让查询效率更高15. DWS层做什么16. 数据域的划分17. 活跃度问题18. K-means聚类，哪三个类，怎么设定19. 为什么要进行PCA降维，20. count distinct 在mr怎么运行的21. count distinct在mr中底层怎么排序22. 数据倾斜主要在哪几个阶段产生23.遇到最大的困难是什么其实不是很难，但是处女面确实发挥的很差，结束面试官准备了sql题都没让我写，寄--------------------------已挂

1 前言由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。笔者作为数仓开发经常会收到大量集群资源满载、任务产出延时等消息/邮件，甚至下游数分及其他同学也会询问任务运行慢的情况，在这里很多数仓同学遇到这类问题第一想到的都是加资源解决，但事实真不一定是缺少资源，而是需要优化当前问题任务。所以本期从团队做计算资源治理视角出发，带大家清楚认识计算资源治理到底该如何进行。2 问题出现在做计算治理之前，我们团队盘点了下当前计算资源存在的几个问题：（1）30+高消耗任务：由于数仓前中期业务扩张，要覆...