字节数据开发面经
自我介绍
项目里做的是什么工作？建模设计？数据采集？还是其他什么？（项目是sgg）
数仓建模怎么样？聊一聊
那你是主要做指标计算这一块吗？（面试官这个的时候已经知道我对这个sgg的项目没有吃透了，然后就转移其他问题了）
问另一个项目
spark了解地怎么样？说说两种shuffle（hashshuffle没有聊好）
spark底层运行原理说一下
hive掌握得怎么样？
小文件是怎么产生的？（这一点没答好，我没准备到位，就硬扯map切片机制）
那hive是怎么优化小文件问题呢？
你有处理过埋点数据吗？（这一点也没准备）
然后面试官在哀声叹气了
写两题sql吧
行转列
连续登录
你用到了排序函数，聊聊他们的含义吧（rank，dense_rank，row_number）
再聊一聊hive的自定义函数吧
那你说说collect_list
再说说sort_array
好，你还有什么想问的吗？
反问：
用什么架构？ 答：hive
collect那里的一些问题
总结：sgg一定一定要吃透，sgg的项目比很多包装的臭鱼烂虾项目好太多了
面试官很好，会缓解我压力，转移话题，我几场面试里最没有压力的一场
数仓知识要补充：建模，分层，数据链路，数据采集
几个经典问题一定要搞透：数据倾斜，小文件问题，sql语句优化等